3.2 人工神经元
人工神经元的研究源于脑神经元学说，19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。
3.2.1 人工神经元的数学模型
人工神经网络是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而我们把这些处理单元称为人工神经元。人工神经网络可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向加权弧则是轴突-突触-树突的模拟。有向加权弧的权值表示相互连接的两个人工神经元间相互作用的强弱。人工神经元模型如图3-3所示。
图3-3 人工神经元模型
神经网络从两个方面模拟大脑：
（1）神经网络获取的知识是从外界环境中学习得来的。
（2）内部神经元的连接强度，即突触权值，用于储存获取知识。
神经网络系统由能够处理人类大脑不同部分之间信息传递的大量神经元连接形成的拓扑结构组成，依赖于这些庞大的神经元数目和它们之间的联系，人类的大脑收到的输入信息刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。
对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为xi，它们与本处理单元的互相作用强度，即连接权值wi，i=1，2，…，n-1处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为
，而处理单元的输出为
式中，xi为第i个元素的输入；wi为第i个处理单元与本处理单元的互联权重，即神经元连接权值；f为激活函数或作用函数，它决定节点（神经元）的输出；θ为隐藏层神经节点的阈值。
3.2.2 人工神经网络
人工神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。人工神经网络一个相当重要的能力是其网络能通过它的神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果，就认为网络训练结束了。
在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经网络的学习形式、神经网络的工作过程和神经网络的学习规则。
1.神经网络的学习形式
在构造神经网络时，其神经元的传递函数和转换函数就已经确定了。在网络的学习过程中是无法改变转换函数的，因此如果想要改变网络输出的大小，只能通过改变加权求和的输入来达到。由于神经元只能对网络的输入信号进行响应处理，想要改变网络的加权输入只能修改网络神经元的权参数，因此神经网络的学习就是改变权值矩阵的过程。
2.神经网络的工作过程
神经网络的工作过程包括离线学习和在线判断两部分。离线学习过程中各神经元进行规则学习、权参数调整、进行非线性映射关系拟合以达到训练精度；在线判断则是训练稳定的网络读取输入信息、通过计算得到输出结果。
3.神经网络的学习规则
神经网络的学习规则是修正权值的一种算法，分为联想式和非联想式学习，有监督学习和无监督学习等。下面介绍几个常用的学习规则。
（1）误差修正型规则：一种有监督的学习方法，根据实际输出和期望输出的误差进行网络连接权值的修正，最终网络误差小于目标函数达到预期结果。
误差修正法，权值的调整与网络的输出误差有关，它包括δ学习规则、Widrow-Hoff学习规则、感知器学习规则和误差反向传播的BP（Back Propagation）学习规则等。
（2）竞争型规则：无监督学习过程，网络仅根据提供的一些学习样本进行自组织学习，没有期望输出，通过神经元相互竞争对外界刺激模式响应的权利进行网络权值的调整，来适应输入的样本数据。
对于无监督学习的情况，事先不给定标准样本，直接将网络置于“环境”之中，学习（训练）阶段与应用（工作）阶段成为一体。
（3）Hebb型规则：利用神经元之间的活化值（激活值）来反映它们之间连接性的变化，即根据相互连接的神经元之间的活化值（激活值）来修正其权值。
在Hebb型规则中，学习信号等于神经元的输出。Hebb型规则代表一种纯前馈﹑无导师学习。该学习规则至今在各种神经网络模型中起着重要作用。典型的应用，如利用Hebb型规则训练线性联想器的权矩阵。
（4）随机型规则：在学习过程中结合了随机、概率论和能量函数的思想，根据目标函数（网络输出均方差）的变化调整网络的参数，最终使网络目标函数达到收敛值。
3.2.3 激活函数
在神经网络中，网络解决问题的能力与效率除了与网络结构有关，在很大程度上取决于网络所采用的激活函数。激活函数的选择对网络的收敛速度有较大的影响，针对不同的实际问题，激活函数的选择也应不同。
神经元在输入信号作用下产生输出信号的规律由神经元功能函数f（Activation Function）给出，也称激活函数，或称转移函数，这是神经元模型的外特性。它包含了从输入信号到净输入，再到激活值，最终产生输出信号的过程。综合了净输入、f函数的作用。f函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。
常用的激活函数有以下几种形式。
（1）阈值函数：该函数通常也称为阶跃函数。当激活函数采用阶跃函数时，人工神经元模型即MP模型。此时神经元的输出取1或0，反映了神经元的兴奋或抑制。
（2）线性函数：该函数可以在输出结果为任意值时作为输出神经元的激活函数，但是当网络复杂时，线性函数大大降低网络的收敛性，故一般较少采用。
（3）对数S型函数：对数S型函数的输出为0～1，常被要求为输出0～1的信号选用。它是神经元中使用最为广泛的激活函数。
（4）双曲正切S型函数：双曲正切S型函数类似于被平滑的阶跃函数，形状与对数S型函数相同，以原点对称，其输出为-1～1，常常被输出为-1～1的信号选用。
3.2.4 神经元之间的连接形式
神经网络是一个复杂的互连系统，单元之间的互连模式将对网络的性质和功能产生重要影响，互连模式种类繁多。
（1）前向网络（前馈网络）：网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i层的神经元只接收第（i-1）层神经元给出的信号，各神经元之间没有反馈。前向网络可用有向无环路图表示，如图3-4所示。
图3-4 前向网络结构
由图3-4可以看出，输入节点并无计算功能，只是为了表征输入矢量各元素的值。各层节点表示具有计算功能的神经元，称为计算单元。每个计算单元可以有任意个输入，但只有一个输出，它可送到多个节点作为输入，称输入节点层为第零层。计算单元的各节点层从下至上依次称为第1～第N层，由此构成N层前向网络。（也有把输入节点层称为第1层，于是对N层网络将变为N+1个节点层序号。）
第一节点层与输出节点统称为“可见层”，而其他中间层则称为隐藏层，这些神经元称为隐节点。BP就是典型的前向网络。
（2）反馈网络：典型的反馈型神经网络如图3-5（a）所示。
每个节点都表示一个计算单元，同时接收外加输入和其他各节点的反馈输入，每个节点也都直接向外部输出。Hopfield网络属于此种类型。在某些反馈网络中，各神经元除接收外加输入与其他各节点反馈输入之外，还包括自身反馈。有时，反馈型神经网络也可表示为一张完全的无向图，如图3-5（b）所示，图中每一个连接都是双向的。这里，第i个神经元对于第j个神经元的反馈与第j～第i个神经元反馈的突触权重相等。
图3-5 反馈网络
3.2.5 人工神经网络的分类
根据不同的分类方式，可对人工神经网络进行不同的分类。
（1）按性能分：连续型网络和离散型网络，或确定型网络和随机型网络。
（2）按拓扑结构分：前向网络和反馈网络。
·前向网络有自适应线性神经网络（AdaptiveLinear，简称Adaline）、单层感知器、多层感知器、BP等。
前向网络，网络中各个神经元接收前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号是从输入空间到输出空间的变换，它的信息处理能力来自简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。
·反馈网络有Hopfield、Hamming、BAM等。
反馈网络，网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。
（3）按学习方法分：有教师（监督）的学习网络和无教师（无监督）的学习网络。
（4）按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。