2.4 BP神经网络

2.4.1 人工神经网络

人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程，以反映人脑某些特性的计算结构。它不是人脑神经系统的真实描写，而只是其某种抽象、简化和模拟。人工神经网络由大量并行分布、有机相连的神经元组成，具有快速处理速度、高度容错能力、自适应能力以及高度的映射能力、分类和计算能力。人工神经网络的信息处理功能是由网络的单元（神经元）的输入特性（激活特性）和网络的拓扑结构（神经元的连接方式）所决定的。

按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化，也就是人工神经网络可以经过训练来解答问题。训练一个神经网络（包括一系列的输入和理想的输出作为训练的样本），根据一定的训练算法对网络进行足够的训练，使得神经网络能够学会包含在解中的基本原理。当训练完成后，该解可以用来回答相应的问题。

2.4.2 BP神经网络结构

BP（Back-Propagation）神经网络，是基于误差反向传播的多层网络，即用误差反向传播算法进行训练的单向传播的多层网络，是人工神经网络中最具代表性和应用得最为广泛的一种网络。它的提出为多层神经网络成功地提供了一种有导师的训练算法，并且已经在实际中得到了广泛应用。

BP神经网络具有三层（或三层以上）层次结构网络，相邻上、下层之间各神经元实现权连接，即下层的每个神经元与上层的每个神经元都实现权连接，而每层各神经元之间无连接。当一对学习模式提供给网络后，神经元的激活值从输入层经隐含层向输出层传播，在输出层的各神经元获得网络的输入响应，然后，按减小预期输出与实际输出误差的方向，从输出层经隐含层逐层修正各连接权，最后回到输入层。

图2-2所示为一个典型的三层BP神经网络，它由输入层、隐含层和输出层组成。

图2-2 三层BP神经网络结构示意

2.4.3 BP神经网络算法原理

BP神经网络算法的指导思想是通过对网络权值和阈值的修正，使误差沿负梯度方向下降，从而使网络输出层的误差平方和达到最小。算法由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来，修改各层神经元的权值，直至达到期望目标。

具体来说，其学习模式由以下4个过程组成：

（1）输入层经隐含层向输出层的“模式顺传播”过程。

（2）网络的预期输出与实际输出之差的误差信号由输出层经隐含层向输入层逐层修正连接权的“误差逆传播”的过程。

（3）由“模式顺传播”与“误差逆传播”的反复交替形成的“记忆训练”过程。

（4）网络趋向收敛，即网络的全局误差趋向极小值的“学习收敛”过程。

标准BP神经网络算法的基本思想是最小二乘学习算法（或称为LMS算法），它采用梯度搜索技术，以期使网络对实际输出与期望输出的误差平方和为最小。