根据进化神经网络的三个等级,进化神经网络模型的发展呈现以下四个不同的类型。
连接权值进化的进化神经网络
神经网络连接
权值的调整算法是神经网络设计中的一个关键问题。区别与传统人工神经网络中连接权值调整的BP算法,该进化算法是一种更有效的全局搜索优化算法,它能够避开局部极值点,并且在进化过程中无需提供所需解决问题的梯度信息。它不单可用于前向网络及具有不可微
传递函数的网络,而且对于任何网络形式都可以进行训练,程序编制非常简单、训练速度很快。
网络结构进化的进化神经网络
在传统意义上提出了三种网络结构选择的主要方法:试凑法、构造法以及修剪法。其中,试凑法过程复杂且依赖于经验,较难找到满意的结构;构造法及修剪法为局部优化法,极易陷入局部极值。
网络结构化的主要问题是结构的编码显示。以编码方式的不同,结构进化型的进化神经网络可分为一下集中类型:
(1)直接编码法。
此法把网络结构的所有信息均用编码表示。
优点:编码直观、方便,可表示一些对网络的特殊约束。
缺点:只能应用于结构固定的网络,且规模不宜太大,否则计算效率会很低。
(2)间接编码法。
克服直接编码的缺点,可进化大型网络。常用的两种类型:
① 参数编码法
②生长规则法
结构和权值同时进化的进化神经网络
综合了结构进化和权值进化,代表性的方法有如下:
(1)Yao等提出的EPNet系统。
(2)Maniezzo提出的粒度编码的进化神经网络方法。
学习规则进化的进化神经网络
不同的网络结构,不同应用问题采用不同的学习规则。