bp网络中，如何避免进入局部极小值

答案:2 悬赏:0 手机版

解决时间 2021-02-23 17:28

提问者网友：孤凫
2021-02-22 22:10

bp网络训练到中途就跟随性不行了

最佳答案

五星知识达人网友：一把行者刀
2021-02-22 22:29

一般来说有以下几种方法：
1.为梯度更新法则加一个冲量项。冲量有时可以带动梯度下降过程，冲过狭窄的局部最下值（然而原则上它也可以带动梯度下降过程冲过狭窄的全局最小值到其他局部极小值！）
2.使用随机的梯度下降而不是真正的梯度下降。梯度下降的随机近似对于每个训练样例沿一个不同的误差曲面有效下降，它依靠这些梯度的平均来逼近对于整个训练集合的梯度。这些不同的误差曲面通常有不同的局部极小值，这使得下降过程不太可能陷入任一个局部极小值。
3.使用同样的数据训练多个网络，但用不同的随机权值初始化每个网络。如果不同的训练过程产生不同的局部极小值，那么对分离的验证集合性能最好的网络被选择。或者保留所有的网络，并且把它们当作一个网络“委员会”，它们的输出是每个网络输出的平均值（可能加权）。

全部回答

1楼网友：山河有幸埋战骨
2021-02-23 00:05

我是来看评论的

我要举报

如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！