查询结果:   景立森,丁志刚,郑树泉,廖威.基于NAG的BP神经网络的研究与改进[J].计算机应用与软件,2018,35(11):272 - 277.
中文标题
基于NAG的BP神经网络的研究与改进
发表栏目
算法
摘要点击数
657
英文标题
STUDY AND IMPROVEMENT OF BP NEURAL NETWORK BASED ON NAG
作 者
景立森 丁志刚 郑树泉 廖威 Jing Lisen Ding Zhigang Zheng Shuquan Liao Wei
作者单位
上海市计算技术研究所 上海 200040 上海产业技术研究院 上海 201206 上海计算机软件技术开发中心 上海 201112 上海嵌入式系统应用工程技术研究中心 上海 201112  
英文单位
Shanghai Institute of Computing Technology, Shanghai 200040, China Shanghai Industrial Technology Institute, Shanghai 201206, China Shanghai Development Center of Computer Software Technology, Shanghai 201112, China Shanghai Embedded System Engineering Research Center, Shanghai 201112, China  
关键词
BP神经网络 NAG 梯度下降 学习率
Keywords
BP neural network NAG Gradient descent Learning rate
基金项目
2016年上海市科学技术委员会基金资助项目(16DZ1110101)
作者资料
景立森,硕士生,主研领域:数据挖掘,机器学习。丁志刚,研究员。郑树泉,教授级高工。廖威,硕士生。 。
文章摘要
针对当前BP神经网络存在的问题,在NAG动量更新的基础上,建立基于黄金分割比梯度动量GNAG更新策略。并把黄金分割比运用到隐含层神经元的确定上,进一步提高了BP神经网络的性能。将该算法应用于MNIST手写字体识别,得到了较好的收敛速度和预测评估结果。应用实例表明,基于黄金分割比梯度动量更新策略的BP神经网络收敛速度更快,泛化能力更强。
Abstract
To solve the problems existing in the current BP neural network, on the basis of NAG momentum update, we built an update strategy based on golden ratio nesterov accelerated gradient. The golden section ratio was applied to the determination of hidden layer neurons, thus further improving the performance of BP neural network. The algorithm was applied to MNIST handwriting recognition, which obtained better convergence speed and prediction evaluation results. Application examples show that BP neural network based on GNAG update strategy has faster convergence speed and stronger generalization ability.
下载PDF全文