【技术实现步骤摘要】
一种全连接神经网络优化方法和装置
本专利技术涉及人工智能
，特别是一种全连接神经网络优化方法和装置。
技术介绍
近几年来，人工智能神经网络的研究工作不断深入，在模式识别、智能机器人、预测估计、生物医学等领域良好地解决了许多现代计算机难以解决的实际问题。随着科技的发展和社会的需求，人工神经网络的应用越来越广泛。当神经网络处于外太空等恶劣辐射环境下时，会造成神经网络的可靠性降低，最终导致失效，这是一个不可忽视的问题。对神经网络中部分神经元进行加固可以有效地提高其可靠性。高效的内存和数据访问对于实现神经网络来说至关重要。在小规模神经网络中，通过内存传输最小化可以有效地提高效率，但对于大规模神经网络而言却不适用，因此，高可靠性以及高效内存和数据访问效率仍是目前业内针对大规模神经网络的主要研究目标。
技术实现思路
本专利技术的专利技术构思为：在大多数神经网络中，部分神经元对输出的影响较小，若能在一定程度上放宽这些神经元的计算精度要求，即对这些神经元进行近似计算，则可以在满足输出精度要求的前提下...
【技术保护点】
1.一种全连接神经网络优化方法，其特征是，包括：/n获取已训练完成的待优化神经网络结构数据及其输入样本数据集；/n以输入层的输入为变量，计算得到神经网络中各隐藏层与输出层中各神经元的输入表达式；/n基于各神经元的输入表达式，计算得到各隐藏层中各神经元对输出层各神经元的影响程度表达式；/n基于各隐藏层神经元对输出层各神经元的影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度表达式；/n基于输入样本数据集中的样本数据，通过各隐藏层神经元对输出层的总影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度值；/n针对总影响程度值较小的神经元，将它们的输入进行近似处理，即...
【技术特征摘要】
1.一种全连接神经网络优化方法，其特征是，包括：
获取已训练完成的待优化神经网络结构数据及其输入样本数据集；
以输入层的输入为变量，计算得到神经网络中各隐藏层与输出层中各神经元的输入表达式；
基于各神经元的输入表达式，计算得到各隐藏层中各神经元对输出层各神经元的影响程度表达式；
基于各隐藏层神经元对输出层各神经元的影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度表达式；
基于输入样本数据集中的样本数据，通过各隐藏层神经元对输出层的总影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度值；
针对总影响程度值较小的神经元，将它们的输入进行近似处理，即得到优化后的神经网络。
2.根据权利要求1所述的方法，其特征是，还包括：对预设数量的总影响程度值较大的神经元的输入进行加固处理。
3.根据权利要求2所述的方法，其特征是，还包括：根据总影响程度值从大到小对各隐藏层神经元进行排序；然后对排序中在前的设定m个隐藏层神经元的输入进行加固处理，对排序中在后的设定n个隐藏层神经元的输入进行近似处理。
4.根据权利要求1所述的方法，其特征是，待优化神经网络结构包括1个输入层、1个输出层和至少1个隐藏层，各层分别包含多个神经元；所述待优化神经网络结构数据包括神经网络中各层所包含的神经元数量、各神经元的激活函数，以及相邻层神经元之间的权重值。
5.根据权利要求1所述的方法，其特征是，隐藏层数量为2个以上，计算各隐藏层中各神经元对输出层各神经元的影响程度表达式包括：
基于各神经元的输入表达式，计算任意两个相邻隐藏层中，前一隐藏层中各神经元对后一隐藏层中各个神经元的影响程度表达式；
通过迭代求导计算各隐藏层中各神经元对输出层各神经元的影响程度表达式。
6.根据权利要求5所述的方法，其特征是，相邻隐藏层之间，或隐藏层与相邻的输出层之间，前一层中任一神经元P对后一层中任一神经元Q的影响程度CPQ计算公式为：
其中，代表偏微分符号，X代表神经元的输入，Y＝F(X)代表神经元...
【专利技术属性】
技术研发人员：王海滨，刘智，褚嘉敏，罗成名，刘小峰，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。