配置稀疏神经网络制造技术

技术编号:13539199 阅读:35 留言:0更新日期:2016-08-17 14:52
一种用于选择神经网络中精简数目的模型神经元的方法包括生成非零解码矢量的第一稀疏集合。每个解码矢量与第一神经元层和第二神经元层之间的突触相关联。该方法进一步包括仅使用第一神经元层中与这些非零解码矢量相关联的所选模型神经元来实现该神经网络。

【技术实现步骤摘要】
【国外来华专利技术】201480071677

【技术保护点】
一种用于选择神经网络中精简数目的模型神经元的方法,包括:生成非零解码矢量的第一稀疏集合,每个解码矢量与第一神经元层和第二神经元层之间的突触相关联;以及仅使用所述第一神经元层中与所述非零解码矢量相关联的所选模型神经元来实现所述神经网络。

【技术特征摘要】
【国外来华专利技术】2014.01.23 US 61/930,858;2014.01.23 US 61/930,849;1.一种用于选择神经网络中精简数目的模型神经元的方法,包括:生成非零解码矢量的第一稀疏集合,每个解码矢量与第一神经元层和第二神经元层之间的突触相关联;以及仅使用所述第一神经元层中与所述非零解码矢量相关联的所选模型神经元来实现所述神经网络。2.如权利要求1所述的方法,其特征在于,所述生成包括:执行最小二乘最优化。3.如权利要求2所述的方法,其特征在于,所述最小二乘最优化包括最小绝对收缩和选择操作符(LASSO)正则化。4.如权利要求2所述的方法,其特征在于,进一步包括,选择正则化项以精简用于实现期望程度的性能的所选神经元的数目。5.如权利要求1所述的方法,其特征在于,进一步包括:更新所述第一神经元层以包括所选模型神经元并包括剩余模型神经元的输入突触权重的新集合;生成非零解码矢量的第二稀疏集合,每个解码矢量与经更新的第一神经元层和所述第二神经元层之间的突触相关联;以及仅使用所述经更新的第一神经元层中与所述非零解码矢量相关联的所选模型神经元的新集合来实现所述神经网络。6.如权利要求5所述的方法,其特征在于,进一步包括:重复所述更新和生成多次以创建经更新的第一神经元层的统筹集合;以及仅使用经更新的第一神经元层的所述统筹集合来实现所述神经网络。7.如权利要求6所述的方法,其特征在于,进一步包括:生成非零解码矢量的最终稀疏集合,每个解码矢量与经更新的神经元层的所述统筹集合和所述第二神经元层之间的突触相关联;以及仅使用经更新的神经元层的所述统筹集合中与所述非零解码矢量相关联的模型神经元来实现所述神经网络。8.一种用于选择神经网络中精简数目的模型神经元的装置,包括:存储器;以及耦合至所述存储器的至少一个处理器,所述至少一个处理器被配置成:生成非零解码矢量的第一稀疏集合,每个解码矢量与第一神经元层和第二神经元层之间的突触相关联;以及仅使用所述第一神经元层中与所述非零解码矢量相关联的所选模型神经元来实现所述神经网络。9.如权利要求8所述的装置,其特征在于,所述至少一个处理器被进一步配置成通过执行最小二乘最优化来生成非零解码矢量的所述第一稀疏集合。10.如权利要求9所述的装置,其特征在于,所述最小二乘最优化包括最小绝对收缩和选择操作符(LASSO)正则化。11.如权利要求9所述的装置,其特征在于,所述至少一个处理器被进一步配置成选择正则化项以精简用于实现期望程度的性能的所选神经元的数目。12.如权利要求8所述的装置,其特征在于,所述至少一个处理器被进一步配置成:更新所述第一神经元层以包括所选模型神经元并包括剩余模型神经元的输入突触权重的新集合;生成非零解码矢量的第二稀疏集合,每个解码矢量与经更新的第一神经元层和所述第二神经元层之间的突触相关联;以及仅使用所述经更新的第一神经元层中与所述非零解码矢量相关联的所选模型神经元的新集合来实现所述神经网络。13.如权利要求12所述的装置,其特征在于,所述至少一个处理器被进一步配置成:重复所述更新和生成多次以创建经更新的第一神经元层的统筹集合;以及仅使用经更新的第一神经元层的所述统筹集合来实现所述神经网络。14.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置成:生成非零解码矢量的最终稀疏集合,每个解码矢量与经更新的神经元层的所述统筹集合和所述第二神经元层之间的突触相关联;以及仅使用经更新的神经元层的所述统筹集合中与所述非零解码矢量相关联的模型神经元来实现所述神经网络。15.一种用于选...

【专利技术属性】
技术研发人员:S·S·塔拉迪D·J·朱利安V·S·R·安纳普莱蒂
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1