The invention discloses a deep learning algorithm of network structure, the network structure of deep learning algorithm to determine the connection between the network layer, which comprises the following steps: S101, a subset of the original data collected from the training data set; S102, using the sample data of the company receiving training, until S103, set a convergence; a threshold, the sparse connection table; the original data were calculated by S104, a new sparse connection table; for 3D printer field; the invention is applicable to the field of deep learning algorithm. It can be used to improve the computational efficiency, but also to ensure the accuracy of the calculation of the depth of learning network structure algorithm.
【技术实现步骤摘要】
本专利技术涉及深度学习算法的
,具体涉及一种自适应稀疏连接深度学习网络结构算法。
技术介绍
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。其概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。图1为深度神经全连接网络中各网络层之间的连接示意图,从图中可以看出,全连接网络意味着上一层中的每一个神经元都和下一层的任何神经元有连接关系。这是最早使用,也是普遍有效、应用最广的一种连接方式。然而,这种连接方式的最大缺陷是:计算量与内存消耗量都十分巨大,效率低。为此,很多学者,提出了一些稀疏连接算法,试图改善这个问题,表1是一个典型的卷积稀疏连接表:表1必须说明的是,上述工作的初衷其实更多的只是为了改善精度,减小计算开销只是一个副产品。因为对于很多具体问题,全连接关系虽然可以拿来直接使用,但是并非最好的一种。这和现实物理世界问题,关联往往具有局部性密切相关。事实上,大量的问题都可以通过这种途径来有针对的改进。然而,我们的出发点则不是精度,而是更多的关注计算效率。通过改变连接关系来提 ...
【技术保护点】
一种深度学习网络结构算法,其特征在于:确定各网络层之间的连接关系时,包括以下步骤:S101、从待训练数据中收集原数据的一个子集;S102、利用样本数据进行全连接训练,直到收敛;S103、设置一个阈值,得出稀疏连接表;S104、利用新的稀疏连接表对原数据进行计算。
【技术特征摘要】
1.一种深度学习网络结构算法,其特征在于:确定各网络层之间的连接关系时,包括以下步骤:S101、从待训练数据中收集原数据的一个子集;S102、利用样本数据进行全连接训练,直到收敛;S103、设置一个阈值,得出稀疏连接表;S104、利用新的稀疏连接表对原数据进行计算。2.根据权利要求1所...
【专利技术属性】
技术研发人员:窦晓光,刘立,许建卫,
申请(专利权)人:曙光信息产业北京有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。