一种深度学习网络结构算法制造技术

本发明专利技术公开了一种深度学习网络结构算法，该深度学习网络结构算法确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算；适用于3D打印机领域；本发明专利技术适用于深度学习算法领域。能够提供一种既能提高计算效率，又能保证计算精度的深度学习网络结构算法。

A deep learning network structure algorithm

The invention discloses a deep learning algorithm of network structure, the network structure of deep learning algorithm to determine the connection between the network layer, which comprises the following steps: S101, a subset of the original data collected from the training data set; S102, using the sample data of the company receiving training, until S103, set a convergence; a threshold, the sparse connection table; the original data were calculated by S104, a new sparse connection table; for 3D printer field; the invention is applicable to the field of deep learning algorithm. It can be used to improve the computational efficiency, but also to ensure the accuracy of the calculation of the depth of learning network structure algorithm.

【技术实现步骤摘要】

本专利技术涉及深度学习算法的
，具体涉及一种自适应稀疏连接深度学习网络结构算法。
技术介绍
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。其概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。图1为深度神经全连接网络中各网络层之间的连接示意图，从图中可以看出，全连接网络意味着上一层中的每一个神经元都和下一层的任何神经元有连接关系。这是最早使用，也是普遍有效、应用最广的一种连接方式。然而，这种连接方式的最大缺陷是：计算量与内存消耗量都十分巨大，效率低。为此，很多学者，提出了一些稀疏连接算法，试图改善这个问题，表1是一个典型的卷积稀疏连接表：表1必须说明的是，上述工作的初衷其实更多的只是为了改善精度，减小计算开销只是一个副产品。因为对于很多具体问题，全连接关系虽然可以拿来直接使用，但是并非最好的一种。这和现实物理世界问题，关联往往具有局部性密切相关。事实上，大量的问题都可以通过这种途径来有针对的改进。然而，我们的出发点则不是精度，而是更多的关注计算效率。通过改变连接关系来提高计算效率，但是对于精度，不会有损害，至少不会降低太多。
技术实现思路
针对相关技术中存在的不足，本专利技术所要解决的技术问题在于：提供一种既能提高计算效率，又能保证计算精度的自适应稀疏连接深度学习网络结构算法。为解决上述技术问题，本专利技术采用的技术方案为：一种深度学习网络结构算法，确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算。优选地，步骤S101中，收集原数据的一个子集时，采用的方式为随机采样。优选地，步骤S103，所述设置一个阈值，得出稀疏连接表之前，还包括：观察计算获得的网络权值，比较同一网络层内的各种连接的权值大小。本专利技术的有益技术效果在于：本专利技术主要利用权值的大小值来确定各层之间的连接关系，即从全连接关系自动推导而来，因此能够保证较高的精度，而由于采取了稀疏连接表来进行计算，一方面极大的减小了计算量，另一方面，如果采用模型并行的话，则减少了大量通信，因此也提高了并行可扩展性，进而提高了计算效率。附图说明图1是深度神经全连接网络中各网络层之间的连接示意图；图2是本专利技术实施例一提供的一种深度学习网络结构算法的流程示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图2是本专利技术实施例一提供的一种深度学习网络结构算法的流程示意图，如图2所示，一种深度学习网络结构算法，确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算。具体地，步骤S101中，收集原数据的一个子集时，采用的方式为随机采样。具体地，步骤S103，所述设置一个阈值，得出稀疏连接表之前，还包括：观察计算获得的网络权值，比较同一网络层内的各种连接的权值大小。下面通过一个示例来说明上述过程，假设某一网络层的连接表如表2所示：表2XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX得出样本计算结果，其权值分布如表3所示：表30.15.30.10.20.10.33.22.25.024.021.00.30.31.63.03.11.313.110.22.91.30.20.25.14.01.01.30.110.63.10.10.32.119.25.90.63.25.25.02.02.00.30.61.10.09.10.28.15.21.92.30.12.215.00.40.26.31.35.69.01.11.30.31.20.90.33.22.20.010.01.30.310.313.60.5设置阈值为1.0，则最终连接表确定为表4：表4XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX事实上，根据不同的阈值设置，可以得到不同的稀疏连接表，这个要根据具体的问题进行选择。本专利技术主要利用权值的大小值来确定各层之间的连接关系，与现有技术相比，本专利技术适用范围广，传统的算法在确定稀疏连接表时，是通过理论研究、不断的实践从而总结出来的，或是复杂的推导演算，而本专利的方案则是自动生成，非常方便，可以适用于任何问题；精度高，我们知道，对于大多数问题，全连接关系是能够保证精度的，只不过计算量较大，而本专利技术的算法从全连接关系自动推导而来，因此能够保证较高的精度；计算效率高，可扩展性能力强，由于采取了稀疏连接表来进行计算，一方面极大的减小了计算量，另一方面，如果采用模型并行的话，则减少了大量通信，因此也提高了并行可扩展性。最后应说明的是：以上各实施例仅用以说明本专利技术的技术方案，而非对其限制；尽管参照前述各实施例对本专利技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本专利技术各实施例技术方案的范围。本文档来自技高网...

【技术保护点】
一种深度学习网络结构算法，其特征在于：确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算。

【技术特征摘要】
1.一种深度学习网络结构算法，其特征在于：确定各网络层之间的连接关系时，包括以下步骤：S101、从待训练数据中收集原数据的一个子集；S102、利用样本数据进行全连接训练，直到收敛；S103、设置一个阈值，得出稀疏连接表；S104、利用新的稀疏连接表对原数据进行计算。2.根据权利要求1所...

【专利技术属性】
技术研发人员：窦晓光，刘立，许建卫，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京;11