本发明专利技术提供一种基于人工智能的神经网络的网络参数处理方法及装置。本发明专利技术实施例通过获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子，进而根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数，并根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素，使得能够根据所述每个元素标识所对应的重构元素，获得所述神经网络参数，在计算神经网络参数时，通过使用多个不同的随机种子，进行多次随机运算，获得多个压缩参数，进而再利用重构神经网络，根据这些压缩参数来计算神经网络参数的重构元素，只需设置包含一定数量压缩参数例如8个压缩参数的压缩空间信息，而无需分别设置的神经网络参数的具体元素，能够有效减少神经网络的神经网络参数，从而降低了神经网络的内存资源消耗。
【技术实现步骤摘要】
本专利技术涉及互联网技术，尤其涉及一种基于人工智能的神经网络的网络参数处理方法及装置。
技术介绍
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。随着神经网络尤其是深度神经网络的训练数据的增加，为了更好地学习数据特征提升效果，使得用于表示神经网络的神经网络参数迅速增长，这样，会导致内存资源的消耗也迅速增长，这就制约了神经网络的应用场景例如，手机等内存资源有限的终端。因此，亟需提供一种方法，能够减少神经网络的神经网络参数，以降低神经网络的内存资源消耗。
技术实现思路
本专利技术的多个方面提供一种基于人工智能的神经网络的网络参数处理方法及装置，用以降低神经网络的内存资源消耗。本专利技术的一方面，提供一种基于人工智能的神经网络的网络参数处理方法，包括：获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子；M为大于或等于1的整数；N为大于或等于2的整数；根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数；根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素；根据所述每个元素标识所对应的重构元素，获得所述神经网络参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数，包括：根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个随机标识；根据所述N个随机标识和预先设置的压缩空间信息，获得所述每个元素标识的N个压缩参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素，包括：获得预先设置的所述重构神经网络的一组重构神经网络参数；或者根据所述每个元素标识，在预先设置的所述重构神经网络的至少两组重构神经网络参数中进行选择，以获得一组重构神经网络参数；根据所获得的所述重构神经网络参数，获得所述每个元素标识所对应的重构元素。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述神经网络参数的全部压缩参数中每个压缩参数的梯度；根据所述每个压缩参数的梯度，利用梯度下降法，更新所述每个压缩参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述重构神经网络的全部重构神经网络参数中每个重构神经网络参数的梯度；根据所述每个重构神经网络参数的梯度，利用梯度下降法，更新所述每个重构神经网络参数。本专利技术的另一方面，提供一种基于人工智能的神经网络的网络参数处理装置，包括：随机种子单元，用于获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子；M为大于或等于1的整数；N为大于或等于2的整数；压缩参数单元，用于根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数；重构元素单元，用于根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素；网络参数单元，用于根据所述每个元素标识所对应的重构元素，获得所述神经网络参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述压缩参数单元，具体用于根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个随机标识；以及根据所述N个随机标识和预先设置的压缩空间信息，获得所述每个元素标识的N个压缩参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述重构元素单元，用于获得预先设置的所述重构神经网络的一组重构神经网络参数；或者根据所述每个元素标识，在预先设置的所述重构神经网络的至少两组重构神经网络参数中进行选择，以获得一组重构神经网络参数；以及根据所获得的所述重构神经网络参数，获得所述每个元素标识所对应的重构元素。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括压缩参数调整单元，用于获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述神经网络参数的全部压缩参数中每个压缩参数的梯度；以及根据所述每个压缩参数的梯度，利用梯度下降法，更新所述每个压缩参数。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括重构神经网络参数调整单元，用于获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述重构神经网络的全部重构神经网络参数中每个重构神经网络参数的梯度；以及根据所述每个重构神经网络参数的梯度，利用梯度下降法，更新所述每个重构神经网络参数。由上述技术方案可知，本专利技术实施例通过获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子，进而根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数，并根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素，使得能够根据所述每个元素标识所对应的重构元素，获得所述神经网络参数，在计算神经网络参数时，通过使用多个不同的随机种子，进行多次随机运算，获得多个压缩参数，进而再利用重构神经网络，根据这些压缩参数来计算神经网络参数的重构元素，只需设置包含一定数量压缩参数例如8个压缩参数的压缩空间信息，而无需分别设置的神经网络参数的具体元素，能够有效减少神经网络的神经网络参数，从而降低了神经网络的内存资源消耗。另外，采用本专利技术所提供的技术方案，由于构成神经网络参数的重构元素是基于压缩空间信息中所包含的多个压缩参数所获得的，因此，能够有效减少重构元素对单个压缩参数的依赖。另外，采用本专利技术所提供的技术方案，由于构成神经网络参数的重构元素是基于压缩空间信息中所包含的多个压缩参数所获得的，因此，能够有效提高压缩空间信息的利用率。【附图说明】为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的基于人工智能的神经网络的网络参数处理方法的流程示意图；图2为本专利技术另一实施例提供的基于人工智能的神经网络的网络参数处理装置的结构示意图；图3为本专利技术另一实施例提供的基于人工智能的神经网络的网络参数处理装置的结构示意图；图4为本专利技术另一实施例提供的基于人工智能的神经网络的网络参数处理装置的结构示意图。【具体实施方式】为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结本文档来自技高网...
【技术保护点】
一种基于人工智能的神经网络的网络参数处理方法，其特征在于，包括：获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子；M为大于或等于1的整数；N为大于或等于2的整数；根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数；根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素；根据所述每个元素标识所对应的重构元素，获得所述神经网络参数。
【技术特征摘要】
1.一种基于人工智能的神经网络的网络参数处理方法，其特征在于，包括：获得神经网络参数的M个元素标识中每个元素标识所采用的N个随机种子；M为大于或等于1的整数；N为大于或等于2的整数；根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数；根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素；根据所述每个元素标识所对应的重构元素，获得所述神经网络参数。2.根据权利要求1所述的方法，其特征在于，所述根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个压缩参数，包括：根据所述每个元素标识和该元素标识所采用的N个随机种子，获得所述每个元素标识的N个随机标识；根据所述N个随机标识和预先设置的压缩空间信息，获得所述每个元素标识的N个压缩参数。3.根据权利要求1所述的方法，其特征在于，所述根据所述每个元素标识的N个压缩参数，利用重构神经网络，获得所述每个元素标识所对应的重构元素，包括：获得预先设置的所述重构神经网络的一组重构神经网络参数；或者根据所述每个元素标识，在预先设置的所述重构神经网络的至少两组重构神经网络参数中进行选择，以获得一组重构神经网络参数；根据所获得的所述重构神经网络参数，获得所述每个元素标识所对应的重构元素。4.根据权利要求1～3任一权利要求所述的方法，其特征在于，还包括：获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述神经网络参数的全部压缩参数中每个压缩参数的梯度；根据所述每个压缩参数的梯度，利用梯度下降法，更新所述每个压缩参数。5.根据权利要求1～3任一权利要求所述的方法，其特征在于，还包括：获得所述神经网络参数所属原始神经网络的损失函数；根据所述损失函数，获得所述损失函数对所述重构神经网络的全部重构神经网络参数中每个重构神经网络参数的梯度；根据所述每个重构神经网络参数的梯度，利用梯度下降法，更新所述每个重构神经网...
【专利技术属性】
技术研发人员：朱志凡，冯仕堃，周坤胜，石磊，何径舟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。