训练深度学习模型的方法、数据处理方法及装置制造方法及图纸

本申请实施例提供了一种训练深度学习模型的方法、数据处理方法及装置，通过将深度学习模型所需的至少部分模型参数压缩在一个共享参数池中，多个模型参数可以共享该共享参数池中同一位置存储的参数，能够在不影响模型精度的情况下压缩模型的参数量，解决了深度学习模型的参数的数量过多的技术问题。模型的参数的数量过多的技术问题。模型的参数的数量过多的技术问题。

【技术实现步骤摘要】
训练深度学习模型的方法、数据处理方法及装置


[0001]本申请涉及计算机领域，具体涉及一种训练深度学习模型的方法、数据处理方法及装置。

技术介绍

[0002]随着深度学习(DL，Deep Learning)技术的飞速发展，各种深度学习模型被广泛应用在图像分类、多目标检测、语义分割以及行为识别等领域。然而，深度学习模型具有相当复杂的结构和数以百万计的参数，对模型运行所需要的硬件配置的要求非常高，过高的配置要求导致深度学习模型的使用受限。因此，如何实现深度学习模型的压缩成为一个亟待解决的重要问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种训练深度学习模型的方法、数据处理方法及装置，以解决深度学习模型中的模型参数的数量过多的问题，实现深度学习模型的压缩。
[0004]第一方面，本申请的实施例提供了一种数据处理方法，用于利用深度学习模型处理数据，该方法包括：在共享参数池中获取所述深度学习模型的模型参数的集合，所述共享参数池包括存储有参数值的多个位置，所述共享参数池中的至少部分位置分别关联所述集合的一个子集中的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于利用深度学习模型处理数据，其特征在于，包括：在共享参数池中获取所述深度学习模型的模型参数的集合，所述共享参数池包括存储有参数值的多个位置，所述共享参数池中的至少部分位置分别关联所述集合的一个子集中的模型参数，以使同一个所述子集中的模型参数共享同一个位置的参数值，不同位置关联的所述子集没有交集；以及将待处理的数据输入使用所述模型参数的集合的所述深度学习模型，得到输出结果。2.根据权利要求1所述的方法，其特征在于，各所述模型参数与所述共享参数池的位置通过伪随机函数相关联。3.根据权利要求1所述的方法，其特征在于，所述在共享参数池中获取所述深度学习模型的模型参数的集合，包括：确定伪随机种子；根据所述伪随机种子和伪随机函数确定各所述模型参数在所述共享参数池中的关联位置；以及从各所述模型参数的关联位置获取各所述模型参数的参数值。4.一种训练深度学习模型的方法，其特征在于，包括：在每次对所述深度学习模型训练前，在共享参数池中获取所述深度学习模型的模型参数的集合，所述共享参数池包括存储有参数值的多个位置，所述共享参数池中的至少部分位置分别关联所述集合的一个子集中的模型参数，以使同一个所述子集中的模型参数共享同一个位置的参数值，不同位置关联的所述子集没有交集；对使用所述模型参数的集合的所述深度学习模型进行训练，得到训练结果；以及根据所述训练结果更新共享参数池中各位置存储的参数值。5.根据权利要求4所述的方法，其特征在于，各所述模型参数与所述共享参数池的位置通过伪随机函数相关联。6.根据权利要求4所述的方法，其特征在于，还包括：确定所述共享参数池；初始化所述深度学习模型；确定伪随机种子；以及根据所述伪随机种子和伪随机函数确定所述深度学习模型的各所述模型参数在所述共享参数池中的关联位置。7.根据权利要求5所述的方法，其特征在于，所述确定所述共享参数池包括：实例化所述共享参数池；以及初始化所述共享参数池。8.根据权利...

【专利技术属性】
技术研发人员：温子腾，刘辰宇，吴浩，吴嘉嘉，胡金水，殷兵，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：