【技术实现步骤摘要】
本申请涉及深度学习，具体涉及学习模型的优化方法、装置、计算机设备及存储介质。
技术介绍
1、近年来，深度学习技术取得了长足的进步，同时加速深度学习技术中各种模型(例如，深度神经网络)中算子的计算速度的人工智能(artificial intelligence，ai)芯片也得到了极大的发展。因此，利用ai芯片计算算子已成为一种常见的选择。
2、目前，由于ai芯片对精度越低的算子的计算速度就越快，深度学习技术对高性能的低计算精度的算子实现也越来越看重。对于同样的一个算子在不同计算精度下存在多种不同的实现方式，不同的实现方式导致了不同计算性能与计算精度误差。一味的追求更高的计算速度而使用低计算精度的算子，会影响学习模型的收敛效果，从而影响学习模型的预测精度。但目前没有一个很好的办法能够很好的衡量算子的计算速度与计算精度之间的平衡。
3、因此，如何在保证学习模型预测精度前提下，尽可能使用低计算精度算子以提高学习模型的计算速度已成为亟需解决的问题。
技术实现思路
1、有鉴于此，本申请提供了一种学习模型的优化方法、装置、计算机设备及存储介质，以解决在保证学习模型预测精度前提下，尽可能使用低计算精度算子以提高学习模型的计算速度的问题。
2、第一方面，本申请提供了一种学习模型的优化方法，所述方法包括：
3、获取基准有向无环图，以及基准有向无环图对应的基准学习模型的参考预测精度，基准有向无环图由多个变量、多个参考算子以及多个参考算子之间的数据流构成，基准
4、从预配置的算子集合中，选取功能与参考算子功能一致，且计算精度小于参考算子的计算精度的至少一个候选算子；
5、将所有候选算子分别插入至基准有向无环图中，得到至少一个新的有向无环图；
6、以参考预测精度为目标，利用搜索算法，从所有新的有向无环图中搜索与每一个参考算子对应的最优候选算子作为目标算子；
7、利用所有目标算子构建学习模型。
8、在上述技术方案中，从功能与参考算子一致，但计算精度小于参考算的计算精度的候选算子插入到基准有向无环图中形成至少一个新的有向无环图。这样在新的有向无环图中考虑到了参考算子的低计算精度版本的实现。进而以基准学习模型的基准预测精度为目标，利用搜索算法从所有新的有向无环图中搜索与每一个参考算子对应的最优候选算子作为目标算子，使得每一个目标算子都尽可能的是参考算子的低计算精度版本的实现，保证所有目标算子在满足基准预测精度的同时，能够可能多的包含计算精度小于其对应参考算子的计算精度的候选算子，进而利用所有目标算子构建的学习模型依旧能够满足基准预测精度，还会因为其中包含了尽可能多的低计算精度的算子，使得后续利用ai芯片计算算子时，能够大幅提升计算速度。实现了在保证学习模型预测精度前提下，尽可能使用低计算精度算子以提高学习模型的计算速度的目的。
9、在一些可选的实施例中，将所有候选算子分别插入至基准有向无环图中，得到至少一个新的有向无环图，包括：
10、在基准有向无环图中，插入与第一参考算子对应的一个候选算子后，得到一个新的有向无环图，直至所有候选算子都分别插入至基准有向无环图中生成对应的新的有向无环图后结束操作，第一参考算子为基准有向无环图中的任一个参考算子。
11、在上述技术方案中，每次都在基准有向无环图中插入一个参考算子的一个候选算子，使得每次确定参考算子对应的目标算子时，可以仅对插入候选算子后形成的新的子图进行处理，保证每次利用搜索算法搜索的空间并不会很大，以提高搜索速度，从而提高后续目标算子确定的速度。
12、在一些可选的实施例中，以参考预测精度为目标，利用搜索算法，从所有新的有向无环图中搜索与每一个参考算子对应的最优候选算子作为目标算子，包括：
13、利用第一新的有向无环图中的候选算子以及参考算子，构建第一初始学习模型，第一新的有向无环图包括第一参考算子对应的任一候选算子；
14、将初始变量输入至第一初始学习模型中，得到输出结果以及与输出结果对应的预测精度；
15、从所有的第一类初始学习模型分别生成的预测精度中，选取预测精度大于或等于参考预测精度的候选预测精度，第一类初始学习模型中的每一个初始学习模型为包括第一参考算子对应的任一候选算子的学习模型；
16、将取值最小的候选预测精度对应的初始学习模型确定为目标候选学习模型，目标候选学习模型中包括的候选算子作为第一参考算子对应的目标算子。
17、在上述技术方案中，每次在基准有向无环图中插入一个参考算子的一个候选算子后，都利用生成的新的有向无环图构建初始学习模型，从而得到该初始模型的输出结果对应的参考预测精度。实现每次在基准有向无环图插入候选算子，形成的新的子图后，都可以记录新子图所在有向无环图对应初始学习模型的参考预测精度。进而所有的第一类初始学习模型分别生成的预测精度中，选取预测精度大于或等于参考预测精度的候选预测精度，并将取值最小的候选预测精度对应的初始学习模型确定为目标候选学习模型，目标候选学习模型中包括的候选算子作为第一参考算子对应的目标算子。使得每个参考算子对应的目标算子尽可能的是计算精度较小且能满足参考预测精度的算子，进而在后续利用ai芯片计算算子时，能够大幅提升计算速度。实现了在保证学习模型预测精度前提下，尽可能使用低计算精度算子以提高学习模型的计算速度的目的。
18、在一些可选的实施例中，将所有候选算子分别插入至基准有向无环图中，得到新的有向无环图，包括：
19、将所有的候选算子都分别插入至基准有向无环图中生成一个新的有向无环图，在新的有向无环图中，与参考算子功能一致的候选算子，与参考算子的位置关系为并列关系，与参考算子功能一致的候选算子，与参考算子的数据流向一致。
20、在上述技术方案中，一次性将所有候选算子都分别插入至基准有向无环图中生成一个新的有向无环图，以便于后续直接通过一整个新的有向无环图确定每一个参考算子对应的目标算子，从而提高目标算子的确定速度。
21、在一些可选的实施例中，以参考预测精度为目标，利用搜索算法，从所有新的有向无环图中搜索与每一个参考算子对应的最优候选算子作为目标算子，包括：
22、利用新的有向无环图中的候选算子以及参考算子，构建结构以及功能与基准学习模型一致的至少一个第二初始学习模型；
23、将初始变量输入至每一个第二初始学习模型中，得到输出结果以及与输出结果对应的预测精度；
24、从所有第二初始学习模型分别确定的预测精度中，选取预测精度大于或等于参考预测精度的候选预测精度；
25、将取值最小的候选预测精度对应的初始学习模型确定为目标候选学习模型，目标候选学习模型中包括的与参考算子对应的算子作为参考算子对应的目标算子。
26、在上述技术方案中，利用新的有向无环图中的候选算子以及参考算子，构建结构以及功能与基准学习本文档来自技高网...
【技术保护点】
1.一种学习模型的优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所有所述候选算子分别插入至所述基准有向无环图中，得到至少一个新的有向无环图，包括：
3.根据权利要求2所述的方法，其特征在于，所述以所述参考预测精度为目标，利用搜索算法，从所有所述新的有向无环图中搜索与每一个所述参考算子对应的最优候选算子作为目标算子，包括：
4.根据权利要求1所述的方法，其特征在于，所述将所有所述候选算子分别插入至所述基准有向无环图中，得到新的有向无环图，包括：
5.根据权利要求4所述的方法，其特征在于，所述以所述参考预测精度为目标，利用搜索算法，从所有所述新的有向无环图中搜索与每一个所述参考算子对应的最优候选算子作为目标算子，包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，在以所述参考预测精度为目标，利用搜索算法，从所有所述新的有向无环图中搜索与每一个所述参考算子对应的最优候选算子作为目标算子之前，所述方法还包括：
7.一种学习模型的优化装置，其特征在于，所述装置包括：>
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的学习模型的优化方法。
...【技术特征摘要】
1.一种学习模型的优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所有所述候选算子分别插入至所述基准有向无环图中，得到至少一个新的有向无环图，包括：
3.根据权利要求2所述的方法，其特征在于，所述以所述参考预测精度为目标，利用搜索算法，从所有所述新的有向无环图中搜索与每一个所述参考算子对应的最优候选算子作为目标算子，包括：
4.根据权利要求1所述的方法，其特征在于，所述将所有所述候选算子分别插入至所述基准有向无环图中，得到新的有向无环图，包括：
5.根据权利要求4所述的方法，其特征在于，所述以所述参考预测精度为目标，利用搜索算法，从所有所述新的有向无环...
【专利技术属性】
技术研发人员：吴志华，孙瑞鑫，
申请(专利权)人：太初无锡电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。