一种模型计算方法、装置及设备制造方法及图纸

技术编号:37254503 阅读:22 留言:0更新日期:2023-04-20 23:31
本申请公开了一种模型计算方法、装置及设备,能够应用于神经网络模型的加速计算,将神经网络模型的计算图进行节点拆分,获取单一节点;识别单一节点并确认可融合节点;将多个可融合节点融合生成融合节点;将融合节点替代多个可融合节点,并通过融合节点实现神经网络模型的计算。采用本申请提供的技术方案,能够大大提高神经网络模型的计算速度,并大量提高CPU效能,实现神经网络模型的高效计算。实现神经网络模型的高效计算。实现神经网络模型的高效计算。

【技术实现步骤摘要】
一种模型计算方法、装置及设备


[0001]本申请涉及数据处理
,特别是涉及一种模型计算方法、装置及设备。

技术介绍

[0002]随着人工智能的不断发展,人工智能的应用方式也逐渐地不断发掘创造。其中,神经网络模型是在人工智能应用中的一种热门应用方法,越来越广泛地应用于各领域的人工智能计算中。
[0003]而在神经网络模型的应用范围越来越广阔的同时,为了实现越来越多样化的需求,神经网络模型复杂性增加的同时,其也伴随着神经网络模型的计算量越来越大,在不断扩展大量计算过程的同时,为了满足计算而设立的各种算子的数量也随之不断增长。基于上述情况,在大量计算过程中,其响应的时间也在不断的增加。因此,如何减少神经网络模型的响应时间,是本领域技术人员急需解决的技术问题。

技术实现思路

[0004]基于上述问题,本申请提供了一种模型计算方法、装置及设备,实现对神经网络模型的加速计算,本申请实施例公开了如下技术方案:
[0005]一种模型计算方法,所述方法包括:
[0006]将神经网络模型的计算图进行节点拆分,获取单一节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型计算方法,其特征在于,所述方法包括:将神经网络模型的计算图进行节点拆分,获取单一节点;识别所述单一节点并确认可融合节点;将多个所述可融合节点融合生成融合节点;将所述融合节点替代多个所述可融合节点,并通过所述融合节点实现所述神经网络模型的计算。2.根据权利要求1所述的方法,其特征在于,所述识别所述单一节点并确认可融合节点,具体包括:读取待测节点中的算子,获取所述待测节点中的算子的类型和执行逻辑;根据所述待测节点中所述算子的类型和执行逻辑确认所述待测节点是否满足可融合性;在所述待测节点满足所述可融合性的基础上,确定所述待测节点为可融合节点。3.根据权利要求2所述的方法,其特征在于,所述根据所述待测节点中的算子的类型和执行逻辑确认所述待测节点是否满足可融合性,具体包括:确认所述待测节点中的算子的访存类型,并且计算所述待测节点中的算子的执行逻辑的复杂度;比较所述待测节点中的算子的访存类型与预存的访存类型的归属关系,并且计算所述待测节点中的算子的执行逻辑的复杂度与所述复杂度阈值之间的关系;若所述待测节点中的算子的访存类型归属于预存的所述访存类型,且所述待测节点中的算子的执行逻辑的复杂度小于所述复杂度阈值,确认所述待测节点中的算子满足可融合性。4.根据权利要求1所述的方法,其特征在于,在所述识别所述单一节点并确认可融合节点之后,还包括:将所述可融合节点进行子图划分,将相邻可融合节点划分至同一所述子图中。5.根据权利要求4所述的方法,其特征在于,所述将所述可融合节点进行子图划分,将相邻可融合节点划分至同一所述子图中,具体包括:依据所述节点间的连接结构遍历节点,定位当前可融合节点;获取所述当前可融合节点的下级节点,并识别下级节点的类型;所述当前可融合节点的下级节点为,输入与所述当前可融合节点的输出相关的节点,节点的类型包括:可融合节点和不可融合节点;若所述下级节点为所述可融合节点,则对所述下级节点赋予与所述当前可融合节点相同的子图标识;将所述下级节点作为新的当前可融合节点循环执行上述步骤直至新的当前可融合节点的下级节点类型为不可融合节点;将所述可融合节点进行子图划分,将同一子图标识的相邻...

【专利技术属性】
技术研发人员:张海俊姚文军汪锦想魏岩凌震华
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1