【技术实现步骤摘要】
本披露一般地涉及神经网络领域。更具体地，本披露涉及优化神经网络模型的方法、计算机可读存储介质、计算机程序产品、计算机装置、处理装置、集成电路装置及板卡。
技术介绍
1、深度学习是机器学习领域中一个分支，其学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习是一个复杂的机器学习算法，在语音和图像识别领域具有良好的效果。
2、深度学习都是由代码来控制执行的，在代码完成后，便需要进行编译，从源语言编写的源程序转换目标程序，编译器或编译程序将源程序翻译成目标程序的工作过程分为五个阶段：词法分析、语法分析、语义检查和中间代码生成、代码优化、目标代码生成。
3、在代码优化过程中，会将代码拆解成许多流图，每个流图都包括节点与其输入输出。现有技术基于流图采用人工规则估计或者神经网络预测等方法来计算流图的运行时间，以判断神经网络模型的效能。但现有的特征编码设计复杂，且无法快速区分节点的连接关系的具体特征，导致优化效果不理想。有鉴于此，亟需提供一种优化神经网络模型的编译方案，使得编码更容易，同时考虑到更多的特征，以提升优化能力。
技术实现思路
1、为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了优化神经网络模型的方法、计算机可读存储介质、计算机程序产品、计算机装置、处理装置、集成电路装置及板卡。
2、在第一方面中，本披露提供一种优化神经网络模型的方法，方法包括：分析神经网络模型，以生成
3、在第二方面中，本披露提供一种计算机可读存储介质，其上存储有优化神经网络模型的计算机程序代码，当计算机程序代码由处理装置运行时，执行上述的方法。
4、在第三方面中，本披露提供一种计算机程序产品，包括优化神经网络模型的计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
5、在第四方面中，本披露提供一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述方法的步骤。
6、在第五方面中，本披露提供一种优化神经网络模型的处理装置，包括：分析模块、置入模块、编码模块、导入模块与选择模块。分析模块用以分析神经网络模型，以生成多个流图；置入模块用以分别置入初始节点与结束节点至多个流图中，以生成相对应的多个待解析流图；编码模块用以编码多个待解析流图，以独立生成相对应的多个边特征矩阵；导入模块用以将多个边特征矩阵导入至神经网络模型，以预测执行多个流图的运行时间；选择模块用以选择多个流图中运行时间最优的作为优化方案。
7、在第六方面中，本披露提供一种集成电路装置，包括根据上述的处理装置。
8、在第七方面中，本披露提供一种板卡，包括根据上述的集成电路装置。
9、通过如上所述的独立生成相对应的多个边特征矩阵，本披露的方案使得编码更容易，同时还考虑到边的特征，以提升优化能力。
本文档来自技高网...【技术保护点】
1.一种优化神经网络模型的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其中所述编码步骤还独立生成相对应的多个点特征矩阵，每个点特征矩阵定义相对应待解析流图的多个基本块，每个边特征矩阵定义所述多个基本块的输入输出。
3.根据权利要求2所述的方法，其中所述初始节点为虚拟基本块，所述点特征矩阵载有所述虚拟基本块的信息，所述边特征矩阵载有所述虚拟基本块的输出信息。
4.根据权利要求3所述的方法，其中所述初始节点的所有出口连接至相对应流图的所有输入。
5.根据权利要求2所述的方法，其中所述结束节点为虚拟基本块，所述点特征矩阵载有所述虚拟基本块的信息，所述边特征矩阵载有所述虚拟基本块的输入信息。
6.根据权利要求5所述的方法，其中所述结束节点的所有入口连接至相对应流图的所有输出。
7.根据权利要求2所述的方法，其中每个点特征矩阵载有所述多个基本块的算子信息及运行所述多个基本块的硬件配置信息。
8.根据权利要求7所述的方法，其中所述点特征矩阵的大小为N×X，N为相对应待解析流图的基本块数量，
9.根据权利要求2所述的方法，其中所述边特征矩阵载有输入张量或输出张量的信息。
10.根据权利要求9所述的方法，其中所述边特征矩阵的大小为M×Y，M为相对应待解析流图的输入输出数量，Y为所述输出输入的特征长度。
11.根据权利要求2所述的方法，其中所述编码步骤还独立生成相对应的多个连接特征矩阵，每个连接特征矩阵定义所述多个基本块的连接关系，所述连接关系在所述连接特征矩阵的排序对应至相对应输入输出在所述边特征矩阵的排序。
12.根据权利要求11所述的方法，其中所述连接特征矩阵的大小为2×M，M为相对应待解析流图的输入输出数量。
13.根据权利要求11所述的方法，还包括：
14.根据权利要求13所述的方法，其中所述降维步骤分别对所述多个点特征矩阵及所述多个边特征矩阵进行全连接卷积运算与ReLU函数激活运算。
15.根据权利要求13所述的方法，其中所述聚合步骤执行连续滤波卷积运算，所述连续滤波卷积运算为用于聚集所述点降维矩阵及边降维矩阵的图神经网络结构。
16.根据权利要求15所述的方法，其中所述聚合步骤包括：
17.根据权利要求1所述的方法，还包括：
18.根据权利要求1所述的方法，还包括：
19.根据权利要求17或18所述的方法，其中若所述多个流图的运行时间任一个达标，则执行所述选择步骤，选择达标的运行时间最优的作为所述优化方案。
20.一种计算机可读存储介质，其上存储有优化神经网络模型的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行权利要求1至19任一项所述的方法。
21.一种计算机程序产品，包括优化神经网络模型的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至19任一项所述方法的步骤。
22.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至19任一项所述方法的步骤。
23.一种优化神经网络模型的处理装置，其特征在于，所述装置包括：
24.一种集成电路装置，包括根据权利要求23所述的处理装置。
25.一种板卡，包括根据权利要求24所述的集成电路装置。
...【技术特征摘要】
1.一种优化神经网络模型的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其中所述编码步骤还独立生成相对应的多个点特征矩阵，每个点特征矩阵定义相对应待解析流图的多个基本块，每个边特征矩阵定义所述多个基本块的输入输出。
3.根据权利要求2所述的方法，其中所述初始节点为虚拟基本块，所述点特征矩阵载有所述虚拟基本块的信息，所述边特征矩阵载有所述虚拟基本块的输出信息。
4.根据权利要求3所述的方法，其中所述初始节点的所有出口连接至相对应流图的所有输入。
5.根据权利要求2所述的方法，其中所述结束节点为虚拟基本块，所述点特征矩阵载有所述虚拟基本块的信息，所述边特征矩阵载有所述虚拟基本块的输入信息。
6.根据权利要求5所述的方法，其中所述结束节点的所有入口连接至相对应流图的所有输出。
7.根据权利要求2所述的方法，其中每个点特征矩阵载有所述多个基本块的算子信息及运行所述多个基本块的硬件配置信息。
8.根据权利要求7所述的方法，其中所述点特征矩阵的大小为n×x，n为相对应待解析流图的基本块数量，x为所述多个基本块的特征长度。
9.根据权利要求2所述的方法，其中所述边特征矩阵载有输入张量或输出张量的信息。
10.根据权利要求9所述的方法，其中所述边特征矩阵的大小为m×y，m为相对应待解析流图的输入输出数量，y为所述输出输入的特征长度。
11.根据权利要求2所述的方法，其中所述编码步骤还独立生成相对应的多个连接特征矩阵，每个连接特征矩阵定义所述多个基本块的连接关系，所述连接关系在所述连接特征矩阵的排序对应至相对应输入输出在所述边特征矩阵的排序。
12.根据...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：安徽寒武纪信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。