涉及优化神经网络模型的方法及设备技术

技术编号:41874122 阅读:21 留言:0更新日期:2024-07-02 00:25
本披露涉及优化神经网络模型的方法及设备,其中本披露的计算装置包括在集成电路装置中,该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互,共同完成用户指定的计算操作。集成电路装置还可以包括存储装置,存储装置分别与计算装置和其他处理装置连接,用于计算装置和其他处理装置的数据存储。

【技术实现步骤摘要】

本披露一般地涉及神经网络领域。更具体地,本披露涉及优化神经网络模型的方法、处理装置、集成电路装置及板卡。


技术介绍

1、深度学习是机器学习领域中一个分支,其学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习是一个复杂的机器学习算法,在语音和图像识别领域具有良好的效果。

2、深度学习都是由代码来控制执行的,在代码完成后,便需要进行编译,从源语言编写的源程序转换目标程序,编译器或编译程序将源程序翻译成目标程序的工作过程分为五个阶段:词法分析、语法分析、语义检查和中间代码生成、代码优化、目标代码生成。

3、在代码优化过程中,会将代码拆解成许多流图,每个流图都包括节点与其输入输出。现有技术基于流图采用人工规则估计或者神经网络预测等方法来计算流图的运行时间,以判断神经网络模型的效能。但现有的特征编码设计复杂,在对神经网络模型的算子进行融合的过程中,需要进行节点聚类,若要处理不定聚类个数的问题,只能采用循环方式对图神经网络学到的节点嵌入向量做相似性聚类的方法,但该方式忽略了图的结构本文档来自技高网...

【技术保护点】

1.一种优化神经网络模型的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,其中所述初始节点的所有出口连接至相对应流图的所有输入,所述结束节点的所有入口连接至相对应流图的所有输出。

4.根据权利要求1所述的方法,其中所述编码步骤还独立生成相对应的多个点特征矩阵,每个点特征矩阵定义相对应流图的多个基本块。

5.根据权利要求4所述的方法,其中所述编码步骤还独立生成相对应的多个连接特征矩阵,每个连接特征矩阵定义所述多个基本块的连接关系。

6.根据权利要求5所述的方法,还包括:...

【技术特征摘要】

1.一种优化神经网络模型的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,其中所述初始节点的所有出口连接至相对应流图的所有输入,所述结束节点的所有入口连接至相对应流图的所有输出。

4.根据权利要求1所述的方法,其中所述编码步骤还独立生成相对应的多个点特征矩阵,每个点特征矩阵定义相对应流图的多个基本块。

5.根据权利要求4所述的方法,其中所述编码步骤还独立生成相对应的多个连接特征矩阵,每个连接特征矩阵定义所述多个基本块的连接关系。

6.根据权利要求5所述的方法,还包括:

7.根据权利要求6所述的方法,其中所述降维步骤分别对所述多个点特征矩阵进行全连接卷积运算与relu函数激活运算。

8.根据权利要求5所述的方法,其中所述编码步骤还独立生成相对应的多个边特征矩阵,所述边特征矩阵载有输入张量和/或输出张量的信息。

9.根据权利要求8所述的方法,还包括:

10.根据权利要求9所述的方法,其中所述降维步骤分别对所述多个点特征矩阵及所述多个边特征矩阵进行全连接卷积运算与relu函数激活运算。

11.根据权利要求9所述的方法,其中所述聚合步骤执行连续滤波卷积运算,所述连续滤波卷积运算为用于聚集所述点降维矩阵及边降维矩阵的图...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:上海寒武纪信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1