一种卷积算子融合的方法技术

本发明专利技术提供一种卷积算子融合的方法，包括：S0先明确需要进行融合的算子类型：S1，先遍历整个graph图，找到符合N个算子顺序串联的子图结构；S2，在找到该子图后，分别取出N个算子中对应的权重h和w、步长strides、输入输出权重位宽、激活属性，判断该算子是否符合要融合的条件，如果不符合，则跳过该子图；符合的话进行S3；S3，符合卷积融合的条件，则创建一个新的节点node，并命名一个新的算子名称，取出N个卷积内的所有属性，进行重命名后放到新节点中，然后给新节点连接对应的输入和输出，使其在图中有对应的连接关系，并将图中的需要融合的节点删除。本方法能减少节点数、减少耗时。

【技术实现步骤摘要】

本专利技术属于图像处理，特别涉及一种卷积算子融合的方法。

技术介绍

1、现有技术中深度神经网络已经成为移动设备上许多主要应用的核心推动力。为了达到高精确度，dnn模型变得越来越深，有数百甚至数千的算子层，导致推理需要高内存和高计算要求。算子融合(或内核/层融合)是许多先进dnn执行框架的关键优化，如tensorflow、tvm和mnn，旨在提高dnn推理的效率。算子融合属于图像优化，算子融合可以达到减少整个graph中node的数量，以减少从一个node到另一个node之间的数据搬运的目的，从而减少在底层推理过程中需要耗费的时间。

2、然而，现有技术的主要缺陷在于：在算子融合过程中，或是将常见的算子组合进行融合，如卷积和bn；或者是某些热点算子组合子图进行融合，却没有将多个卷积算子进行融合的。

3、此外，现有技术中的常用术语包括：

4、算子：深度学习算法由一个个计算单元组成，我们称这些计算单元为算子(operator，简称op)，包括：conv，pooling，activation等。

5、节点：神经网络的基本文档来自技高网...

【技术保护点】

1.一种卷积算子融合的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种卷积算子融合的方法，其特征在于，所述步骤S0中所述先确定要融合的卷积的类型，是因为当前是对多个卷积进行融合，卷积有标准卷积、深度卷积即对输入的每个通道独立进行卷积运算、point convolution即权重宽高为1x1的普通卷积、膨胀卷积即在卷积核里面的元素直接插入空格来膨胀内核形成膨胀卷积，那么就需要先确定要融合的卷积的类型。

3.根据权利要求2所述的一种卷积算子融合的方法，其特征在于，所述步骤S0中进行卷积的融合，根据卷积的不同分类，有普通卷积和深度卷积，包括需要对p...

【技术特征摘要】

1.一种卷积算子融合的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种卷积算子融合的方法，其特征在于，所述步骤s0中所述先确定要融合的卷积的类型，是因为当前是对多个卷积进行融合，卷积有标准卷积、深度卷积即对输入的每个通道独立进行卷积运算、point convolution即权重宽高为1x1的普通卷积、膨胀卷积即在卷积核里面的元素直接插入空格来膨胀内核形成膨胀卷积，那么就需要先确定要融合的卷积的类型。

3.根据权利要求2所述的一种卷积算子融合的方法，其特征在于，所述步骤s0中进行卷积的融合，根据卷积的不同分类，有普通卷积和深度卷积，包括需要对point convolution-深度卷积-point convolution这三个进行融合。

4.根据权利要求1所述的一种卷积算子融合的方法，其特征在于，所述步骤s1中，所述有向无环图即无回路的有向图，即在图论中，如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图。

5.根据权利要求1所述的一种卷积算子融合的方法，其特征在于，所述步骤s1中所述n在point_convolution、depthwise_convolution和point_convolution三个卷积融合中n为3，point_convolution、depthwise_convolution和point_convolution三个算子融合，这里的point_convolution是指权重的h，w为1的普通卷积，depthwise_convolution就是深度卷积；若是进行其他子图的融合则对应设置n，假设对depthwise_convolution...

【专利技术属性】
技术研发人员：周凡，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：