The application provides an image processing method and device based on convolution neural network. According to the cutting processing information in the preset image processing strategy and the convolution operation strategy of the corresponding sub image, the image to be processed can be cut one or more times, each time into multiple sub images, and each sub image after cutting can be convoluted in turn independently; in the preset sub image The convergence point gathers the convolution operation results of each sub image; performs the residual convolution operation to obtain the final convolution operation results; outputs the results to the external storage unit. Only when the intermediate convolution operation result is cut again, it is output to the external storage unit, and read again to perform the above steps of image cutting, convolution operation, aggregation, etc. it is no longer necessary to output the intermediate data after each convolution layer operation to the external storage unit, and then read in as the input of the next convolution layer; it reduces the bandwidth of the external storage unit of the processor, and significantly improves High performance image processing system.
【技术实现步骤摘要】
一种基于卷积神经网络的图像处理方法及装置
本申请涉及图像处理领域，尤其涉及一种基于卷积神经网络的图像处理的技术。
技术介绍
卷积神经网络(ConvolutionalNeuralNetwork，CNN)作为人工神经网络的一种，已成为当前图像处理领域的研究热点。卷积神经网络是一个多层的神经网络，每层由多个三维平面构成，而每个平面都是由不同的卷积核卷积而成。卷积神经网络的每个神经网络层都会生成大量数据。上层的输出成为下一层的输入。由于神经网络可以具有多个层，因此卷积神经网络的卷积运算量非常大，而且每层网络都需要卷积运算，做一次图像处理需要多层卷积核及多平面卷积。现有技术中，每个神经网络层之间生成的数据需要卷积神经网络处理器的外部存储器(如GDDR或DDR或HBM存储器)进行缓存；也即对待识别图像执行卷积层运算过程中，每个卷积层之间的数据均需要输出至外部存储器，然后再读取至处理器内部。每个神经网络层都会产生大量数据，对处理器外部存储器的带宽要求就非常高。即使处理器外部存储器的带宽足够大，也可能因为卷积运算数据流量太大...
【技术保护点】
1.一种基于卷积神经网络的图像处理方法，其中，所述方法包括：/n根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像；/n根据预设的图像处理策略中所述子图像对应的卷积运算策略，对切割后的各子图像独立依次进行卷积运算；/n根据预设的图像处理策略中的子图像汇聚点信息，在对应的汇聚点汇聚所述各子图像的卷积运算结果；/n在根据预设的图像处理策略信息，所述卷积结果不需要进行再次切割的情况下，执行剩余卷积运算，并获得最终卷积运算结果；/n将所述最终卷积运算结果输出至外部存储单元。/n
【技术特征摘要】
1.一种基于卷积神经网络的图像处理方法，其中，所述方法包括：
根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像；
根据预设的图像处理策略中所述子图像对应的卷积运算策略，对切割后的各子图像独立依次进行卷积运算；
根据预设的图像处理策略中的子图像汇聚点信息，在对应的汇聚点汇聚所述各子图像的卷积运算结果；
在根据预设的图像处理策略信息，所述卷积结果不需要进行再次切割的情况下，执行剩余卷积运算，并获得最终卷积运算结果；
将所述最终卷积运算结果输出至外部存储单元。
2.根据权利要求1所述的方法，其中，所述方法还包括：
获取待处理图像，并对待处理图像进行预处理。
3.根据权利要求1所述的方法，其中，所述方法还包括：
根据待处理图像信息、内部存储空间大小及待处理图像需要执行的卷积运算策略信息，预设图像处理策略；其中，所述图像处理策略信息包括图像切割策略信息、汇聚点信息。
4.根据权利要求3所述的方法，其中，在已知汇聚点信息的情况下，所述根据待处理图像信息、内部存储空间大小及待处理图像需要执行的卷积运算策略信息，预设图像处理策略包括：
预估汇聚点处汇聚的卷积运算结果大小；
将所述预估结果与图像处理装置的内部存储空间大小进行比较；
根据上述比较结果确定所述卷积结果是否需要再次切割。
5.根据权利要求1所述的方法，其中，根据预设的图像处理策略信息，在所述卷积结果需要进行再次切割的情况下，所述方法还包括：
将所述汇聚的各子图像的卷积运算结果输出至外部存储单元。
6.根据权利要求5所述的方法，其中，所述方法还包括：
读取所述输出至外部存储单元的各子图像的卷积运算结果；
其中，所述根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像包括：
根据预设的图像处理策略中对应该次切割的子图像数量及其大小相关信息，将读取的卷积运算结果再次切割为多个子图像。
7.根据权利要求1所述的方法，其中，所述在根据预设的图像处理策略信息，所述卷积结果不需要进行再次切割的情况下，执行剩余卷积运算，并获得最终卷积运算结果包括：
根据预设的图像处理策略信息，确定所述汇聚的卷积结果需要执行的剩余卷积运算信息；
对所述汇聚的卷积结果执行所述剩余的卷积运算，并获得最终卷积运算结果。
8.根据权利要求1所述的方法，其中，所述图像切割处理策略包括将待处理图像切割为子图像的数量及其大小相关信息，以及对切割后的子图像执行的卷积运算相关信息，所述根据预设的图像处理策略中该次切割对应子图像数量及其大小相关信息，将读取的待处理图像切割为多个子图像包括：
根据所述将待处理图像分割为子图像的数量及其大小信息，确定每个子图像的第一边界信息；
根据所述对切割后的子图像执行的卷积运算信息中卷积核尺寸及每个子图像的第一边界信息，确定所述待处理图像中每个子图像的第二边界信息；
根据所述待处理图像中子图像的第二边界信息对图像进行依次切割。
9.根据权利要求8所述的方法，其中，所述根据所述对切割后的子图像执行的卷积运算信息中卷积核尺寸及每个子图像的第一边界信息，确定所述待处理图像中每个子图像的第二边界信息包括：
根据所述对切割后的子图像执行的卷积运算相关信息中级联卷积核及并联卷积核尺寸信息，确定所述待处理图像中每个子图像在第一边界的基础上需要向其边缘延展的像素值信息；
根据所述每个子图像第一边界信息及其对应的延展像素值信息确定所述每个子图像的第二边界信息。
10.根据权利要求9所述的方法，其中，所述延展像素值大小为：
将所述子图像对应的所有卷积核中级联卷积核及并联卷积核需要延展的像素值相加，其中级联卷积核部分对应需要延展的像素值为：每个级联卷积核尺寸减1后累加，其中并联卷积核部分对应需要延展的像素值为：并联卷积核中最大尺寸的卷积核的尺寸减1。
11.根据权利要求10所述的方法，其中，所述方法还包括：
通过设置的滤波电路模块将所述并联卷积核中非最大尺寸的卷积核针对所述延展区域的像素值的运算结果过滤掉。
12.根据权利要求1至11中任一项所述的方法，其中，所述根据预设的图像处理策略中所述子图像对应的卷积运算策略，对切割后的各子图像独立依次进行卷积运算包括：
根据图像切割处理策略中的卷积运算策略信息，确定切割后子图像执行的卷积层运算信息；
对切割后的每个子图像独立、依次执行所述卷积层运算，并获得每个子图像的卷积运算结果。
13.一种基于卷积...
【专利技术属性】
技术研发人员：李锐，张磊，邓禹丹，李敏丽，贺秋丽，李国亮，杨勤富，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。