图像处理装置制造方法及图纸

实施方式提供等待时间较小并且能够以低成本实现的图像处理装置。实施方式的图像处理装置具有：图像处理处理器(11)，被输入图像数据；状态缓存(21)，设在图像处理处理器(11)内；以及循环型神经网络处理器(22)，使用图像数据的多个像素数据和保存在状态缓存(21)中的循环型神经网络运算的运算结果中的至少一方进行循环型神经网络运算。行循环型神经网络运算。行循环型神经网络运算。

【技术实现步骤摘要】
图像处理装置
[0001]本申请基于日本专利申请2020－46914号(申请日：2020年3月17日)主张优先权，这里引用其全部内容。


[0002]本专利技术的实施方式涉及图像处理装置。

技术介绍

[0003]有通过神经网络实现对于图像数据的识别处理等的技术。例如，卷积神经网络(Convolutional Neural Network：CNN。以下称作CNN)中的核(kernel)运算，在将图像的图像数据整体保持在DRAM等的片外存储器中的帧缓存中之后，一边使规定尺寸的窗口相对于该被保持的图像数据整体滑动，一边执行。
[0004]因此，由于将图像数据整体保存到片外存储器中、以及在用于每次核运算时进行的特征图的写入及读出的向片外存储器的访问花费时间，所以CNN运算的等待时间(latency)较大。在图像处理处理器(Image Signal Processor)那样的装置中，优选的是等待时间较小。
[0005]为了减小CNN运算的等待时间，也可以使用比帧缓存的尺寸小的线缓存，但由于较多地发生用于核运算的向线缓存的访问，所以在线缓存中需要使用能够高速访问的存储器，图像处理装置的成本变高。

技术实现思路

[0006]本专利技术的目的是提供一种等待时间较小并且能够以低成本实现的图像处理装置。
[0007]技术方案的图像处理装置具有：第1处理器，被输入图像数据；缓存，设在上述第1处理器内；以及第2处理器，使用上述图像数据的多个像素数据和保存在上述缓存中的循环型神经网络运算的运算结果中的至少一方，进行上述循环型神经网络运算。
附图说明
[0008]图1是有关实施方式的图像处理装置的框图。
[0009]图2是用来说明有关实施方式的图像处理处理器的处理内容的图。
[0010]图3是表示有关实施方式的图像处理处理器的结构的框图。
[0011]图4是有关实施方式的循环型神经网络单元处理器的结构图。
[0012]图5是用来说明有关实施方式的从输入图像数据向流数据的变换的图。
[0013]图6是用来说明有关实施方式的对于输入图像数据中包含的多个像素值的循环型神经网络单元的处理顺序的图。
[0014]图7是用来说明有关变形例1的对于各行的最终列的输出值的线端单元的处理顺序的图。
[0015]图8是用来说明有关变形例2的对于输入图像数据中包含的多个像素值的循环型
神经网络单元的处理顺序的图。
[0016]图9是用来说明卷积神经网络的感受野(Receptive Field)的图。
[0017]图10是用来说明实施方式的感受野的图。
[0018]图11是用来说明卷积神经网络和循环型神经网络的感受野的范围的差异的图。
[0019]图12是用来说明有关变形例2的循环型神经网络单元的输入步长的图。
[0020]图13是用来说明有关变形例2的感受野的设定范围的图。
具体实施方式
[0021]以下，参照附图说明实施方式。
[0022](结构)
[0023]图1是有关本实施方式的图像处理装置的框图。使用本实施方式的图像处理装置的图像处理系统1对来自照相机装置的图像数据进行处理，进行图像识别等的处理，将其处理结果的信息输出。
[0024]图像处理系统1包括图像处理处理器(Image Signal Processor：ISP。以下称作ISP)11、片外存储器12和处理器13。
[0025]ISP11通过遵循MIPI(Mobile Industry Processor Interface：移动产业处理器接口)CSI(Camera Serial Interface：相机串行接口)标准等的接口与照相机装置(未图示)连接。ISP11接受来自照相机装置的图像传感器14的摄像信号，对摄像信号进行规定的处理，将规定的处理的结果数据输出。即，对于作为处理器的ISP11，序列地输入图像数据的多个像素数据。这里，ISP11以来自作为摄像元件的图像传感器14的摄像信号(以下称作输入图像数据)IG为输入，作为结果数据而输出图像数据(以下称作输出图像数据)OG。例如，ISP11对输入图像数据IG进行噪声除去等，输出没有噪声等的输出图像数据OG。
[0026]另外，也可以将来自图像传感器14的输入图像数据IG的全部向ISP11输入，对输入图像数据IG的全部执行后述的RNN运算，也可以对输入图像数据IG的一部分执行后述的RNN运算。
[0027]ISP11包括状态缓存21、和反复执行基于循环型神经网络(Recurrent Neural Network：RNN。以下称作RNN)的规定的运算的RNN单元处理器22。关于ISP11的结构在后面叙述。
[0028]片外存储器12是DRAM等的存储器。在ISP11中生成并从ISP11输出的输出图像数据OG被保存到片外存储器12中。
[0029]处理器13基于保存在片外存储器12中的输出图像数据OG进行识别处理等。处理器13输出由识别处理等得到的结果数据RD。由此，ISP11、片外存储器12及处理器13例如构成对图像进行图像识别处理等的图像识别装置(由图1的虚线表示)2。
[0030]图2是用来说明ISP11的处理内容的图。如图2所示，ISP11使用RNN单元处理器22(后述)对来自图像传感器14的输入图像数据IG进行噪声除去等的规定的处理，生成输出图像数据OG。
[0031]例如，当图像识别装置2通过处理器13基于输出图像数据OG进行识别处理等时，由于输出图像数据OG是被除去了噪声的数据，所以能够期待处理器13中的识别处理等的精度的提高。
[0032]图3是表示ISP11的结构的框图。图4是RNN单元处理器22的结构图。ISP11包括状态缓存21、RNN单元处理器22及像素流解码器23。像素流解码器23是将输入图像数据IG变换为流数据SD而向RNN单元处理器22输出的电路。
[0033]图5是用来说明从输入图像数据IG向流数据SD的变换的图。这里，为了使说明变得简单，在图5中，输入图像数据IG的图像由6行图像数据构成。各行包含多个像素数据。即，图像由多行(这里是6行)多列的像素数据构成。
[0034]像素流解码器23如果接收到来自图像传感器14的输入图像数据IG，则将接收到的输入图像数据IG的多个像素数据变换为规定的顺序的流数据SD。
[0035]像素流解码器23从输入图像数据IG生成由从第1行的第1列的像素(即最上行的左端的像素)到第1行的最终列的像素(即最上行的右端的像素)的行数据L1、接着行数据L1而从第2行的第1列的像素(即上起第2行的左端的像素)到第2行的最终列的像素(即第2行的右端的像素)的行数据L2、
…
、从作为第最终行的第6行的第1列的像素(即最下行的左端的像素)到第6行的最终列的像素(即最下行的右端的像素)的数据列LL的多个像素数据构成的流数据SD并输出。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，其特征在于，具有：第1处理器，被输入图像数据；缓存，设在上述第1处理器内；以及第2处理器，使用上述图像数据的多个像素数据和保存在上述缓存中的循环型神经网络运算的运算结果中的至少一方，进行上述循环型神经网络运算。2.如权利要求1所述的图像处理装置，其特征在于，上述循环型神经网络运算的上述运算结果是隐藏状态。3.如权利要求1所述的图像处理装置，其特征在于，上述多个像素数据被序列地向上述循环型神经网络处理器输入；上述循环型神经网络处理器对于被输入的上述多个像素数据依次进行上述循环型神经网络运算，将上述运算结果保存到上述缓存中。4.如权利要求3所述的图像处理装置，其特征在于，上述第2处理器能...

【专利技术属性】
技术研发人员：小崎南羽，
申请(专利权)人：东芝电子元件及存储装置株式会社，
类型：发明
国别省市：