信息处理装置、信息处理方法和信息处理程序制造方法及图纸

提供信息处理装置、信息处理方法和信息处理程序，其能够降低卷积神经网络(CNN)中的卷积处理的负荷。根据本公开的信息处理装置(1)包括设定单元(51)和控制单元(52)。设定单元(51)将包括二维排列的多个成像像素的成像单元(2)中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间。控制单元(52)使信号电荷从已曝光的成像像素传输到浮动扩散(FD)，从而执行卷积处理。从而执行卷积处理。从而执行卷积处理。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和信息处理程序


[0001]本公开涉及信息处理装置、信息处理方法和信息处理程序。

技术介绍

[0002]存在图像分类装置，其将图像数据输入到卷积神经网络(CNN)，对图像重复卷积处理和池化处理以提取图像的特征，并在随后的阶段中通过全连接层根据特征对图像进行分类(例如，参见专利文献1)。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：JP 2018
‑
005639 A。

技术实现思路

[0006]技术问题
[0007]然而，在CNN中，通过使用多个周围像素对目标像素执行卷积处理，并且该处理对于所有必要区域是必要的。因此，卷积处理所需的处理负荷非常大。
[0008]因此，本公开提出了能够减少CNN中的卷积处理的处理负荷的信息处理装置、信息处理方法和信息处理程序。
[0009]问题解决方案
[0010]根据本专利技术，提供了一种信息处理装置。信息处理装置包括设定单元和控制单元。设定单元将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与CNN的第一层的卷积系数相对应的曝光时间。控制单元使信号电荷从已曝光的成像像素传输到浮动扩散，从而执行卷积处理。
附图说明
[0011]图1是根据本公开的CNN的示意性说明图。
[0012]图2是示出根据本公开的信息处理装置的配置的示例的框图。
[0013]图3是根据本公开的2
×
2Conv的说明图。
[0014]图4是示出根据本公开的执行2
×
2Conv的电路的示例的说明图。
[0015]图5是根据本公开的2
×
2Conv中的曝光和读取定时的说明图。
[0016]图6是根据本公开的4
×
4Conv的说明图。
[0017]图7是示出根据本公开的执行4
×
4Conv的电路的示例的说明图。
[0018]图8是示出由根据本公开的由控制器执行的处理的示例的流程图。
[0019]图9是示出车辆控制系统的示意性配置的示例的框图。
[0020]图10是示出车外信息检测单元和成像单元的安装位置的示例的说明图。
[0021]图11是示出内窥镜手术系统的示意性配置的示例的图。
[0022]图12是示出摄像头和CCU的功能配置的示例的框图。
具体实施方式
[0023]在下文中，将基于附图详细描述本公开的实施例。注意，在以下的各实施例中，相同的标号表示相同的部分，省略重复的说明。
[0024][1.CNN概述][0025]首先，将参照图1描述卷积神经网络(CNN)的概要。图1是根据本公开的CNN的示意性说明图。
[0026]CNN是通过结合卷积处理和深度神经网络(DNN)获得的机器学习模型。如图1所示，CNN大致包括作为前一级的特征提取层和作为后一级的全连接层。
[0027]当输入图像数据Img时，特征提取层对每预定数量的成像像素执行滤波处理以将图像数据退化为一个像素，并由此执行卷积处理以生成指示图像数据的特征分布的特征映射Img1。
[0028]如图1所示，由二维(矩阵)排列的多个成像像素形成的图像数据Img被输入到CNN。例如，当执行2
×
2卷积处理(以下称为“2
×
2Conv”)时，CNN首先通过将滤波器Ft应用于图像数据Img中的左上四个成像像素来提取特征，并将所述特征转换为一个退化像素Un1。
[0029]此时，CNN将四个成像像素的每个像素值乘以通过机器学习预先获得的卷积系数，并将相乘后的四个成像像素的像素值相加，从而计算退化像素Un1的特征。
[0030]这里，像素值是通过将对应于当对应于每个成像像素的光电转换元件捕获图像时接收的光量的模拟电压值转换为数字值而获得的值。将预定数量的成像像素转换成包括所述特征的一个退化像素Un1的处理是卷积处理。
[0031]随后，CNN通过在横向方向上将滤波器Ft的应用位置移位两个像素来执行卷积处理，并将滤波器Ft所应用到的四个成像像素转换为一个退化像素Un2。
[0032]此外，CNN还在横向方向上将滤波器Ft的应用位置移位两个像素，执行卷积处理，并将滤波器Ft所应用到的四个成像像素转换为一个退化像素Un3。然后，CNN对包括在图像数据Img中的所有成像像素执行卷积处理，以生成特征映射Img1。
[0033]然后，CNN对特征映射Img1执行池化处理。在池化处理中，CNN针对特征映射Img1中包括的每预定数量的退化像素(例如，高度
×
宽度：2
×
2)选择例如具有最大特征的退化像素。
[0034]然后，CNN生成特征映射Img2，其中在所选择的退化像素中进一步提取并退化特征，将特征映射Img2的像素的特征输入到随后的全连接层，并由全连接层根据特征对图像进行分类。
[0035]如上所述，在CNN中，首先，将输入的图像数据Img的所有成像像素的像素值乘以卷积系数，对于每预定数量的成像像素，将乘以卷积系数的像素值相加，从而执行卷积处理。
[0036]因此，在CNN中，例如，在输入几百万像素的图像数据的情况下，用于执行卷积处理的积和运算的计算量是巨大的，这增加了处理负荷。因此，根据本公开的信息处理装置通过由捕获图像的成像单元执行模拟处理，来执行在CNN中的特征提取层中执行的卷积处理，从而减少CNN中的卷积处理的处理负荷。
[0037][2.信息处理装置的配置][0038]图2是示出根据本公开的信息处理装置的配置的示例的框图。信息处理装置1例如是互补金属氧化物半导体(CMOS)图像传感器，并且在CNN中对通过模拟处理捕获的图像执
行第一层的卷积处理或直到第二层的卷积处理。然后，信息处理装置1向CNN 8的后续层输出与卷积处理的结果相对应的信号。注意，这里，虽然将描述信息处理装置1在CNN中的第一层或第二层中执行卷积处理的情况，但是信息处理装置1可以被配置为在CNN中的第三层和后续层中执行卷积处理。
[0039]因此，CNN 8可以通过执行池化处理或全连接层中的处理而不执行第一层中的卷积处理或第二层中的卷积处理来输出图像的分类结果。因此，信息处理装置1可以减少CNN 8中的卷积处理的处理负荷。
[0040]具体地，如图2所示，信息处理装置1包括成像单元2、垂直扫描电路3、模数转换器(ADC)4、控制器5、存储单元6和寄存器7。
[0041]成像单元2包括多个二维排列的成像像素和由预定数量的成像像素共享的浮动扩散。每个成像像素包括对应于捕获图像的每个像素提供的光电二极管，并且光电地将接收到的光转换成对应于接收到的光量的信号电荷。浮动扩散是临时保持从光电二极管传输的信号电荷的电荷保持区。
[0042]垂直扫描电路3由控制器5控制并执行每个成像像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：设定单元，用于将包括二维排列的多个成像像素的成像单元中的每个成像像素的曝光时间设定为与卷积神经网络(CNN)的第一层的卷积系数相对应的曝光时间；以及控制单元，用于通过将信号电荷从已曝光的所述成像像素传输到浮动扩散来执行卷积处理。2.根据权利要求1所述的信息处理装置，其中，所述设定单元将每个所述成像像素的曝光开始定时设定为与所述第一层的卷积系数相对应的不同定时，并且将所述信号电荷从所有所述成像像素到所述浮动扩散的传输定时设定为相同定时。3.根据权利要求1所述的信息处理装置，其中，所述浮动扩散由预定数量的所述成像像素共享，所述设定单元将多个所述浮动扩散中的每一个的转换效率设定为与所述CNN的第二层的卷积系数相对应的转换效率，以及所述控制单元累加传输到二维排列的预定数量的所述浮动扩散的所述信号电荷，并执行所述卷积处理。4.根据权利要求1所述的信息...

【专利技术属性】
技术研发人员：浴良仁，横山恭二，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：