成像设备、成像系统、成像方法和成像程序技术方案

成像装置具有：成像单元(10)，其具有其中设置有多个像素的像素区域；读出控制器(11)，其控制从包括在像素区域中的像素读出像素信号；第一读出单位设置单元(142)，其设置一读出单位，该读出单位为像素区域的一部分，从该读出单位中，所述读出控制器读取出像素信号；图像输出单元(143、15)，其将基于从读出单元读出的像素信号的第一图像输出到后级；第二读出单元控制器(123)，其控制读出控制器从其中读出像素信号的读出单位；以及识别单元(14)，其学习每个读出单元的训练数据，对每个读出单元的像素信号执行识别处理，并输出作为识别处理结果的识别结果。果的识别结果。果的识别结果。

【技术实现步骤摘要】
【国外来华专利技术】成像设备、成像系统、成像方法和成像程序


[0001]本公开涉及一种成像设备、一种成像系统、一种成像方法和一种成像程序。

技术介绍

[0002]近年来，随着诸如数码相机、数码摄像机和安装在多功能移动电话(智能手机)上的小型相机等成像设备的复杂化，已经开发了配备有识别捕捉图像中包括的预定对象的图像识别功能的成像设备。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：JP 2017
‑
112409 A

技术实现思路

[0006]技术问题
[0007]通常，适合于图像识别功能中的识别处理的图像不同于适合于人的视觉识别的图像。因此，在试图提高配备有图像识别功能的成像设备中的识别精度时，可能难以将为识别处理捕捉的图像用作能够充分提供作为用于视觉识别的图像的信息的图像。
[0008]本公开旨在提供一种成像设备、一种成像系统、一种成像方法和一种成像程序，其能够实现用于识别处理的成像和用于视觉识别的成像。
[0009]问题的解决方案
[0010]为了解决上述问题，根据本公开的一个方面的成像设备具有：成像单元，具有其中设置有多个像素的像素区域；读出控制器，控制从包括在所述像素区域中的像素读出像素信号；第一读出单位设置单元，将所述读出控制器执行像素信号读出的读出单位设置为像素区域的一部分；图像输出单元，将基于从该读出单位读出的像素信号的第一图像输出到后级；第二读出单位设置单元，设置所述读出控制器在其中执行像素信号读出的读出单位；以及识别单元，学习该些读出单位中的每个读出单位的训练数据，对该些读出单位中的每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
附图说明
[0011]图1是示出可应用于本公开的每个实施例的成像设备的示例的配置的框图；
[0012]图2A是示出根据每个实施例的成像设备的硬件配置的示例的示意图；
[0013]图2B是示出根据每个实施例的成像设备的硬件配置的示例的示意图；
[0014]图3A是示出根据每个实施例的成像设备被形成为具有两层结构的堆叠CIS的示例的示图；
[0015]图3B是示出根据每个实施例的成像设备被形成为具有三层结构的堆叠CIS的示例的示图；
[0016]图4是示出可应用于每个实施例的传感器单元的示例的配置的框图；
[0017]图5A是示出滚动快门方法的示意图；
[0018]图5B是示出滚动快门方法的示意图；
[0019]图5C是示出滚动快门方法的示意图；
[0020]图6A是示出滚动快门方法中的行细化的示意图；
[0021]图6B是示出滚动快门方法中的行细化的示意图；
[0022]图6C是示出滚动快门方法中的行细化的示意图；
[0023]图7A是示意性示出滚动快门方法中的另一成像方法的示例的示图；
[0024]图7B是示意性示出滚动快门方法中的另一成像方法的示例的示图；
[0025]图8A是示出全局快门方法的示意图；
[0026]图8B是示出全局快门方法的示意图；
[0027]图8C是示出全局快门方法的示意图；
[0028]图9A是示意性示出可在全局快门方法中实现的采样模式的示例的示图；
[0029]图9B是示意性示出可在全局快门方法中实现的采样模式的示例的示图；
[0030]图10是示意性示出由CNN执行的图像识别处理的示图；
[0031]图11是示意性示出用于从作为识别目标的图像的一部分获得识别结果的图像识别处理的示图；
[0032]图12A是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图；
[0033]图12B是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图；
[0034]图13A是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图；
[0035]图13B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图；
[0036]图14A是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图；
[0037]图14B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图；
[0038]图15A是示出帧驱动速度和像素信号读出量之间的关系的示图；
[0039]图15B是示出帧驱动速度和像素信号读出量之间的关系的示图；
[0040]图16是示意性示出根据本公开的每个实施例的识别处理的示意图；
[0041]图17是示出由根据第一实施例的识别处理单元执行的识别处理的示例的流程图；
[0042]图18是示出一帧的图像数据的示例的视图；
[0043]图19是示出根据第一实施例的由识别处理单元执行的机器学习过程的流程的视图；
[0044]图20A是示出第一实施例的应用示例的示意图；
[0045]图20B是示出第一实施例的应用示例的示意图；
[0046]图21是示出根据第二实施例的成像设备的功能的示例的功能框图；
[0047]图22是更详细地示出根据第二实施例的识别处理单元中的处理示例的示意图；
[0048]图23是示出根据第二实施例的功能的示例的功能框图；
[0049]图24是示出根据第二实施例的帧读出处理的示意图；
[0050]图25是示出根据第二实施例的识别处理的概述的示意图；
[0051]图26是示出在帧读出中间终止识别处理的示例的示图；
[0052]图27是示出在帧读出中间终止识别处理的示例的示图；
[0053]图28是示出根据第二实施例的识别处理的示例的流程图；
[0054]图29A是示出根据第二实施例的控制读出和识别处理的示例的时序图；
[0055]图29B是示出根据第二实施例的控制读出和识别处理的示例的时序图；
[0056]图30是示出根据第二实施例的控制读出和识别处理的另一示例的时序图；
[0057]图31是示出根据第二实施例的第一修改的帧读出处理的示意图；
[0058]图32是示出根据第二实施例的第二修改的帧读出处理的示意图；
[0059]图33是示出根据第二实施例的第三修改的帧读出处理的示意图；
[0060]图34是示出根据第二实施例的第三修改的识别处理的概述的示意图；
[0061]图35是示出在读出单位是区域的情况下，在帧读出的中间终止识别处理的示例的示图；
[0062]图36是示出在读出单位是区域的情况下，在帧读出的中间终止识别处理的示例的示图；
[0063]图37是示出根据第二实施例的第四修改的帧读出处理的示意图；
[0064]图38是示意性示出可应用于第二实施例的第四修改的识别处理的示意图；
[0065]图39是示出根据第二实施例的第四修改的读出和控制本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种成像设备，包括：成像单元，具有其中设置有多个像素的像素区域；读出控制器，控制从包括在所述像素区域中的像素读出像素信号；第一读出单位设置单元，将所述读出控制器执行像素信号读出的读出单位设置为像素区域的一部分；图像输出单元，将基于从该读出单位读出的像素信号的第一图像输出到后级；第二读出单位设置单元，设置所述读出控制器在其中执行像素信号读出的读出单位；以及识别单元，学习该些读出单位中的每个读出单位的训练数据，对该些读出单位中的每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。2.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元根据识别结果确定读出单位。3.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元在与基于用于所述识别单元执行识别处理的像素信号的第二图像的输出时间不同的时间，通过所述图像输出单元执行所述第一图像的输出。4.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元不在所述识别单元已经识别出特定对象的帧图像内的区域中设置读出单位。5.根据权利要求1所述的成像设备，其中，所述图像输出单元掩蔽所述识别单元已经识别出特定对象的帧图像内的区域。6.根据权利要求4所述的成像设备，其中，所述图像输出单元在识别单元已经识别出特定对象的帧图像内的区域中，掩蔽识别后所读取的区域。7.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元根据另一传感器装置的检测输出来设置读出单位。8.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元在所述识别单元已经识别出特定对象的帧图像内的区域中，相对于该帧图像中的其它的区域，优先地设定读出单位。9.根据权利要求8所述的成像设备，所述第一读出单位设置单元在所述其它的区域中设定读出单位，使得以比已经识别出特定对象的帧图像内的区域的分辨率低的分辨率来执行所述像素信号的读出。10.根据权利要求8所述的成像设备，其中，所述第一读出单位设置单元在已经识别出特定对象的帧图像内的区域的读出完成之后，在所述其它的区域中设定读出单位。11.根据权利要求1所述的成像设备，其中，所述第一读出单位设置单元针对其读出单位设定与由所述第二读出单位设置单元为其读出单位设置的成像条件不同的成像条件。12.根据权利要求1所述的成像设备，还包括
存储控制器，控制将从读出单位读出的像素信号存储到存储单元中，其中，所述存储控制器基于像素信号或识别单元的识别结果中的至少一个来控制像素信号存储到存储单元上。13.根据权利要求12所述的成像设备，其中，在从所述识别单元的第一识别结果开始经过预定时间之后的所述识别单元的第二识别...

【专利技术属性】
技术研发人员：山本启太郎，青木卓，佐藤竜太，浴良仁，
申请(专利权)人：索尼公司，
类型：发明
国别省市：