成像设备、成像系统、成像方法和成像程序技术方案

本发明专利技术包括：成像单元(10)，其包括布置有多个像素的像素区域，从包括在像素区域中的像素读出像素信号，并输出该像素信号；读出单元控制器(111a)，其控制被设置为像素区域的一部分的读出单元；第一读出单元设置单元(123)，其设置第一读出单元，通过该第一读出单元从像素区域读出像素信号以进行已经学习了每个读出单元的训练数据的识别处理；第二读出单元设置单元(142)，其设置第二读出单元，通过该第二读出单元从像素区域读出像素信号以将像素信号输出到后续级；以及调解单元(1110)，其通过第一读出单元和第二读出单元执行调解，其中，该读出单元控制器通过来自调解单元的调解来设置读出单元。

【技术实现步骤摘要】
【国外来华专利技术】成像设备、成像系统、成像方法和成像程序
本公开涉及成像设备、成像系统、成像方法和成像程序。
技术介绍
近年来，随着诸如安装在数码相机、数码摄像机和多功能移动电话(智能电话)上的小型相机的成像设备的复杂化，已经开发了配备有识别包括在捕获图像中的预定对象的图像识别功能的成像设备。引用列表专利文献专利文献1：JP2017-112409A。
技术实现思路
技术问题通常，适合于图像识别功能中的识别处理的图像不同于适合于人的视觉识别的图像。因此，在试图提高配备有图像识别功能的成像设备中的识别精度时，可能难以将为识别处理捕获的图像用作可以充分提供作为用于视觉识别的图像的信息的图像。本公开旨在提供能够实现用于识别处理的成像和用于视觉识别的成像两者的成像设备、成像系统、成像方法和成像程序。问题的解决方案为了解决上述问题，根据本公开的一个方面的成像设备具有：成像单元，其具有布置有多个像素的像素区域，并且从包括在像素区域中的像素读取并输出像素信号；读出单元控制器，其控制被设置为像素区域的一部分的读出单元；第一读出单元设置单元，其设置用于从像素区域读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；第二读出单元设置单元，其设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及调解单元，其在第一读出单元与第二读出单元之间执行调解，其中，读出单元控制器通过调解单元的调解来设置读出单元。附图说明r>[图1]是示出可应用于本公开的每个实施方式的成像设备的示例的配置的框图。[图2A]是示出根据每个实施方式的成像设备的硬件配置的示例的示意图。[图2B]是示出根据每个实施方式的成像设备的硬件配置的示例的示意图。[图3A]是示出根据每个实施方式的成像设备被形成为具有两层结构的堆叠CIS的示例的示图。[图3B]是示出根据每个实施方式的成像设备被形成为具有三层结构的堆叠CIS的示例的示图。[图4]是示出可应用于每个实施方式的传感器单元的示例的配置的框图。[图5A]是示出卷帘快门方法(rollingshuttermethod)的示意图。[图5B]是示出卷帘快门方法的示意图。[图5C]是示出卷帘快门方法的示意图。[图6A]是示出卷帘快门方法中的行细化的示意图。[图6B]是示出卷帘快门方法中的行细化的示意图。[图6C]是示出卷帘快门方法中的行细化的示意图。[图7A]是示意性示出卷帘快门方法中的另一成像方法的示例的示图。[图7B]是示意性示出卷帘快门方法中的另一成像方法的示例的示图。[图8A]是示出全局快门方法的示意图。[图8B]是示出全局快门方法的示意图。[图8C]是示出全局快门方法的示意图。[图9A]是示意性示出在全局快门方法中可实现的采样模式的示例的示图。[图9B]是示意性示出在全局快门方法中可实现的采样模式的示例的示图。[图10]是示意性示出由CNN执行的图像识别处理的示图。[图11]是示意性示出用于从作为识别目标的图像的一部分获得识别结果的图像识别处理的示图。[图12A]是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图。[图12B]是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图。[图13A]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。[图13B]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。[图14A]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。[图14B]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。[图15A]是示出帧驱动速度与像素信号读出量之间的关系的示图。[图15B]是示出帧驱动速度与像素信号读出量之间的关系的示图。[图16]是示意性示出根据本公开的每个实施方式的识别处理的示意图。[图17]是示出由根据第一实施方式的识别处理单元执行的识别处理的示例的流程图。[图18]是示出一帧的图像数据的示例的示图。[图19]是示出由根据第一实施方式的识别处理单元执行的机器学习处理的流程的示图。[图20A]是示出第一实施方式的应用示例的示意图。[图20B]是示出第一实施方式的应用示例的示意图。[图21]是示出根据第二实施方式的成像设备的功能的示例的功能框图。[图22]是更详细地示出根据第二实施方式的识别处理单元中的处理的示例的示意图。[图23]是示出根据第二实施方式的功能的示例的功能框图。[图24]是示出根据第二实施方式的帧读出处理的示意图。[图25]是示出根据第二实施方式的识别处理的概述的示意图。[图26]是示出在帧读出的中间终止识别处理的示例的示图。[图27]是示出在帧读出的中间终止识别处理的示例的示图。[图28]是示出根据第二实施方式的识别处理的示例的流程图。[图29A]是示出根据第二实施方式的控制读出和识别处理的示例的时序图。[图29B]是示出根据第二实施方式的控制读出和识别处理的示例的时序图。[图30]是示出根据第二实施方式的控制读出和识别处理的另一示例的时序图。[图31]是示出根据第三实施方式的控制的示例的流程图。[图32]是示意性示出根据第三实施方式的输出控制处理的示例的示意图。[图33A]是示出根据第三实施方式的成像设备的识别处理单元侧的示例的功能的功能框图。[图33B]是示出根据第三实施方式的成像设备的视觉识别处理单元侧的示例的功能的功能框图。[图34]是示出根据第三实施方式的当根据时间输出触发信号时的处理的示例的流程图。[图35]是示意性示出根据第三实施方式的第一修改的输出控制处理的示例的示意图。[图36A]是示出根据第三实施方式的第一修改的成像设备的识别处理单元侧的示例的功能的功能框图。[图36B]是示出根据第三实施方式的第一修改的成像设备的视觉识别处理单元侧的示例的功能的功能框图。[图37]是示出根据第三实施方式的第一修改的处理的示例的流程图。[图38]是示意性示出根据第三实施方式的第二修改的输出控制处理的示例的示意图。[图39A]是示出根据第三实施方式的第二修改的成像设备的识别处理单元侧的示例的功能的功能框图。[图39B]是示出根据第三实施方式的第二修改的成像设备的视觉识别处理单元侧的示例的功能的功能框图。[图40]是示出根据第三实施方式的第二修改的处理的示例的流程图。[图41A]是示出根据第三实施方式的第三修改的成像设备的识别处理单元侧的示例的功能的功能框图。[图41B]是示出根据第三实施方式的第三修本文档来自技高网...

【技术保护点】
1.一种成像设备，包括：/n成像单元，具有布置有多个像素的像素区域，并且从包括在所述像素区域中的像素读取并输出像素信号；/n读出单元控制器，控制被设置为所述像素区域的一部分的读出单元；/n第一读出单元设置单元，设置用于从所述像素区域读出所述像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；/n第二读出单元设置单元，设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及/n调解单元，在所述第一读出单元与所述第二读出单元之间执行调解，/n其中，所述读出单元控制器通过所述调解单元的调解来设置所述读出单元。/n

【技术特征摘要】
【国外来华专利技术】20180831 JP 2018-163700;20190830 JP 2019-1591511.一种成像设备，包括：
成像单元，具有布置有多个像素的像素区域，并且从包括在所述像素区域中的像素读取并输出像素信号；
读出单元控制器，控制被设置为所述像素区域的一部分的读出单元；
第一读出单元设置单元，设置用于从所述像素区域读出所述像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置单元，设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及
调解单元，在所述第一读出单元与所述第二读出单元之间执行调解，
其中，所述读出单元控制器通过所述调解单元的调解来设置所述读出单元。


2.根据权利要求1所述的成像设备，
其中，所述调解单元通过所述第一读出单元和所述第二读出单元的逻辑乘积来执行所述调解。


3.根据权利要求1所述的成像设备，
其中，所述调解单元基于所述识别处理的结果来执行所述调解。


4.根据权利要求3所述的成像设备，
其中，在所述识别处理的结果指示移动体的识别的情况下，所述调解单元选择所述第二读出单元。


5.根据权利要求3所述的成像设备，
其中，在所述识别处理的结果指示阈值或更小的识别置信度的情况下，所述调解单元选择所述第二读出单元。


6.根据权利要求1所述的成像设备，
其中，所述调解单元基于从所述第二读出单元读出的所述像素信号来执行所述调解。


7.根据权利要求6所述的成像设备，
其中，在基于所述像素信号的亮度超过阈值的情况下，所述调解单元选择所述第二读出单元。


8.根据权利要求1所述的成像设备，
其中，所述调解单元基于从所述成像设备的外部提供的外部信息来执行所述调解。


9.根据权利要求8所述的成像设备，
其中，所述调解单元基于从所述外部提供的操作模式来执行所述调解。


10.根据权利要求8所述的成像设备，
其中，所...

【专利技术属性】
技术研发人员：佐藤竜太，青木卓，山本启太郎，浴良仁，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP