固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和程序制造方法及图纸

一种固态图像捕获装置(100)设置有：深度神经网络(DNN)处理单元(130)，基于DNN模型相对于输入图像实现DNN；以及DNN控制单元(160)，接收基于关于DNN的实现结果的评估信息而生成的控制信息，并且基于控制信息来修改DNN模型。

【技术实现步骤摘要】
【国外来华专利技术】固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和程序
本公开涉及一种固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和计算机程序。
技术介绍
近来，已经公开了在其上实现神经网络的各种装置。例如，专利文献1公开了一种基于所获取的网络结构的评估结果来搜索较高性能的网络结构的技术。现有技术文献专利文献专利文献1：日本专利号2017-182710
技术实现思路
本专利技术要解决的问题包括互补金属氧化物半导体(CMOS)和数字信号处理器(DSP)的图像传感器安装在诸如数字相机的仪器上。近来，例如，优选地在图像传感器上实现深度神经网络(DNN)的功能，并且执行高级处理以实现图像处理的多样化和加速、私人信息的保护等。因此，本公开提供了能够改变要执行的DNN模型的固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和计算机程序。问题的解决方案为了解决上述问题，一种固态图像捕获装置包括：DNN处理单元，被配置为基于DNN模型对输入图像执行DNN；以及DNN控制单元，被配置为接收基于DNN的执行结果的评估信息而生成的控制信息，并基于该控制信息来改变DNN模型。附图说明图1是示出根据本公开的第一实施例的固态图像捕获系统的示例性配置的框图。图2是用于描述根据本公开的第一实施例的固态图像捕获系统的示例性连接关系的示意图。图3是示出根据本公开的第一实施例的固态图像捕获装置的示例性层压结构的示意图。图4是用于描述示例性对象感测处理的图。图5是示出根据本公开的第一实施例的固态图像捕获系统处的处理的示例性过程的序列图。图6是示出根据本公开的第一实施例的固态图像捕获装置处的学习处理的示例性过程的流程图。图7是示出根据本公开的第一实施例的固态图像捕获装置处的学习处理的示例性过程的流程图。图8是用于描述根据本公开的第一实施例的对图像数据进行处理的示意图。图9是示出根据本公开的第一实施例的固态图像捕获系统的示例性用例的图。图10是示出根据本公开的第一实施例的修改例的固态图像捕获系统的示例性配置的框图。图11是示出根据本公开的第二实施例的固态图像捕获系统的示例性配置的框图。图12是用于描述根据本公开的第二实施例的固态图像捕获系统的示例性连接关系的示意图。图13是用于描述根据本公开的第二实施例的固态图像捕获系统的示例性连接关系的示意图。图14是示出根据本公开的第三实施例的固态图像捕获系统的示例性配置的框图。图15是用于描述根据本公开的第三实施例的固态图像捕获系统的示例性连接关系的示意图。图16是示出被配置为实现本公开的固态图像捕获装置和信息处理装置的功能的示例性计算机的硬件配置图。图17是示出内窥镜手术的示例性示意配置的图。图18是示出摄像头和CCU的示例性功能配置的框图。图19是示出诊断支持系统的示例性示意配置的框图。图20是示出车辆控制系统的示例性示意配置的框图。图21是示出外部信息检测单元和图像捕获单元的示例性安装位置的说明性图。具体实施方式以下，将参考附图来详细地描述本公开的实施例。以下实施例中的相同部位由相同的附图标记表示，并且省略对其的重复描述。将按照以下描述的内容顺序来描述本公开。1.第一实施例1-1根据第一实施例的固态图像捕获系统的配置1-2根据第一实施例的固态图像捕获系统处的处理1-3根据第一实施例的固态图像捕获系统的用例1-4根据第一实施例的固态图像捕获系统的修改例2.第二实施例2-1根据第二实施例的固态图像捕获系统的配置2-2根据第二实施例的固态图像捕获系统的修改例的配置3.第三实施例3-1根据第三实施例的固态图像捕获系统的配置4.硬件配置5.内窥镜手术的示例性应用6.示例性应用17.移动对象的示例性应用(1.第一实施例)[1-1.根据第一实施例的固态图像捕获系统的配置]下面参考图1和图2描述根据本公开的第一实施例的固态图像捕获系统的配置。图1是示出根据本公开的第一实施例的固态图像捕获系统的示例性配置的框图。图2是用于描述根据本公开的第一实施例的固态图像捕获系统的连接关系的图。如图1所示出的，该固态图像捕获系统1包括固态图像捕获装置100和信息处理装置200。如图2所示，固态图像捕获装置100和信息处理装置200设置在同一壳体10中。具体地，固态图像捕获装置100和信息处理装置200作为不同的芯片设置在同一壳体10中。固态图像捕获装置100和信息处理装置200各自安装为片上系统(SoC)、多芯片模块(MCM)、系统级封装(SIP)、小外形封装(smalloutlinepackage,SOP)等。固态图像捕获系统1可以例如通过互联网通信网络300与外部装置连接，以在其间执行通信。在该情况下，固态图像捕获系统1可以例如通过无线通信与外部装置连接，以在其间执行通信。固态图像捕获系统1例如适用于虚拟个人助理(VPA)或车载相机。如图1所示，固态图像捕获装置100包括图像捕获单元110、图像捕获处理单元120、DNN处理单元130、存储单元140、评估单元150、DNN控制单元160、选择器170、通信I/F180和通信控制单元190。图3是示出根据第一实施例的固态图像捕获装置100的示例性层压结构的示意图。如图3所示出的，固态图像捕获装置100例如具有其中矩形形状的第一基板11与矩形形状的第二基板12彼此接合的层压结构。第一基板11与第二基板12可以例如通过所谓的片上芯片(CoC)方案而彼此接合，在该CoC方案中，第一基板11和第二基板12被切片成芯片，并且然后切片后的第一基板11与第二基板12彼此接合。可替代地，第一基板11与第二基板12可以通过所谓的晶圆上芯片(CoW)方案而彼此接合，在该CoW方案中，第一基板11和第二基板12中的一个(例如，第一基板11)被切割成芯片，并且然后切片后的第一基板11接合到尚未被切片(换句话说，处于晶圆状态)的第二基板12。可替代地，第一基板11与第二基板12可以通过所谓的晶圆上晶圆(WoW)方案而以晶圆状态彼此接合。第一基板11与第二基板12可以例如通过等离子联接而联接在一起。然而，本公开不限于此，并且可以使用各种联接方法。第一基板11和第二基板12的大小可以相同或不同。第一基板11和第二基板12是诸如硅基板的半导体基板。在图1所示出的固态图像捕获装置100的部件当中，例如，图像捕获单元110设置在第一基板11上。在图1所示出的固态图像捕获装置100的部件当中，例如，图像捕获处理单元120、DNN处理单元130、存储单元140、评估单元150、DNN控制单元160、选择器170、通信I/F180和通信控制单元190设置在本文档来自技高网...

【技术保护点】
1.一种固态图像捕获装置，包括：/nDNN处理单元，被配置为基于DNN模型对输入图像执行DNN；以及/nDNN控制单元，被配置为接收基于所述DNN的执行结果的评估信息而生成的控制信息，并且基于所述控制信息来改变所述DNN模型。/n

【技术特征摘要】
【国外来华专利技术】20180831 JP 2018-1640011.一种固态图像捕获装置，包括：
DNN处理单元，被配置为基于DNN模型对输入图像执行DNN；以及
DNN控制单元，被配置为接收基于所述DNN的执行结果的评估信息而生成的控制信息，并且基于所述控制信息来改变所述DNN模型。


2.根据权利要求1所述的固态图像捕获装置，其中，所述DNN控制单元基于所述控制信息来改变所述DNN模型的参数。


3.根据权利要求2所述的固态图像捕获装置，其中，所述DNN控制单元改变所述DNN模型的输入图像大小和滤波器大小中的至少一者。


4.根据权利要求1所述的固态图像捕获装置，还包括存储单元，所述存储单元存储至少一个由所述DNN处理单元执行的所述DNN模型。


5.根据权利要求4所述的固态图像捕获装置，其中，所述存储单元存储用于所述DNN处理单元的学习数据。


6.根据权利要求4所述的固态图像捕获装置，其中，所述DNN控制单元基于所述控制信息将所执行的所述DNN模型切换为存储在所述存储单元中的所述DNN模型。


7.根据权利要求1所述的固态图像捕获装置，还包括评估单元，所述评估单元被配置为通过评估所述DNN的所述执行结果来生成所述评估信息。


8.根据权利要求7所述的固态图像捕获装置，其中，所述评估单元通过评估所述DNN处理单元推断时和学习时的处理情形来生成所述评估信息。


9.根据权利要求7所述的固态图像捕获装置，其中，所述评估单元基于所述DNN的识别结果和所述评估信息来生成正确答案数据。


10.根据权利要求9所述的固态图像捕获装置，其中，所述DNN控制单元基于所述正确答案数据来改变所述DNN模型。


11.根据权...

【专利技术属性】
技术研发人员：花田清刚，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：日本;JP