摄像系统及摄像方法技术方案

摄像系统具备成像光学系统、摄像元件、致动器和控制电路。多个像素单元分别具有可变的灵敏度。多个像素单元分别具备将被摄体的像的光变换为信号电荷的光电变换元件、和积蓄由上述光电变换元件得到的上述信号电荷的电荷积蓄区域。上述控制电路通过将相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。

Camera system and camera method

The camera system has an imaging optical system, a camera element, an actuator and a control circuit. Multiple pixel units have variable sensitivity, respectively. A plurality of pixel units respectively have a photoelectric conversion element that converts the image of the object into a signal charge, and a charge accumulation region that accumulates the signal charge obtained from the photoelectric conversion element. By setting the relative position to the first position and the aforementioned sensitivity of each of the plurality of pixel units to the first sensitivity, the control circuit stores the first signal charge obtained from the photoelectric conversion elements in the aforementioned charge accumulation area in each of the plurality of pixel units. By setting the relative position as the second position different from the first position mentioned above and setting the aforementioned sensitivity of each of the plurality of pixel units as the second sensitivity different from the aforementioned first sensitivity, the control circuit stores the second signal charge obtained by the photoelectric conversion element in addition to the aforementioned first signal charge in each of the plurality of pixel units. In the above charge storage area.

【技术实现步骤摘要】
【国外来华专利技术】摄像系统及摄像方法
本专利技术涉及摄像系统及摄像方法。
技术介绍
对由与图像的亮度等对应的二维配置的数值群构成的数值数据进行运算处理的所谓图像处理被广泛地用于图像特征的强调或提取、不需要的噪声的除去或图像识别等。在该图像处理中较多地被使用的是被称作“卷积”的处理。卷积是指使用原图像的数值数据和与原图像的数值数据另外地准备的被称作卷积核(filter)的系数群的运算。另一方面，在专利文献1中，公开了通过一边使图像传感器的位置移动一边进行曝光而使图像传感器的输出分布成为希望的低通滤波特性的技术。此外，在专利文献2中，公开了通过使固体摄像元件相对于入射光像相对地振动而有效地扩大开口面积的技术。现有技术文献专利文献专利文献1：日本特开2010－87850号公报专利文献2：日本特公平02－51316号公报
技术实现思路
专利技术要解决的课题本专利技术的一技术方案提供能够减少卷积处理的运算量的摄像系统。用来解决课题的手段有关本专利技术的一技术方案的摄像系统具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。另外，本专利技术的包含性或具体的形态也可以通过器件、装置、系统、方法、集成电路、计算机程序、记录介质或它们的任意的组合实现。专利技术效果有关本专利技术的一技术方案的摄像系统能够减少卷积处理的运算量。附图说明图1是表示卷积处理的卷积核的一例的图。图2是表示原图像的例子的图。图3是表示原图像的数值数据的图。图4是表示卷积处理后的数值数据的图。图5是表示与卷积处理后的数值数据对应的图像的图。图6是表示卷积处理的一例的图。图7是表示有关实施方式1的摄像系统的一例的结构概念图。图8是表示有关实施方式1的摄像元件的例示性的电路结构的示意图。图9是表示有关实施方式1的层叠型的能够改变灵敏度的摄像元件的一例的结构图。图10是表示有关实施方式1的摄像元件的灵敏度的偏压依赖性的一例的图。图11是表示有关实施方式1的相对位置的一例的图。图12是有关实施方式1的摄像次序的流程图。图13是有关实施方式1的摄像次序的流程图。图14是有关实施方式1的摄像次序的流程图。图15是表示有关实施方式1的摄像处理的流程的一例的时间图。图16是表示有关实施方式1的摄像处理的流程的一例的图。图17是用来说明有关实施方式2的摄像处理的图。图18是用来说明有关实施方式2的摄像处理的图。图19是表示有关实施方式3的相对位置的变更的一例的图。图20是表示有关实施方式3的相对位置的变更的一例的图。图21是表示有关实施方式3的相对位置的变更的一例的图。图22是表示有关实施方式4的像素结构的一例的图。图23是有关实施方式4的摄像次序的流程图。图24是表示有关实施方式4的摄像处理的流程的一例的图。具体实施方式(达成了本专利技术的认识)在通过软件进行卷积处理的情况下，如果像素数增加，则与其成比例地运算量增大。此外，卷积处理在包括所谓的深度学习(deeplearning)的图像识别中较多地被使用。具体而言，在深度学习等处理中，有对一个图像进行使用超过100那样的卷积核的卷积的情况。在此情况下，如果像素数增大，则计算成为庞大的量。在利用拥有高运算能力的服务器花时间来处理的情况下问题比较少，但在想要利用移动设备等运算能力受限制的装置进行卷积的情况下，被强烈要求运算量的削减。所以，本专利技术提供一种能够减少卷积处理的运算量的摄像系统或摄像方法。有关本专利技术的一技术方案的摄像系统具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。据此，该摄像系统能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及不同的灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。上述控制电路也可以使上述相对位置向上述第1位置的设定和上述多个像素单元各自的上述灵敏度向上述第1灵敏度的设定同步进行。此外，上述控制电路也可以使上述相对位置向上述第2位置的设定和上述多个像素单元各自的上述灵敏度向上述第2灵敏度的设定同步进行。上述控制电路也可以通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，来进行向上述第2位置的上述设定。据此，该摄像系统能够提高卷积运算的再现性。有关本专利技术的另一技术方案的摄像系统也可以是，具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路在一个曝光期间中，通过将上述相对位置从第1位置变更为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。据此，该摄像系统能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。上述控制电路也可以将上述相对位置从上述第1位置向上述第2位置本文档来自技高网...

【技术保护点】
1.一种摄像系统，其中，具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器；上述多个像素单元分别具有可变的灵敏度；上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；上述控制电路进行如下处理：通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中；通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。

【技术特征摘要】
【国外来华专利技术】2017.02.28 JP 2017-0372741.一种摄像系统，其中，具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器；上述多个像素单元分别具有可变的灵敏度；上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；上述控制电路进行如下处理：通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中；通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。2.如权利要求1所述的摄像系统，其中，上述控制电路进行如下处理：使上述相对位置向上述第1位置的设定和上述多个像素单元各自的上述灵敏度向上述第1灵敏度的设定同步进行；使上述相对位置向上述第2位置的设定和上述多个像素单元各自的上述灵敏度向上述第2灵敏度的上述设定同步进行。3.如权利要求1或2所述的摄像系统，其中，上述控制电路通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。4.一种摄像系统，其中，具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器；上述多个像素单元分别具有可变的灵敏度；上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；上述控制电路在一个曝光期间中，通过将上述相对位置从第1位置变更为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。5.如权利要求4所述的摄像系统，其中，上述控制电路将上述相对位置从上述第1位置向上述第2位置连续地变更。6.如权利要求4或5所述的摄像系统，其中，上述控制电路将上述多个像素单元各自的上述灵敏度从上述第1灵敏度向上述第2灵敏度连续地变更。7.如权利要求4～6中任一项所述的摄像系统，其中，上述控制电路使上述相对位置的上述变更和上述多个像素单元各自的上述灵敏度的上述变更同步进行。8.如权利要求1～7中任一项所述的摄像系统，其中，上述多个像素单元在行方向及列方向二维地配置。9.如权利要求1～8中任一项所述的摄像系统，其中，上述控制电路将上述多个像素单元各自的上述灵敏度的上述设定或上述变更一并进行。10.如权利要求1～9中任一项所述的摄像系统，其中，上述多个像素单元分别包括第1子像素和第2子像素，上述多个像素单元各自的上述第1子像素包括上述光电变换元件及上述电荷积蓄区域；上述多个像素单元各自的上述灵敏度是上述第1子像素的灵敏度；上述多个像素单元各自的上述第2子像素包括其他光电变换元件及其他电荷积蓄区域；上述控制电路在上述多个像素单元各自中，与上述第1子像素的上述灵敏度独立地设定上述第2子像素的灵敏度。11.如权利要求1～10中任一项所述的摄像系统，其中，上述光电变换元件包括：像素电极，连接于上述电荷积蓄区域；透光性的对置电极；以及光电变换层，配置在上述像素电极与上述对置电极之间。12.如权利要求11所述的摄像系统，其中，上述摄像元件还具备电压施加电路，该电压施加电路向上述多个像素单元各自的上述光电变换元件中包含的上述像素电极与上述对置电极之间施加电压；上述控制电路通过变更上述电压施加电路施加的上述电压，来变更上述多个像素单元各自的上述灵敏度。13.一种摄像方法，其是具备使被摄体的像成像的成像光学系统、包括多个像素单元的摄像元件、改变上述多个像素单元与上述被摄体的上述像的相对位置的致动器、以及控制上述摄像元件及上述致动器的控制电路的摄像系统的摄像方法，其中，上述多个像素单元分别具有可变的灵敏度；上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的信号电荷；在上述摄像方法中，将上述相对位置设定为第1位置；将上述多个像素单元各自的上述灵敏度设定为第1灵敏度；在上述相对位置被设定为上述第1位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第1灵敏度的状态下，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中；将上述相对位置设定为与上述第1位置不同的第2位置；将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度；在上述相对位置被设定为上述第2位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第2灵敏度的状态下，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。14.如权利要求13所述的摄像方法，其中，通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。15.如权利要求13或14所述的摄像方法，其中，上述摄像系统还具备对上述摄像元件进行遮光的机械快门；上述摄像方法中，通过在由上述机械快门对上述摄像元件进行了遮光的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。16.如权利要求13或14所述的摄像方法，其中，通过在将上述多个像素单元各自的上述灵敏度设定为零的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。17.如权利要求13～16中任一项所述的摄像方法，其中，上述摄像方法包括：上述相对位置的N次设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定，其中N是2以上的整数；上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的...

【专利技术属性】
技术研发人员：能泽克弥，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本,JP