图像处理设备、图像处理方法和存储介质技术

本公开提供了图像处理设备、图像处理方法和存储介质。该图像处理设备包括：多个输出单元，其输出算术运算结果；存储器，其存储指令；以及处理器，其执行指令，该指令用于使图像处理设备：获取来自相互不同的多个视点的图像，进行用于将所获取的图像转换为距离信息的算术运算，以及进行控制以从多个输出单元输出算术运算结果，其中，处理器将在算术运算处理中获得的需要不同算术运算量的多个算术运算结果分配给多个输出单元，并且根据图像处理设备的操作状况来选择性地切换要分配的算术运算结果。结果。结果。

【技术实现步骤摘要】
图像处理设备、图像处理方法和存储介质


[0001]本专利技术涉及图像处理设备、图像处理方法和存储介质。

技术介绍

[0002]目前，存在被称为色度键合成(chroma key synthesis)的方法作为通常在电影和电视中使用的图像合成技术，该方法使具有特定颜色的图像中的一部分透明并合成不同的图像。当获取用于色度键合成的图像时，需要准备具有诸如绿幕或蓝幕等的特定颜色的背景，并且还需要进行拉伸褶皱使得在背景中不产生颜色不规则的操作以及调整照明的操作。此外，由于如果从绿幕反射的光出现在被摄体上，则可能难以令人满意地进行背景分离，因此可能需要在摄像之后的后处理中进行抵消反射光的出现的操作。在当前的情况下，一系列这些操作需要相当长的时间和人力。
[0003]另一方面，作为近年来使用的图像合成技术，存在通过使用与到被摄体的距离有关的信息并将被摄体与其他图像进行合成来将被摄体与背景分离的方法。如果使用该方法，则不需要准备诸如绿色背景等的背景，并且也不需要用于色度键合成的上述复杂工作。
[0004]作为用于获取与到被摄体的距离有关的信息的方法，例如，存在使用距离测量设备来测量到被摄体的距离的方法，其中该距离测量设备包括与用于拍摄图像的图像处理设备分开的距离传感器。在这种情况下，图像处理设备和距离测量设备之间的视角和分辨率不同，图像处理设备和距离测量设备的光轴彼此不一致，并且需要在拍摄图像之前进行校准工作，以在后处理中合成图像。
[0005]另一方面，例如，日本特开2021
‑
048560中的技术已知为用于获取与到被摄体的距离有关的信息的另一方法。日本特开2021
‑
048560公开了用于通过使用具有基于摄像面相位差方案的距离测量功能的摄像元件来生成指示从图像处理设备到被摄体的距离的距离信息的技术。通过使用该技术，可以利用单个摄像元件同时进行图像的拍摄和距离信息的生成，因此不需要进行上述校准工作。
[0006]顺便提及，尽管日本特开2021
‑
048560提供了在摄像装置内进行所有算术运算之后进行的直到向用户示出距离信息为止的技术，但是通常在摄像装置内进行所有算术运算趋于增加所需算术运算量。特别地，如果将该技术应用于视频处理，则除非降低分辨率或降低帧频，否则这可是不可能的。另一方面，在当前的视频制作领域中，还存在如下的想法：使摄像装置发挥最小作用，可以拍摄的图像被输出到摄像装置的外部，并且在视频处理PC等的工作流中在稍后阶段进行各种校正处理等。在这种当前情况下，期望能够根据用户的需要和环境任意选择摄像装置负责什么处理以及稍后阶段中视频处理工作流负责什么处理。

技术实现思路

[0007]鉴于上述情况做出了本专利技术，并且本专利技术提供了能够选择性地输出图像处理结果的图像处理设备。
[0008]根据本专利技术实施例的一种图像处理设备，包括：多个输出单元，其输出算术运算结
果；存储器，其存储指令；以及处理器，其执行所述指令，所述指令用于使所述图像处理设备：获取来自相互不同的多个视点的图像，进行用于将所获取的图像转换为距离信息的算术运算，以及进行控制以从所述多个输出单元输出所述算术运算结果，其中，所述处理器将在算术运算处理中获得的需要不同算术运算量的多个算术运算结果分配给所述多个输出单元，并且根据所述图像处理设备的操作状况来选择性地切换要分配的所述算术运算结果。
[0009]根据以下示例性实施例(参考附图)的描述，本专利技术进一步的特征将变得明显。
附图说明
[0010]图1是示出图像处理设备的硬件配置示例的示意性框图。
[0011]图2A是示出摄像元件的光接收面上所配置的滤色器的示例的图；图2B是示出两个光电转换单元(光电二极管)以与图2A中的滤色器的排列相对应的方式配置在各个像素中的示例的图。
[0012]图3是用于说明生成距离信息的处理的流程图。
[0013]图4是示出在不存在噪声的理想状态下一对图像信号序列的相关性高的情况下式(1)的算术运算结果的图。
[0014]图5是示出在将式(1)应用于存在噪声的微小块的情况下的算术运算结果的图。
[0015]图6是根据第一实施例的拍摄图像的图。
[0016]图7是根据第一实施例的A图像信号和B图像信号的图。
[0017]图8是根据第一实施例的图像偏差图像、散焦图像和距离图像的图。
[0018]图9A至图9B是根据第一实施例的距离层图像的图。
[0019]图10A至图10D是根据第一实施例的输出切换模式的图。
[0020]图11是根据第一实施例的流程图。
具体实施方式
[0021]<第一实施例>
[0022]在下文中，将参考附图等描述用于执行本专利技术的实施例。然而，以下实施例不旨在根据权利要求限制本专利技术，并且以下实施例中描述的所有特征对于本专利技术不一定是必需的。注意，以下实施例中的图像不仅包括静止图像，还包括诸如运动图像等的视频。
[0023]首先，将描述作为本专利技术的假设的系统。图1是示出图像处理设备100的硬件配置示例的示意性框图。在附图中，图像处理设备100是能够进行视频的输入、输出和记录的设备。
[0024]在图1中，作为计算机的CPU 102、ROM 103、RAM 104、图像处理单元105、镜头单元106、摄像单元107、网络模块108和图像输出单元109连接到内部总线101。此外，记录介质接口(I/F)110和物体检测单元115等连接到内部总线101。连接到内部总线101的各个块被配置为能够经由内部总线101与其他块交换数据。
[0025]注意，通过使作为图像处理设备中所包括的计算机的CPU执行作为存储介质的诸如ROM等的存储器中所存储的计算机程序，来实现图1所示的一部分块。然而，它们中的一部分或全部可以由硬件实现。作为硬件，可以使用专用集成电路(ASIC)或处理器(可重配置处
理器或DSP)等。此外，图1中所示的块可以不并入同一壳体中，并且可以由经由信号路径彼此连接的不同装置来配置。
[0026]镜头单元106是包括具有变焦透镜和调焦透镜的透镜组、光阑机构和驱动马达等的单元。已经通过镜头单元106的光学图像形成在摄像单元107的光接收面上。摄像单元107用作用于获取包括被摄体的图像的图像获取部，包括诸如CCD图像传感器或CMOS图像传感器等的摄像元件，并且起到用电信号代替光信号的作用。这里获得的电信号是模拟值，摄像单元107还具有将模拟值转换为数字值的功能。注意，本实施例中的摄像元件是具有摄像面相位差检测功能的传感器，并且稍后将描述其细节。
[0027]CPU 102根据ROM 103中所存储的计算机程序，使用RAM 104作为工作存储器来控制图像处理设备100中的各个组件。ROM 103是非易失性半导体存储器，并且存储用于使CPU 102操作的计算机程序和各种调整参数等。RAM 104是使用半导体装置的易失性存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，包括：多个输出单元，其输出算术运算结果；存储器，其存储指令；以及处理器，其执行所述指令，所述指令用于使所述图像处理设备：获取来自相互不同的多个视点的图像，进行用于将所获取的图像转换为距离信息的算术运算，以及进行控制以从所述多个输出单元输出所述算术运算结果，其中，所述处理器将在算术运算处理中获得的需要不同算术运算量的多个算术运算结果分配给所述多个输出单元，并且根据所述图像处理设备的操作状况来选择性地切换要分配的所述算术运算结果。2.根据权利要求1所述的图像处理设备，其中，所述多个算术运算结果包括初始结果、中间结果和最终结果。3.根据权利要求1所述的图像处理设备，其中，所述处理器基于用户的设置来进行用于将所述多个算术运算结果分配给所述多个输出单元的控制。4.根据权利要求1所述的图像处理设备，还包括：镜头单元，其包括用于形成光学图像的镜头，其中，所述处理器在所述镜头被操作的情况下进行用于选择性地切换要分配的所述算术运算结果的控制。5.根据权利要求1所述的图像处理设备，其中，所述处理器根据镜头特性或被摄体状况从所述多个算术运算结果中选择能够输出的算术运算结果。6.根据权利要求1所述的图像处理设备，其中，所述处理器根据用户所设置的算术运算量的设置值来选择性地切换要分配的所述算术运算结果。7.根据权利要求1所述的图像处理设备，其中，所述处理器还执行指令，该指令用于使所述图像处理设备：保存所述多个算术运算结果，以及根据是否保存所述多个算术运算结果来选择性地切换要分配的所述算术运算结果。8.根据权利要求1所述的图像处理设备，其中，所述处理器根据传感器中的读取模式来选择性地切换要分配的所述算术运算结果。9.根据权利要求1所述的图像处理设备，其中，所述处理器根据所设置的算术运算量和帧频，进行控制以不进行用于增强所述距离信息的可靠性的辅助算术运算。10.根据权利要求1所述的图像处理设备，其中，所述处理器还执行用于使所述图像处理设备显示所述多个算术运算结果的指令，以及其中，所述处理器显示在所述图像处理设备...

【专利技术属性】
技术研发人员：西田德朗，竹内健悟，长谷川启行，北村和也，中村广辉，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：