半导体设备、图像处理系统、方法和计算机可读存储介质技术方案

本公开涉及半导体设备、图像处理系统、方法和计算机可读存储介质。一种半导体设备包括：图像获取电路，其获取通过捕获多个图像而获得的多个捕获的图像数据；估计源图像生成电路，其消除每个捕获的图像数据上的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；重新调整电路，其将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及图像合成电路，其合成多个估计源图像的图像数据，使得估计源图像中包括的重叠区域彼此重叠，以生成经合成的图像的图像数据。

【技术实现步骤摘要】
半导体设备、图像处理系统、方法和计算机可读存储介质相关申请的交叉引用于2018年12月21日提交的日本专利申请号2018-239560的公开内容，包括其说明书、附图和摘要，通过引用以整体并入本文。
技术介绍
本公开涉及一种半导体设备、一种图像处理方法和一种计算机可读存储介质。用于通过多个相机同时捕获单个场景的图像，并且通过执行合成或几何变换来显示该捕获的图像的图像处理技术已经普及。在汽车中，通过使用这种技术以允许驾驶员容易地识别汽车周围的系统正在变得普及。这种图像处理技术的一个示例是环绕视图系统。环绕视图系统显示例如是如同从正上方观看的、由驾驶员操作的汽车周围的、360度场景的二维图像的环绕视图。查看环绕视图可以使驾驶员直观地识别存在于汽车周围的对象。因此，环绕视图系统作为有助于改善汽车安全性的技术而迅速普及。附带地，在多个相机同时捕获周围场景的图像的情况下，对于由相机捕获的图像的每个图像捕获区域，照明的色彩可以不同。此外，每个相机具有对捕获的图像执行色彩平衡处理的功能。也就是说，每个相机可以使用与另一相机不同的色彩平衡来处理捕获的图像。因此，当合成由多个相机捕获的图像时，存在对一种用于合成经过不同色彩平衡处理的多个图像且不产生不适感的技术的需要。例如，日本未审查专利申请公开号2008-079248中的合成视频显示设备，通过对合成视频中的重叠的捕获像素的像素值进行统计来计算第一统计值和第二统计值，并且通过将第一统计值和第二统计值的平均值除以第一统计值，来计算目标增益。然后，合成视频显示设备将调整增益从1改变为目标增益，调整增益用于从拍摄像素到重叠拍摄像素而执行的图像调整处理，拍摄像素对应于已经拍摄作为图像调整目标的视频的拍摄设备的光轴。
技术实现思路
然而，在日本未审查专利申请公开号2008-079248中描述的技术中，色彩平衡处理是基于与拍摄设备的光轴相对应的拍摄像素来执行。因为这个原因，随着距拍摄设备的光轴的距离的增加，日本未审查专利申请公开号2008-079248中描述的技术可能不能执行适当的色彩平衡处理。例如，在合成通过拍摄汽车的前侧而获得的图像、以及通过拍摄汽车的左侧而获得的图像的情况下，作为重叠区域的在汽车的左前侧的区域，可能使用与其他区域不同的色彩来发光。在这种情况下，在日本未审查专利申请公开号2008-079248中描述的技术不能执行适合于整个图像的色彩平衡处理。根据本说明书的描述和附图，其他目的和新特征将变得很清楚。根据一个实施例的一种半导体设备包括图像获取电路，其获取通过捕获多个图像而获得的多个捕获的图像数据。每个捕获的图像数据是在其上已经进行了初始色彩调整处理的图像数据。每个图像自身的图像的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。该半导体设备还包括：估计源图像生成电路，其消除每个捕获的图像数据上的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；重新调整电路，将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及图像合成电路，其合成多个估计源图像的图像数据，使得被包括在估计源图像中的重叠区域彼此重叠，以生成经合成的图像的图像数据。根据另一实施例的半导体设备是一种用于合成第一捕获的图像数据和第二捕获的图像数据的半导体设备，第一捕获的图像数据和第二捕获的图像数据均包括重叠区域的捕获的图像数据。第一捕获的图像数据是通过捕获第一图像捕获区域的图像而获得的数据。第二捕获的图像数据是通过捕获第二图像捕获区域的图像而获得的数据。重叠区域是第一图像捕获区域和第二图像捕获区域彼此重叠的区域。该半导体设备包括：图像数据获取电路，其获取在其上已经执行过了初始色彩调整处理的第一捕获的图像数据和第二捕获的图像数据；估计源图像生成电路，其消除在第一捕获的图像数据和第二捕获的图像数据上执行的初始色彩调整处理的效果，以生成第一估计源图像的图像数据和第二估计源图像的图像数据；重新调整电路，其将第一估计源图像和第二估计源图像中的每一项划分为多个处理区域，并且在第一估计源图像的图像数据和第二估计源图像的图像数据中的每一项上，针对每个处理区域来执行色彩平衡重新调整处理；以及图像合成电路，合成第一估计源图像的图像数据和第二估计源图像的图像数据，使得被包括在第一估计源图像中的、与重叠区域相关联的区域与被包括在第二估计源图像中的、与重叠区域相关联的区域彼此重叠，以生成经合成的图像的图像数据。根据又一实施例的一种图像处理方法包括获取通过捕获多个图像而获得的多个捕获的图像数据。每个捕获的图像数据是在其上已经执行过初始色彩调整处理的图像数据。每个图像在该图像自身的图像捕获区域中包括重叠区域。重叠区域是图像的图像捕获区域彼此重叠的区域。该图像处理方法还包括：消除每个捕获的图像数据的初始色彩调整处理的效果，以生成多个估计源图像的图像数据；将每个估计源图像划分为多个处理区域，以对每个处理区域执行色彩平衡重新调整处理；以及合成多个估计源图像的图像数据，使得被包括在估计源图像中的重叠区域彼此重叠，以生成经合成的图像的图像数据。根据一个实施例，可以提供一种半导体设备或类似物，用于执行适合于整个图像的色彩平衡处理。附图说明图1是根据第一实施例的配备有图像处理系统的汽车的概览。图2是根据第一实施例的图像处理系统的示意性配置图。图3是根据第一实施例的半导体设备的功能框图。图4是示出根据第一实施例的半导体设备的处理的流程图。图5是示出了由图像处理系统的相机捕获的图像捕获区域的一个示例的图。图6是示出了由前方相机生成的图像数据的一个示例的图。图7是示出了由左侧相机生成的图像数据的一个示例的图。图8是示出了在由半导体设备执行的匹配增益计算时的一系列处理的流程图。图9是示出了重叠区域中的处理区域不完全重叠的一个示例的图。图10是示出了使用相邻区域的插值处理的一个示例的图。图11是示出了在图像的末端处的插值处理的示例的图。图12是示出了根据第一实施例的、对图像执行几何变换处理的一个示例的图。图13是示意性地示出根据第一实施例的、执行用于合成图像的处理的一个示例的图。图14是根据第一实施例的一个修改的汽车的概览。图15是根据第二实施例的半导体设备的功能框图。图16是示出了根据第二实施例的半导体设备的处理的流程图。具体实施方式为了描述的清楚，适当地省略和简化了以下描述和附图。另外，在附图中被示出为用于执行各种类型的处理的功能块的每个元件能够由中央处理单元(CPU)、存储器和其他硬件电路来配置，其可以实现为以软件的形式的被加载到存储器等中的程序等。因此，本领域技术人员将理解，这些功能块能够通过仅硬件，仅软件或硬件和软件的组合以各种形式来实现，并且不限于它们中的任何一个。因此，在下面的描述中，示出为电路的配置可以由硬件或软件或两者来实现，并且示出为用于实现某种功能的电路的配置还可以示出为用于实现类似功能的软件的一部本文档来自技高网...

【技术保护点】
1.一种半导体设备，包括：/n图像获取电路，被配置为获取通过捕获多个图像而获得的多个捕获的图像数据，每个捕获的图像数据是在其上已经被执行过初始色彩调整处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；/n估计源图像生成电路，被配置为消除每个捕获的图像数据上的所述初始色彩调整处理的效果，以生成多个估计源图像的图像数据；/n重新调整电路，被配置为将每个估计源图像划分为多个处理区域，以针对每个处理区域执行色彩平衡重新调整处理；以及/n图像合成电路，被配置为合成所述多个估计源图像的所述图像数据，使得被包括在所述估计源图像中的所述重叠区域彼此重叠，以生成经合成的图像的图像数据。/n

【技术特征摘要】
20181221 JP 2018-2395601.一种半导体设备，包括：
图像获取电路，被配置为获取通过捕获多个图像而获得的多个捕获的图像数据，每个捕获的图像数据是在其上已经被执行过初始色彩调整处理的图像数据，每个图像在自身图像的图像捕获区域中包括重叠区域，所述重叠区域是所述图像的所述图像捕获区域彼此重叠的区域；
估计源图像生成电路，被配置为消除每个捕获的图像数据上的所述初始色彩调整处理的效果，以生成多个估计源图像的图像数据；
重新调整电路，被配置为将每个估计源图像划分为多个处理区域，以针对每个处理区域执行色彩平衡重新调整处理；以及
图像合成电路，被配置为合成所述多个估计源图像的所述图像数据，使得被包括在所述估计源图像中的所述重叠区域彼此重叠，以生成经合成的图像的图像数据。


2.根据权利要求1所述的半导体设备，其中所述重新调整电路被配置为划分每个估计源图像，以便在所述重叠区域中包括一个或多个处理区域。


3.根据权利要求1所述的半导体设备，进一步包括：输出电路，被配置为输出所述经合成的图像的所述图像数据。


4.根据权利要求1的半导体设备，
其中每个捕获的图像数据的所述图像根据对应的估计源图像的多个处理区域来被划分为多个处理区域；
其中所述估计源图像生成电路被配置为：为每个捕获的图像数据计算匹配增益，所述匹配增益用于匹配在所述捕获的图像数据的所述图像的所述重叠区域中的、彼此具有对应关系的处理区域中的像素的信号水平，并且通过将所述匹配增益乘以被包括在对应的所述捕获的图像数据中的像素的信号水平，来生成所述图像数据的所述估计源图像。


5.根据权利要求4所述的半导体设备，其中所述估计源图像生成电路被配置为：基于具有所述对应关系的所述处理区域中的所述像素的所述信号水平的平均值，来计算所述匹配增益。


6.根据权利要求1所述的半导体设备，其中所述估计源图像生成电路被配置为：基于被包括在每个捕获的图像数据中的、关于所述初始色彩调整处理的信息，来生成对应的所述估计源图像的所述图像数据。


7.根据权利要求4所述的半导体设备，其中所述估计源图像生成电路被配置为：通过将被包括在每个捕获的图像数据中的、关于所述初始色彩调整处理的信息的倒数乘以对应的所述捕获的图像数据中的所述像素的所述信号水平，来生成对应的所述估计源图像的所述图像数据。


8.根据权利要求1所述的半导体设备，其中所述重新调整电路被配置为：提取在所述处理区域中具有预设色彩和预设信号水平的像素作为参考像素，基于所述参考像素来计算重新调整增益，以及基于所述重新调整增益，针对从其中所述参考像素被提取的所述处理区域执行所述色彩平衡重新调整处理。


9.根据权利要求8所述的半导体设备，其中当在与从其中所述参考像素被提取的所述处理区域相邻的处理区域中不存在具有预设色彩和预设信号水平的像素时，所述重新调整电路被配置为将基于所述参考像素而被计算的所述重新调整增益设置为相邻增益，并且基于所述相邻增益，针对与从其中所述参考像素被提取的所述处理区域相邻的所述处理区域执行所述色彩平衡重新调整处理。


10.根据权利要求9所述的半导体设备，其中在存在多个相邻增益时，所述重新调整电路被配置为计算所述多个相邻增益的平均值，并且基于所述平均值，针对与从其中所述参考像素被提取的所述处理区域相邻的所述处理区域执行所述色彩平衡重新调整处理。


11.根据权利要求1所述的半导体设备，其中所述处理区域是通过将每个估计源图像划分为栅格状区域而获得的区域。


12.根据权利要求1所述的半导体设备，其中所述图像合成电路被配置为合成所述多个估计源图像的所述图像数据，在所述多个估计源图像上，所述色彩平衡重新调整处理已经被所述重新调整电路执行过。


13.根据权利要求1的半导体设备，
其中所述图像合成电路被配置为在所述色彩平衡重新调整处理被所述重新调整电路执行之前，合成所述多个估计源图像的所述图像数据，以及
其中所述重新调整电路被配置为将被包括在所述经合成的图像中的所述估计源图像划分为所述多个处...

【专利技术属性】
技术研发人员：川口裕史，高桥明秀，
申请(专利权)人：瑞萨电子株式会社，
类型：发明
国别省市：日本;JP