图像处理装置和图像处理方法制造方法及图纸

如果满足预定条件，则融合处理单元32使用由成像单元21‑H生成的并且具有比高质量图像更广视角的广视角图像，基于由成像单元21‑H生成的高质量图像来执行翘曲，并且在使具有比广视角图像更高图像质量的高质量图像和经翘曲的广视角图像的图像交叠区域的位置匹配的情况下生成融合图像。如果不满足预定条件，则融合处理单元基于融合确定信息，使用高质量图像基于广视角图像执行翘曲，并且在使经翘曲的高质量图像和未翘曲的广视角图像的图像交叠区域的位置匹配的情况下生成融合图像。使用具有不同视角和分辨率的多个拍摄图像，可以生成具有广视角和高质量的拍摄图像而不降低图像质量。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法
本技术涉及图像处理装置和图像处理方法，并且使得能够使用分别具有不同视角和分辨率的拍摄图像来生成具有广视角和高分辨率的拍摄图像而不降低图像质量。
技术介绍
在诸如信息处理终端(例如，智能电话)的常规便携式电子装置中，由于尺寸减小和变薄，与单镜头反光相机等相比，其成像单元的图像质量下降。因此，例如，专利文献1公开了下述内容：设置多个成像单元并且同时生成具有不同图像质量的多个图像，例如具有第一视角的图像以及具有比第一视角窄的第二视角的图像。引用列表专利文献专利文献1：日本专利申请公开第2013-219525号
技术实现思路
本专利技术要解决的问题与此同时，不可能仅通过如专利文献1中那样设置多个成像单元来获取超过成像单元的性能的拍摄图像。因此，本技术旨在提供下述图像处理装置和图像处理方法，所述图像处理装置和图像处理方法能够使用分别具有不同视角和图像质量的多个拍摄图像来生成具有广视角和高图像质量的拍摄图像而不降低图像质量。问题的解决方案本技术的第一个方面在于一种图像处理装置，包括：融合处理单元，其执行高质量图像基准融合处理，在该高质量图像基准融合处理中，以高质量图像为基准对具有比高质量图像更低图像质量和更广视角的广视角图像执行翘曲，并且通过将高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。在本技术中，融合处理单元执行高质量图像基准融合处理。融合处理单元以高质量图像为基准对具有比高质量图像更低图像质量和更广视角的广视角图像执行翘曲。基于关于高质量图像和广视角图像的视差信息来执行翘曲，并且通过使用关于图像交叠区域的视差信息，对关于广视角图像中的未包括在高质量图像中的图像非交叠区域的视差信息进行插值。此外，融合处理单元通过将具有比广视角图像更高图像质量的高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。此外，基于确定单元的确定结果，融合处理单元在满足预定条件的情况下执行高质量图像基准融合处理，并且在不满足预定条件的情况下执行广视角图像基准融合处理。在广视角图像基准融合处理中，通过使用高质量图像来执行以广视角图像为基准的翘曲，并且通过将翘曲之后的高质量图像和未执行翘曲的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。例如，确定单元将被摄体距离长于确定阈值设置为预定条件，该被摄体距离是基于位于广视角图像中的未包括在高质量图像中的图像非交叠区域中的被摄体的视差信息确定的。此外，例如，确定单元将图像交叠区域中的从与图像非交叠区域的边界起预定范围内的图像区域的平均亮度之间的亮度差等于或小于确定阈值设置为预定条件。此外，融合处理单元执行窄视角融合处理。融合处理单元通过使用广视角图像以高质量图像为基准来执行翘曲，并且通过使高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成具有高质量图像的视角的融合图像。在高质量图像和广视角图像是运动图像并且生成具有广视角图像的视角的融合图像的情况下，融合处理单元基于确定单元的确定结果来执行高质量图像基准融合处理或者广视角图像基准融合处理。在高质量图像和广视角图像是静止图像的情况下，融合处理单元执行高质量图像基准融合处理、广视角图像基准融合处理或者窄视角融合处理。在不满足预定条件的情况下，融合处理单元基于确定单元的确定结果来执行广视角图像基准融合处理或窄视角融合处理。此外，在不满足预定条件的情况下，如果由确定单元确定执行了用于自动设置融合图像的视角的模式选择，则融合处理单元执行窄视角融合处理。此外，确定单元确定融合处理的用户选择操作，并且在由确定单元确定选择了窄视角融合处理的情况下，无论是否满足预定条件，融合处理单元都执行窄视角融合处理。本技术的第二个方面在于一种图像处理方法，包括：通过融合处理单元执行高质量图像基准融合处理，在该高质量图像基准融合处理中，以高质量图像为基准对具有比高质量图像更低图像质量和更广视角的广视角图像执行翘曲，并且通过将高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。本专利技术的效果根据本技术，执行以高质量图像为基准的、对具有比高质量图像更低图像质量和更广视角的广视角图像的翘曲，并且执行通过使图像交叠区域的位置相互匹配来将具有较高图像质量的高质量图像和翘曲之后的广视角图像进行合成的处理，从而生成融合图像。因此，可以使用分别具有不同视角和图像质量的多个拍摄图像来生成具有广视角和高图像质量的拍摄图像而不降低图像质量。注意，本说明书中描述的有利效果仅是示例，并且本技术的有利效果不限于这些效果并且可以包括附加效果。附图说明图1是示出应用图像处理装置的装置的外观的图。图2是示出信息处理终端的配置的图。图3是示出成像单元的像素布置的图。图4是示出当单色拍摄图像是基准时的遮挡的图。图5是示出用于生成融合图像的拍摄图像的图。图6是示出实施例的配置的图。图7是示出图像处理单元的实施例的操作的流程图。图8是示出融合处理确定的流程图。图9是示意性地示出成像单元与被摄体之间的位置关系的图。图10是示出被摄体距离与由成像单元获取的拍摄图像之间的关系的图。图11是示出近景检测区域的图。图12是示出基于距离的基准图像确定的流程图。图13是用于说明基于亮度差的基准图像确定的图。图14是示出亮度计算区域的图。图15是示出基于亮度差的基准图像确定的流程图。图16是用于说明综合确定的图。图17是用于说明视差检测的图。图18是示出基于融合确定结果生成的融合图像的性能的图。图19是示出车辆控制系统的示意性配置的示例的框图。图20是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。具体实施方式以下是对用于执行本技术的实施例的描述。注意，将按以下顺序进行描述。1.应用图像处理装置的装置的配置2.图像处理装置的实施例2-1.实施例的配置2-2.实施例的操作3.其他实施例4.应用示例<1.应用图像处理装置的装置的配置>图1示出了应用本技术的图像处理装置的装置的外观。注意，在以下描述中，例如，图像处理装置被应用于信息处理终端。信息处理终端10的前侧在图1的(a)中示出，并且显示单元53、触摸面板54和操作单元55被设置在前侧。信息处理终端10的后侧在图1的(b)中示出，并且多个成像单元例如两个成像单元21-H和21-W被设置在后侧。图2示出了信息处理终端的配置。信息处理终端10包括多个成像单元(例如两个成像单元21-H和21-W)、图像处理单元30、传感器单元51、通信单元52、显示单元53、触摸面板54、操作单元55、存储单元56和控制单元60。图像处理单元30对应于本技术的图像处理装置。成像单元21-H和21-W被设置在信息处理终端10的同一侧，如图1的(b)所示。成像单元21-H和21-W各自均通过使用诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件来配置，对由镜头(未示出)拍摄的光执行光电转换，生成拍摄图像的图像数据，并且将图像数据输出到图像处理单元30。此外，成像单元21-H和成像单元21-W具有特性差异，成像单元21-H具有比成像单元21-W更高的图像质量，而成像单元21-W具有比成像单元21-H更广的视角。图3示出了成像单元的像素布置。成像单元21-H本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：融合处理单元，其执行高质量图像基准融合处理，在所述高质量图像基准融合处理中，以高质量图像为基准对具有比所述高质量图像更低图像质量和更广视角的广视角图像执行翘曲，并且通过将所述高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。

【技术特征摘要】
【国外来华专利技术】2016.11.17 JP 2016-2239731.一种图像处理装置，包括：融合处理单元，其执行高质量图像基准融合处理，在所述高质量图像基准融合处理中，以高质量图像为基准对具有比所述高质量图像更低图像质量和更广视角的广视角图像执行翘曲，并且通过将所述高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。2.根据权利要求1所述的图像处理装置，其中，所述融合处理单元基于指示所述高质量图像与所述广视角图像之间的视差的视差信息来执行所述翘曲。3.根据权利要求2所述的图像处理装置，其中，所述融合处理单元通过使用关于所述图像交叠区域的视差信息，对关于所述广视角图像中的未包括在所述高质量图像中的图像非交叠区域的视差信息进行插值。4.根据权利要求1所述的图像处理装置，其中，所述融合处理单元执行广视角图像基准融合处理或所述高质量图像基准融合处理，其中，在所述广视角图像基准融合处理中，使用所述高质量图像以所述广视角图像为基准执行翘曲，并且通过将翘曲之后的高质量图像和未执行翘曲的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。5.根据权利要求4所述的图像处理装置，还包括：确定单元，其确定是否满足预定条件，其中，在不满足所述预定条件的情况下，所述融合处理单元执行所述广视角图像基准融合处理，并且在满足所述预定条件的情况下，所述融合处理单元执行所述高质量图像基准融合处理。6.根据权利要求5所述的图像处理装置，其中，所述确定单元将基于视差信息确定的被摄体距离长于确定阈值设置为所述预定条件。7.根据权利要求6所述的图像处理装置，其中，所述被摄体距离是位于所述广视角图像中的未包括在所述高质量图像中的图像非交叠区域中的被摄体的被摄体距离。8.根据权利要求5所述的图像处理装置，其中，所述确定单元将所述高质量图像与所述广视角图像之间的亮度差等于或小于确定阈值设置为所述预定条件。9.根据权利要求8所述的图像处理装...

【专利技术属性】
技术研发人员：市桥英之，内田真史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP