图像处理装置、移动装置、方法和程序制造方法及图纸

提供了一种图像处理设备，其实现了这样的配置：其中根据诸如驾驶员头部的移动之类的驾驶员的行为来切换并显示在显示单元上的输出图像。输入指示移动装置的驾驶员的行为的驾驶员信息和从不同视点捕获对移动装置的周围情况的多个相机的捕获图像，并且根据驾驶员信息切换在显示单元上的输出图像。多个相机是例如安装在移动装置后部的多个后相机，并且检测例如驾驶员的面部或视线方向。选择与检测到的驾驶员的面部或视线方向对应的方向上的图像作为输出图像以显示在显示单元上，或者选择驾驶员的手势所指示的方向上的图像以显示在显示单元上。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、移动装置、方法和程序
本公开涉及图像处理装置、移动装置、方法和程序。更具体而言，本公开涉及基于由安装在诸如汽车之类的移动装置中的相机捕获的图像来控制显示图像输出到驾驶员座位处的显示单元(监视器)的图像处理装置、移动装置、方法和程序。
技术介绍
如今，可以安装相机监视系统(CMS)，并且CMS已开始实际引入到汽车中。在CMS中，由安装在汽车上的相机捕获的图像被显示在驾驶员座位处的监视器上，并且可以检查汽车周围的状况，例如，汽车后方(向后方向)的状况。例如，专利文献1(WO2018/012299)公开了本车辆中的相机监视系统(CMS)。在CMS中，由安装在车辆后部的后相机捕获的车辆的后面图像、由安装在车辆右侧和左侧的后视镜(rearviewmirror)位置处的侧相机捕获的右后图像和左后图像或其合成图像被显示在显示单元上。引用列表专利文献专利文献1：WO2018/012299
技术实现思路
本专利技术要解决的问题相机监视系统(CMS)使得能够通过使用相机捕获的图像来检查已经用后照镜(backviewmirror)(诸如，所谓传统的汽车的后视镜和侧视镜)检查过的周围状态。例如，后方捕获图像、左后捕获图像和右后捕获图像的三个图像被单独显示在能够由驾驶员观察到的显示单元(监视器)上。后方捕获图像由对车辆后方成像的后相机捕获。左后捕获图像和右后捕获图像分别由安装在车辆的左侧视镜和右侧视镜位置附近的左侧相机和右侧相机捕获。可替代地，通过适当地合成这三个图像而生成的单个合成图像被显示在监视器上。但是，在这样的图像显示系统中，在从由后相机和左右侧相机捕获的三个图像生成并显示一个连续的合成图像的情况下，在这三个图像中的任何图像中捕获的被摄体有时会消失，而不是被显示。这是因为由后相机、L侧相机和R侧相机的三个相机捕获的图像具有不同的视点，并且这是由例如在生成合成图像时从一个视点(例如，后相机的视点)转换为图像的处理引起的。如果在生成合成图像时相对于后相机的视点生成合成图像，那么由左侧相机和右侧相机捕获的被摄体(诸如例如在大型车辆后面紧随其后的摩托车以及从远处高速接近的车辆)从合成图像中消失。这是因为，例如，摩托车位于大型车辆后面的区域中，即，从后相机的视点来看是遮挡区域。本公开鉴于例如上述问题而做出，并且本公开的目的是提供一种图像处理装置、移动装置、方法和程序，其中通过根据驾驶员的行为(例如头部的移动)顺序地切换和显示由具有不同成像视点的多个相机捕获的图像，类似于检查传统的后视镜和侧视镜的情况，驾驶员几乎可以连续地(无缝地)检查从各种视点观察到的后侧图像。问题的解决方案本公开的第一方面在于一种包括数据处理单元的图像处理装置，该数据处理单元执行以下内容的图像显示控制：输入示出移动装置的驾驶员的行为的驾驶员信息；以及由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。此外，本公开的第二方面在于一种移动装置，其包括：多个相机，该多个相机从不同的视点对移动装置周围的状况进行成像；驾驶员信息检测单元，其检测示出移动装置的驾驶员的行为的驾驶员信息；以及数据处理单元，其输入驾驶员信息和由该多个相机捕获的图像，并且根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。此外，本公开的第三方面在于一种在图像处理装置中执行的图像处理方法，其中数据处理单元执行以下内容的图像显示控制：输入示出移动装置的驾驶员的行为的驾驶员信息；以及由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。此外，本公开的第四方面在于一种在移动装置中执行的显示图像控制方法，包括：图像捕获步骤，其中多个相机从不同的视点对移动装置周围的状况进行成像；驾驶员信息检测步骤，其中驾驶员信息检测单元检测示出移动装置的驾驶员的行为的驾驶员信息；以及图像显示控制步骤，其中数据处理单元输入驾驶员信息和由该多个相机捕获的图像，并且根据驾驶员信息将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。此外，本公开的第五方面在于一种用于在图像处理装置中执行图像处理的程序，该程序使得数据处理单元执行以下内容的图像显示控制：输入示出移动装置的驾驶员的行为的驾驶员信息；以及由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。注意的是，本公开的程序可以由能够以计算机可读格式提供各种程序代码的存储介质或通信介质提供给能够执行各种程序代码的信息处理装置和计算机系统。通过以计算机可读格式提供这样的程序，在信息处理装置和计算机系统上执行根据程序的处理。基于本公开稍后描述的实施例和附图的更详细的描述，本公开的其它目的、特征和优点将变得显而易见。注意的是，说明书中的系统具有多个装置的逻辑集合的配置。该系统不限于其中具有各种配置的装置被放置在同一壳体中的系统。专利技术的效果根据本公开的一个实施例的配置，实现了其中根据驾驶员的行为(诸如驾驶员头部的移动)切换和显示输出到显示单元的图像的配置。具体而言，例如，输入示出移动装置的驾驶员的行为的驾驶员信息以及由从不同视点对移动装置周围的状况进行成像的多个相机捕获的图像。根据驾驶员信息切换输出到显示单元的图像。多个相机是例如安装在移动装置后部的多个后相机。例如，检测驾驶员的面部或视线方向。选择与检测到的驾驶员的面部或视线方向对应的方向上的图像作为输出图像，并将其显示在显示单元上。可替代地，选择驾驶员的手势所指示的方向上的图像，并将其显示在显示单元上。该配置实现了其中根据驾驶员的行为(诸如驾驶员的头部的移动)切换和显示输出到显示单元的图像的配置。注意的是，说明书中描述的效果仅是示例的而不是限制，并且可能展现出附加的效果。附图说明图1概述了安装在汽车中的相机监视系统(CMS)。图2图示了CMS的使用示例。图3图示了CMS的使用示例。图4图示了CMS的使用示例。图5图示了本公开的移动装置和图像处理装置的配置以及其中的处理。图6图示了本公开的移动装置和图像处理装置的配置以及其中的处理。图7图示了本公开的移动装置和图像处理装置的配置以及其中的处理。图8图示了在显示单元上的图像显示的示例。图9图示了在显示单元上的图像显示的示例。图10图示了在显示单元上的图像显示的本文档来自技高网...

【技术保护点】
1.一种包括数据处理单元的图像处理装置，所述数据处理单元执行以下内容的图像显示控制：/n输入/n示出移动装置的驾驶员的行为的驾驶员信息；以及/n由多个相机捕获的图像，所述多个相机从不同的视点对所述移动装置周围的状况进行成像；以及/n根据所述驾驶员信息，将输出到显示单元的图像切换为由所述多个相机捕获的图像中的任何图像或虚拟视点合成图像。/n

【技术特征摘要】
【国外来华专利技术】20180508 JP 2018-0896671.一种包括数据处理单元的图像处理装置，所述数据处理单元执行以下内容的图像显示控制：
输入
示出移动装置的驾驶员的行为的驾驶员信息；以及
由多个相机捕获的图像，所述多个相机从不同的视点对所述移动装置周围的状况进行成像；以及
根据所述驾驶员信息，将输出到显示单元的图像切换为由所述多个相机捕获的图像中的任何图像或虚拟视点合成图像。


2.根据权利要求1所述的图像处理装置，
其中，所述多个相机包括安装在所述移动装置后部的多个后相机，以及
所述数据处理单元根据所述驾驶员信息切换到并显示由所述多个后相机捕获的图像中的任何图像或虚拟视点合成图像。


3.根据权利要求1所述的图像处理装置，
其中，所述多个相机包括：安装在移动装置后部的多个后相机以及安装在移动装置侧面的侧相机，以及
所述数据处理单元根据所述驾驶员信息切换到并显示由所述多个后相机和侧相机捕获的图像中的任何图像或虚拟视点合成图像。


4.根据权利要求1所述的图像处理装置，
其中，所述数据处理单元在所述显示单元上并排显示一个后相机捕获图像和由侧相机捕获的图像，所述后相机捕获图像根据所述驾驶员信息从由安装在所述移动装置后部的多个后相机捕获的图像中选择，所述侧相机被安装在所述移动装置的侧面。


5.根据权利要求1所述的图像处理装置，
其中，所述驾驶员信息包括通过检测驾驶员的面部或视线的方向而获得的信息，以及
所述数据处理单元在所述显示单元上显示与驾驶员的面部或视线的方向对应的方向上的图像。


6.根据权利要求1所述的图像处理装置，
其中，所述驾驶员信息包括通过检测驾驶员的手势而获得的信息，以及
所述数据处理单元在所述显示单元上显示与驾驶员的手势对应的方向上的图像。


7.根据权利要求1所述的图像处理装置，
其中，所述数据处理单元在所述显示单元上显示根据驾驶员对操作单元的输入的方向上的图像。


8.根据权利要求1所述的图像处理装置，
其中，所述虚拟视点合成图像是基于由多个相机捕获的图像的合成图像，并且是与从所述多个相机的成像视点之间的虚拟视点捕获的图像相当的合成图像。


9.根据权利要求1所述的图像处理装置，
其中，所述驾驶员信息包括通过检测驾驶员的面部或视线的方向而获得的信息，以及
所述数据处理单元通过合成由多个相机捕获的图像来生成与驾驶员的面部或视线方向对应的方向上的图像，并将该...

【专利技术属性】
技术研发人员：大场英史，大木光晴，马场茂幸，野村宜邦，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：日本;JP