图像处理设备和方法以及图像处理系统技术方案

本技术涉及使得能够呈现更有用信息的图像处理设备、图像处理方法以及图像处理系统。由已拍摄图像生成在与物体的状态对应的视点方向上的图像。另选地，以广角拍摄物体周边的图像，然后显示通过将由此获得的广角已拍摄图像的一部分投影到在与物体的状态对应的视点方向上的平面上获得的图像。例如，以广角拍摄物体周边的图像，由所获得的已拍摄图像生成在与物体的状态对应的视点方向上的图像，并且显示生成的图像。本公开例如可以应用于信息处理设备、电子设备、车辆、计算机、服务器、程序、存储介质、系统等。

Image Processing Equipment and Method and Image Processing System

The technology relates to image processing equipment, image processing methods and image processing systems that enable more useful information to be presented. An image in the viewpoint direction corresponding to the state of the object is generated from the captured image. Alternatively, an image around an object is taken at a wide angle, and then an image obtained by projecting a portion of the wide-angle captured image obtained therefrom onto a plane in the viewpoint direction corresponding to the state of the object is displayed. For example, an image around an object is taken at a wide angle, an image in the viewpoint direction corresponding to the state of the object is generated from the captured image, and the generated image is displayed. For example, the present disclosure can be applied to information processing devices, electronic devices, vehicles, computers, servers, programs, storage media, systems, etc.

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和方法以及图像处理系统
本技术涉及图像处理设备、图像处理方法以及图像处理系统，具体涉及使得能够呈现更有用信息的图像处理设备、图像处理方法以及图像处理系统。
技术介绍
传统上，已知一种用于从由在车辆中安装的照相机拍摄的图像检测物体(危险物)并且放大并显示反映物体的区域的技术(例如参见专利文献1)。然而，由普通照相机拍摄的图像的视角狭窄，由此，为了监测车辆的整个周边，需要更多照相机。鉴于此，假定将鱼眼镜头(广角镜头)附接到照相机，以进一步加宽视角。然而，由这种照相机拍摄的已拍摄图像(广角图像)具有大失真。因此，即使已拍摄图像的一部分按照原样放大，也获得具有大失真且几乎不可理解的图像。传统上已经讨论一种用于校正图像的失真的技术(例如参见非专利文献1)。引用列表专利文献专利文献1：日本专利申请特开No.2009-17007非专利文献1：技术介绍(环视监测器，日产汽车有限公司【2016年1月20日检索】，因特网<URL：http://www.nissan-global.com/JP/TECHNOLOGY/OVERVIEW/avm.html>)。
技术实现思路
技术问题然而，观察图像的用户(例如，车辆的驾驶员)根据车辆的状态改变期望的观察方向。相反，在非专利文献1中描述的方法仅在一个固定视点上执行，由此，由该方法获得的图像取决于车辆的状态可能变成稍微无意义的图像(在与用户想要观察的方向不同的方向上的图像)。即，无法呈现对于用户(驾驶员)有用的信息。本技术鉴于上述情况而提出，并且具有使得能够呈现更有用信息的目的。技术方案根据本技术的一个方面的图像处理设备包括图像处理部，该图像处理部根据车辆的状态基于由在车辆中设置的多个成像部拍摄的多个已拍摄图像而生成在规定视点方向上的图像。图像处理部可以对已拍摄图像的一部分执行失真校正，以生成被投影到在视点方向上的平面上的图像。图像处理部可以生成在多个视点方向上的图像。图像处理部可以基于多个已拍摄图像生成在视点方向上的图像。车辆的状态可以是与车辆的移动有关的状态。车辆的状态可以是与相对于车辆执行的操作有关的状态。图像处理部可以在车辆处于普通行驶状态时生成在朝向车辆的后侧的视点方向上的图像。图像处理部可以在车辆处于右转/左转状态时生成在朝向车辆的斜后侧的视点方向上的图像和在朝向车辆的斜前侧的视点方向上的图像。图像处理部可以在车辆处于缓慢行驶状态时生成在朝向车辆的侧面的斜下前侧的视点方向上的图像。图像处理部可以在车辆处于向后移动状态时生成在朝向车辆的侧面的下侧的视点方向上的图像和在朝向车辆的侧面的斜下后侧的视点方向上的图像。图像处理设备还可以包括：检测部，该检测部检测车辆的状态；和确定部，该确定部根据检测部的检测结果确定车辆的状态，并且图像处理部可以被构造为根据由确定部确定的车辆的状态基于多个已拍摄图像而生成在规定视点方向上的图像。图像处理设备还可以包括成像部，该成像部拍摄对象的图像，以获得已拍摄图像，并且图像处理部可以被构造为根据车辆的状态基于由成像部获得的已拍摄图像而生成在规定视点方向上的图像。图像处理设备还可以包括显示部，该显示部显示由图像处理部生成的图像。显示部可以以与车辆的状态对应的布局显示单个或多个图像。显示部可以在与车辆的状态对应的单个或多个位置处显示单个或多个图像。图像处理部还可以在基于已拍摄图像的车辆的周边环境和车辆的状态的基础上生成与环境有关的通知信息。根据本技术的一个方面的图像处理方法包括以下步骤：根据车辆的状态生成基于由在车辆中设置的多个成像部拍摄的多个已拍摄图像的、在规定视点方向上的图像。根据本技术的另一个方面的图像处理设备包括：成像部，该成像部拍摄车辆周边的图像；和显示部，该显示部根据车辆的状态显示图像，该图像通过将由成像部获得的已拍摄图像的一部分投影到在规定视点方向上的平面上来获得。根据本技术的另一个方面的图像处理方法包括以下步骤：拍摄车辆周边的图像；以及根据车辆的状态显示图像，该图像通过将所获得的已拍摄图像的一部分投影到在规定视点方向上的平面上来获得。根据本技术的又一个方面的图像处理系统包括：成像设备，该成像设备拍摄车辆周边的图像；图像处理设备，该图像处理设备根据车辆的状态来生成基于由成像设备获得的已拍摄图像的、在规定视点方向上的图像；以及显示设备，该显示设备显示由图像处理设备生成的、在视点方向上的图像。在本技术的一个方面中，根据车辆的状态生成基于由在车辆中设置的多个成像部拍摄的多个已拍摄图像的、在规定视点方向上的图像。在本技术的另一个方面中，拍摄车辆周边的图像，并且根据车辆的状态显示图像，该图像通过将所获得的已拍摄图像的一部分投影到在规定视点方向上的平面上来获得。在本技术的又一个方面中，由成像设备拍摄车辆周边的图像，由图像处理设备根据车辆的状态来生成基于由成像设备获得的已拍摄图像的、在规定视点方向上的图像，并且由显示设备显示由图像处理设备生成的、在视点方向上的图像。本专利技术的有益效果根据本技术，可以处理图像。进一步地，根据本技术，可以呈现更有用的信息。附图说明图1是用于描述成像系统的概要的视图。图2是示出了已拍摄图像的示例的视图。图3是示出了成像系统的主要构造的示例的框图。图4是用于描述生成平面投影图像的方向的示例的视图。图5是用于描述生成平面投影图像的方向的示例的视图。图6是用于描述生成平面投影图像的方向的示例的视图。图7是用于描述生成平面投影图像的方向的示例的视图。图8是用于描述生成平面投影图像的方向的示例的视图。图9是用于描述生成平面投影图像的方向的示例的视图。图10是各示出了显示部的安装示例的视图。图11是各示出了图像显示的状态的示例的视图。图12是各示出了普通行驶期间的图像显示的状态的示例的视图。图13是各示出了普通行驶期间的图像显示的状态的示例的视图。图14是各示出了向后移动期间的图像显示的状态的示例的视图。图15是各示出了缓慢行驶期间的图像显示的状态的示例的视图。图16是各示出了左转期间的图像显示的状态的示例的视图。图17是用于描述周边监测处理的流程的示例的流程图。图18是用于描述车辆状态确定处理的流程的示例的流程图。图19是示出了成像系统的主要构造的示例的框图。图20是用于描述障碍物的通知的状态的视图。图21是用于描述周边监测处理的流程的示例的流程图。图22是示出了成像单元的结构的示例的视图。图23是示出了成像系统的主要构造的示例的框图。图24是用于描述周边监测处理的流程的示例的流程图。图25是示出了车辆控制系统的示意构造的示例的框图。图26是示出了车外信息检测部和成像部的安装位置的示例的说明图。具体实施方式下文中，将描述用于进行本公开的模式(下文中被称为实施方式)。注意，描述将按以下顺序给出。1、第一实施方式(成像系统)2、第二实施方式(成像系统)3、第三实施方式(成像系统)4、第四实施方式(应用示例)<1、第一实施方式><车辆周边监测>传统上，已知一种系统，在该系统中，在诸如机动车的车辆中安装照相机，并且向用户(驾驶员)示出由照相机拍摄的照相机图像或由计算机处理该图像，以识别车辆的周边情况，以识别车辆周围的危险状态并提高车辆的安全性。然而，因为在照相机中反映各种物体，所以有时难本文档来自技高网...

【技术保护点】
1.一种图像处理设备，该图像处理设备包括：图像处理部，该图像处理部根据车辆的状态基于由在所述车辆中设置的多个成像部拍摄的多个已拍摄图像而生成在规定视点方向上的图像。

【技术特征摘要】
【国外来华专利技术】2016.09.16 JP 2016-1814911.一种图像处理设备，该图像处理设备包括：图像处理部，该图像处理部根据车辆的状态基于由在所述车辆中设置的多个成像部拍摄的多个已拍摄图像而生成在规定视点方向上的图像。2.根据权利要求1所述的图像处理设备，其中，所述图像处理部对所述已拍摄图像的一部分执行失真校正，以生成被投影到在所述视点方向上的平面上的图像。3.根据权利要求1所述的图像处理设备，其中，所述图像处理部生成在多个视点方向上的图像。4.根据权利要求1所述的图像处理设备，其中，所述图像处理部基于多个已拍摄图像生成在所述视点方向上的所述图像。5.根据权利要求1所述的图像处理设备，其中，所述车辆的所述状态是与所述车辆的移动有关的状态。6.根据权利要求1所述的图像处理设备，其中，所述车辆的所述状态是与相对于所述车辆执行的操作有关的状态。7.根据权利要求1所述的图像处理设备，其中，所述图像处理部在所述车辆处于普通行驶状态时生成在朝向所述车辆的后侧的视点方向上的图像。8.根据权利要求1所述的图像处理设备，其中，所述图像处理部在所述车辆处于右转/左转状态时生成在朝向所述车辆的斜后侧的视点方向上的图像和在朝向所述车辆的斜前侧的视点方向上的图像。9.根据权利要求1所述的图像处理设备，其中，所述图像处理部在所述车辆处于缓慢行驶状态时生成在朝向所述车辆的侧面的斜下前侧的视点方向上的图像。10.根据权利要求1所述的图像处理设备，其中，所述图像处理部在所述车辆处于向后移动状态时生成在朝向所述车辆的侧面的下侧的视点方向上的图像和在朝向所述车辆的所述侧面的斜下后侧的视点方向上的图像。11.根据权利要求1所述的图像处理设备，还包括：检测部，该检测部检测所述车辆的所述状态；和确定部，该确定部根据所述检测部的检测结果确定所述车辆的所述状态，其中，所述图像处理部被构造为根据由所述...

【专利技术属性】
技术研发人员：纲岛宣浩，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP