图像处理装置、图像处理方法以及图像处理程序制造方法及图纸

图像处理装置在一个方式中具备决定部(30)和图像生成部(37)。决定部(30)使用包含移动体的周边的多个检测点的位置信息和移动体的自身位置信息，决定移动体的多个周边图像中的空间上相邻的周边图像的重复区域中的边界区域。图像生成部使用边界区域，以使用空间上相邻的周边图像生成合成图像。相邻的周边图像生成合成图像。相邻的周边图像生成合成图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法以及图像处理程序


[0001]本专利技术涉及图像处理装置、图像处理方法以及图像处理程序。

技术介绍

[0002]公开有如下的技术：使用将移动体的周边的拍摄图像投影到虚拟的投影面而得的投影图像，生成来自任意的视点的合成图像。
[0003]专利文献1：日本特开2013
‑
207637号公报
[0004]专利文献2：日本特表2014
‑
531078号公报
[0005]专利文献3：日本特开2009
‑
232310号公报
[0006]专利文献4：日本特开2019
‑
140518号公报
[0007]专利文献5：日本特开2019
‑
153138号公报
[0008]非专利文献1：“移动机器人的环境识别
‑
地图构建和自身位置推断”系统/控制/信息(系统信息学会志)、Vol.60No.12、pp509
‑
514、2016
[0009]然而，在将叠合多个图像而成的合成图像投影并显示于投影面的情况下，在所投影的合成图像中，存在例如产生水平面上的停车划分线成为双重等不良情况的情况。

技术实现思路

[0010]在一个方面中，本专利技术的目的在于提供消除将叠合多个图像而成的合成图像投影并显示于投影面的情况下的不良情况的图像处理装置、图像处理方法以及图像处理程序。
[0011]本申请公开的图像处理装置在一个方式中具备：决定部，使用包含移动体的周边的多个检测点的位置信息和上述移动体的自身位置信息，决定上述移动体的多个周边图像中的空间上相邻的上述周边图像的重复区域中的边界区域；以及图像生成部，使用上述边界区域，以使用空间上相邻的上述周边图像生成合成图像。
[0012]根据本申请公开的图像处理装置的一个方式，能够消除将叠合多个图像而成的合成图像投影并显示于投影面的情况下的不良情况。
附图说明
[0013]图1是表示第一实施方式的图像处理系统的整体结构的图。
[0014]图2是表示第一实施方式的图像处理装置的硬件结构的图。
[0015]图3是表示第一实施方式的图像处理装置的功能结构的图。
[0016]图4是第一实施方式的环境地图信息的示意图。
[0017]图5是第一实施方式的渐近曲线的说明图。
[0018]图6是表示第一实施方式的基准投影面的一个例子的示意图。
[0019]图7是表示由第一实施方式的形状决定部决定的投影形状的一个例子的示意图。
[0020]图8是表示第一实施方式的决定部的功能结构的一个例子的示意图。
[0021]图9是用于对边界角和边界宽度进行说明的图。
[0022]图10是表示将合成图像投影到基准投影面的处理的概念图。
[0023]图11是示意性地表示图10所示的合成图像的一个例子的图。
[0024]图12是表示针对图10所示的基准投影面投影执行了投影形状决定处理的情况下的合成图像的处理的概念图。
[0025]图13是示意性地表示图12所示的合成图像的一个例子的图。
[0026]图14是表示在从图12、图13所示的状态起移动体进一步朝向停车划分线前进了的情况下，针对投影形状投影合成图像的处理的概念图。
[0027]图15是示意性地表示图14所示的合成图像的一个例子的图。
[0028]图16是表示通过边界区域适应控制来校正图14所示的投影处理的例子的概念图。
[0029]图17是示意性地表示图16所示的合成图像的一个例子的图。
[0030]图18是表示由第一实施方式的图像处理装置执行的图像处理的流程的一个例子的流程图。
[0031]图19是用于对不执行边界区域适应控制的比较例进行说明的图。
[0032]图20是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。
[0033]图21是用于对不执行边界区域适应控制的比较例进行说明的图。
[0034]图22是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。
[0035]图23是用于对不执行边界区域适应控制的比较例进行说明的图。
[0036]图24是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。
[0037]图25是表示第二实施方式的图像处理装置的功能结构的一个例子的图。
[0038]图26是表示由第二实施方式的图像处理装置执行的图像处理的流程的一个例子的流程图。
具体实施方式
[0039]以下，一边参照附图，一边详细地说明本申请公开的图像处理装置、图像处理方法以及图像处理程序的实施方式。此外，以下的实施方式并不限定公开的技术。而且，各实施方式能够在不使处理内容矛盾的范围内适当地组合。
[0040](第一实施方式)
[0041]图1是表示本实施方式的图像处理系统1的整体结构的一个例子的图。图像处理系统1具备图像处理装置10、拍摄部12、检测部14以及显示部16。图像处理装置10、拍摄部12、检测部14和显示部16连接成能够收发数据或者信号。
[0042]在本实施方式中，作为一个例子，对图像处理装置10、拍摄部12、检测部14以及显示部16被搭载于移动体2的方式进行说明。此外，第一实施方式的图像处理装置10是使用Visual SLAM的例子。
[0043]移动体2是指能够移动的物体。移动体2例如为车辆、能够飞行的物体(有人飞行机、无人飞行机(例如，UAV(Unmanned Aerial Vehicle：无人驾驶飞行器)、无人机))、机器人等。另外，移动体2例如是经由人的驾驶操作而行进的移动体、不经由人的驾驶操作而能
够自动地行进(自主行进)的移动体。在本实施方式中，作为一个例子，对移动体2为车辆的情况进行说明。车辆例如为二轮汽车、三轮汽车、四轮汽车等。在本实施方式中，作为一个例子，对车辆为能够自主行进的四轮汽车的情况进行说明。
[0044]此外，并不限定于图像处理装置10、拍摄部12、检测部14以及显示部16全部搭载于移动体2的方式。图像处理装置10也可以搭载于静止物。静止物是固定于地面的物体。静止物是不能移动的物体、相对于地面处于静止的状态的物体。静止物例如为信号灯、停车车辆、道路标志等。另外，图像处理装置10也可以搭载于在云上执行处理的云服务器。
[0045]拍摄部12拍摄移动体2的周边，获取拍摄图像数据。以下，将拍摄图像数据简称为拍摄图像来进行说明。拍摄部12例如是能够进行动态拍摄的数字相机。此外，拍摄是指将通过透镜等光学系统而成像的被拍摄体的像变换为电信号。拍摄部12将拍摄到的拍摄图像输出到图像处理装置10。另外，在本实施方式中，假定拍摄部12为单眼的鱼眼相机(例如，视场角为195度)的情况来进行说明。
[0046]在本实施方式中，作为一个例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，具备：决定部，使用包含移动体的周边的多个检测点的位置信息和所述移动体的自身位置信息，决定所述移动体的多个周边图像中的空间上相邻的所述周边图像的重复区域中的边界区域；以及图像生成部，使用所述边界区域，以使用空间上相邻的所述周边图像生成合成图像。2.根据权利要求1所述的图像处理装置，其中，所述决定部基于与最邻近所述移动体的立体物对应的所述检测点的位置信息，决定所述边界区域。3.根据权利要求2所述的图像处理装置，其中，所述决定部基于所述立体物的宽度，决定所述边界区域。4.根据权利要求2或3所述的图像处理装置，其中，所述决定部使用依次生成的所述位置信息和所述自身位置信息，决定追随所述立体物的多个所述边界区域，所述图像生成部使用追随所述立体物的多个所述边界区域，以使用空间上相邻的所述周边图像来依次生成所述合成图像。5.根据权利要求2至4中任一项所述的图像处理装置，其中，所述图像处理装置还具备变形部，所述变形部使用所述位置信息和所述自身位置信...

【专利技术属性】
技术研发人员：大桥和将，
申请(专利权)人：株式会社索思未来，
类型：发明
国别省市：