图像处理装置、图像处理方法以及图像处理程序制造方法及图纸

本发明专利技术的图像处理装置在一个方式中，具备变形部(32)。变形部(32)使用储存了移动体的周边的多个检测点的位置信息、和移动体的自身位置信息，将移动体的周边图像的投影面亦即基准投影面变形。投影面变形。投影面变形。

Image processing apparatus, image processing method, and image processing program

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法以及图像处理程序


[0001]本专利技术涉及图像处理装置、图像处理方法以及图像处理程序。

技术介绍

[0002]公开有如下技术：使用将移动体的周边的拍摄图像投影到虚拟的投影面的投影图像，生成从任意视点的合成图像。另外，公开有如下技术：通过传感器检测从移动体到移动体的周边的物体的距离，根据检测出的该距离使投影面的形状变形(例如，参照专利文献1
‑
3)。
[0003]专利文献1：日本特开2013
‑
207637号公报；
[0004]专利文献2：日本特表2014
‑
531078号公报；
[0005]专利文献3：日本专利第5369465号公报。
[0006]非专利文献1：“移動
ロボットの
環境認識－地図構築
と
自己位置推定
”システム
/制御/情報(
システム
情報学会誌)，Vol.60No.12，pp509
‑
514，2016。
[0007]然而，在物体相对于移动体的相对位置为传感器的检测区域外的情况下，难以获取到该物体的距离。因此，在现有技术中，有时难以进行与物体相应的投影面的变形。

技术实现思路

[0008]在一个方面中，本专利技术的目的在于提供能够根据物体使投影面变形的图像处理装置、图像处理方法以及图像处理程序。
[0009]本申请公开的图像处理装置在一个方式中，具备变形部，上述变形部使用储存了移动体的周边的多个检测点的位置信息、和上述移动体的自身位置信息，将上述移动体的周边图像的投影面亦即基准投影面变形。
[0010]根据本申请公开的图像处理装置的一个方式，能够根据物体使投影面变形。
附图说明
[0011]图1是表示第一实施方式的图像处理系统的整体结构的图。
[0012]图2是表示第一实施方式的图像处理装置的硬件构成的图。
[0013]图3是表示第一实施方式的图像处理装置的功能构成的图。
[0014]图4是第一实施方式的环境地图信息的示意图。
[0015]图5A是表示第一实施方式的基准投影面的示意图。
[0016]图5B是表示第一实施方式的投影形状的示意图。
[0017]图6是第一实施方式的渐近曲线的说明图。
[0018]图7是表示第一实施方式的决定部的功能构成的示意图。
[0019]图8是表示第一实施方式的图像处理的流程的流程图。
[0020]图9A是表示第一实施方式的拍摄图像的示意图。
[0021]图9B是表示第一实施方式的合成图像的示意图。
[0022]图9C是表示第一实施方式的图像处理的时间图的示意图。
[0023]图10A是现有的投影面变形处理的说明图。
[0024]图10B是现有的投影面变形处理的说明图。
[0025]图11A是现有的投影面变形处理的说明图。
[0026]图11B是现有的投影面变形处理的说明图。
[0027]图12A是第一实施方式的基准投影面的变形的说明图。
[0028]图12B是第一实施方式的基准投影面的变形的说明图。
[0029]图13A是第一实施方式的基准投影面的变形的说明图。
[0030]图13B是第一实施方式的基准投影面的变形的说明图。
[0031]图14A是第一实施方式的视线方向L的决定的说明图。
[0032]图14B是第一实施方式的视线方向L的决定的说明图。
[0033]图14C是第一实施方式的视线方向L的决定的说明图。
[0034]图15A是表示第一实施方式的拍摄图像的示意图。
[0035]图15B是表示第一实施方式的合成图像的示意图。
[0036]图16是表示第二实施方式的图像处理装置的功能构成的图。
[0037]图17是表示第二实施方式的图像处理的流程的流程图。
[0038]图18是表示第二实施方式的图像处理的时间图的示意图。
[0039]图19是表示第二实施方式的合成图像的图像。
具体实施方式
[0040]以下，参照附图并对本申请公开的图像处理装置、图像处理方法以及图像处理程序的实施方式进行详细说明。此外，以下的实施方式并不限定公开的技术。而且，各实施方式能够在不使处理内容矛盾的范围内进行适当组合。
[0041](第一实施方式)
[0042]图1是表示本实施方式的图像处理系统1的整体结构的一个例子的图。图像处理系统1具备图像处理装置10、拍摄部12、检测部14以及显示部16。图像处理装置10、拍摄部12、检测部14以及显示部16以能够收发数据或者信号的方式连接。
[0043]在本实施方式中，将图像处理装置10、拍摄部12、检测部14以及显示部16搭载于移动体2的方式作为一个例子进行说明。
[0044]所谓的移动体2是可移动的物体。移动体2例如是车辆、可飞行的物体(有人飞机、无人飞机(例如，UAV(Unmanned Aerial Vehicle：无人机)、无人驾驶飞机))、机器人等。另外，移动体2例如是通过人的驾驶操作而行进的移动体、不通过人的驾驶操作而能够自动地行进(自主行进)的移动体。在本实施方式中，将移动体2是车辆的情况作为一个例子进行说明。车辆例如是二轮汽车、三轮汽车、四轮汽车等。在本实施方式中，将车辆是能够自主行进的四轮汽车的情况作为一个例子进行说明。
[0045]此外，并不限定于图像处理装置10、拍摄部12、检测部14以及显示部16全部搭载于移动体2的方式。图像处理装置10也可以搭载于静止物。静止物是固定于地面的物体。静止物是不可移动的物体、相对于地面静止的状态的物体。静止物例如是信号灯、停车车辆、道路标志等。另外，图像处理装置10也可以搭载于在云上执行处理的云服务器上。
[0046]拍摄部12拍摄移动体2的周边，获取拍摄图像数据。在以下，将拍摄图像数据简称为拍摄图像进行说明。拍摄部12例如是数码相机。此外，所谓的拍摄是指将通过透镜等光学系统被成像的被拍摄体的像转换为电信号。拍摄部12将拍摄到的拍摄图像输出到图像处理装置10。
[0047]在本实施方式中，将在移动体2搭载有四个拍摄部12(拍摄部12A～拍摄部12D)的方式作为一个例子进行说明。多个拍摄部12(拍摄部12A～拍摄部12D)拍摄各个拍摄区域E(拍摄区域E1～拍摄区域E4)的被拍摄体，获取拍摄图像。此外，这些多个拍摄部12的拍摄方向相互不同。具体而言，这些多个拍摄部12预先调整拍摄方向，使得至少一部分拍摄区域E相互不重复。
[0048]检测部14检测移动体2的周边的多个检测点的各个位置信息。换言之，检测部14检测检测区域F的检测点的各个位置信息。所谓的检测点表示现实空间中的由检测部14分别观测的各个点。例如，检测部14向检测部14的周围照射光，接受由反射点反射的反射光。该反射点相当于检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其中，具备变形部，所述变形部使用储存了移动体的周边的多个检测点的位置信息、和所述移动体的自身位置信息，将上述移动体的周边图像的投影面亦即基准投影面变形。2.根据权利要求1所述的图像处理装置，其中，所述位置信息包含分别储存了不同时刻的所述检测点的位置信息。3.根据权利要求2所述的图像处理装置，其中，所述图像处理装置具备：获取部，从检测部获取多个所述检测点的各个检测点的位置信息；检测点登记部，将与多个所述检测点的各个检测点的位置信息对应而获取到的各个位置信息登记到环境地图信息中；以及自身位置推定部，基于多个所述检测点的各个检测点的位置信息来推定所述自身位置信息，并登记到所述环境地图信息中，所述变形部基于所述环境地图信息，使所述基准投影面变形。4.根据权利要求3所述的图像处理装置，其中，具备修正部，所述修正部使用在该检测点的获取时刻之后的获取时刻获取到的对应的所述检测点的各个位置信息来修正登记在所述环境地图信息中的多个所述检测点的各个检测点的位置信息以及所述自身位置信息。5.根据权利要求1～4中任一项所述的图像处理装置，其中，所述变形部基于最接近所述移动体的所述检测点，使所述基准投影面的形状变形。6.根据权利要求5所述的图像处理装置，其中，所述变形部将所述基准投影面变形为经...

【专利技术属性】
技术研发人员：大桥和将，
申请(专利权)人：株式会社索思未来，
类型：发明
国别省市：