俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序制造方法及图纸

俯瞰图像生成装置包括：摄像图像获取单元；图像变换单元；俯瞰图像合成单元；以及接缝设定单元。接缝设定单元在与摄像范围重复的两个摄像装置对应的两个俯瞰图像中，在重复的摄像范围内，将俯瞰图像中包含的相当于车辆的车辆图像周边的任意的位置设为端点，在从两个摄像装置向端点的两个辐射方向之间，将从端点在与车辆图像相反侧的任意方向上延长的线，作为连接所合成的两个俯瞰图像间的接缝来设定。

【技术实现步骤摘要】
【国外来华专利技术】俯瞰图像生成装置和俯瞰图像生成方法
本专利技术涉及将从多个摄像装置获取的摄像图像进行变换处理，并输出到显示装置的俯瞰图像生成装置、俯瞰图像生成方法、以及俯瞰图像生成程序。特别涉及消除在合成显示俯瞰图像时产生的接缝(seam)附近的被摄体的不自然的映入的俯瞰图像合成技术。
技术介绍
近年来，为了提高道路交通的安全性，装载摄像机(摄像装置)的车越来越多，以使驾驶员用在车内设置的车载监视器能够确认前方、后方、以及左右的死角。而且，提出了使用在车中装载的摄像机的驾驶辅助系统。在这种驾驶辅助系统中，进行将车辆的前方、后方、及左右分别用摄像机拍摄的视频，变换为从车辆上方垂直向下观察的图像(以下，也称为俯瞰图像)的视点变换处理。而且，将这些俯瞰图像(birds-eye-viewimage)进行合成，生成好像从车辆的正上方俯视周围的俯瞰图像。由此，驾驶员可以在1画面上连续地目视确认车辆周围。在通过将多个俯瞰图像彼此合成生成的合成俯瞰图像上，有时立体障碍物在图像接缝附近看不到。为了改善这种情况，考虑将2个俯瞰图像在接缝附近重合显示，但该情况下，有时双重看到1个立体障碍物。此外，还考虑了在接缝附近不重合显示2个俯瞰图像的情况，在该情况下，有时立体障碍物跨越接缝而间断不连续地看到。于是，即使实施上述改善对策，有时驾驶员也难以识别障碍物。对于这样的俯瞰图像的接缝附近的立体障碍物的视觉识别性下降，已知以下的技术。例如，已知在通过障碍物检测装置在接缝附近检测出立体障碍物的情况下，除了对路面水平(1evel)(第1基准高度)实施显示区域截取处理，还对于单个或多个不同的有限的基准高度实施显示区域截取处理，切换显示得到的多个俯瞰图像(例如，参照专利文献1)。此外，已知用车辆上装载的声波定位仪判断在与合成俯瞰图像的接缝部分对应的区域中是否存在障碍物，在该区域中存在障碍物的情况下，使成为合成俯瞰图像的接缝部分的位置改变(例如，参照专利文献2)。现有技术文献专利文献专利文献1：日本特开2010-200240号公报专利文献2：日本特开2007-41791号公报
技术实现思路
专利技术要解决的问题但是，在专利文献1的技术中，例如，如图19(A)所示，将从第1基准高度101得到的图19(C)的俯瞰图像和图19(B)那样从第2基准高度102得到的图19(D)的俯瞰图像切换显示。从映入在变换显示了该图19(A)、(B)的被摄体103的图19(C)、(D)的俯瞰图像中的各个被摄体104、105可知，对每次切换显示，可看到被摄体的映入位置相对于本车辆图像产生横移动、纵移动、斜移动等。即，被摄体和本车辆图像之间的位置关系、或相邻的俯瞰图像间的基准高度上的(基准高度中的)位置关系，对每次切换显示改变。由于该作用，深度考虑视觉识别合成俯瞰图像的驾驶员误识别相对本车辆的被摄体的位置，对驾驶造成的麻烦。连接本车辆和本车辆连接的地面之间的位置关系、相邻的俯瞰图像间的基准高度上的位置关系改变的情况，对于车辆终究不是本意。此外，在专利文献2的技术中，因障碍物的存在而使成为接缝部分的位置改变，但对于该位置没有特别地限制。因此，距基准高度具有高度的(距基准高度具有规定的高度)被摄体映入到接缝附近时，有可能间断不连续。那样的现象可使驾驶员感到极大的不舒服。有关这一点，使用附图说明。首先，说明俯瞰图像的特征。图20表示摄像装置201和地面202上设置的长方体203之间的位置关系。在从距地面具有某个高度的位置能够拍摄地面附近的状态下存在摄像装置201。在图21中，表示拍摄了图20的长方体203的摄像装置获取的摄像图像301。网格线303是在地面202上绘制的正方格子状的格眼。图22表示将图21的摄像图像301通过进行以地面为基准的投影的视点变换处理变换的俯瞰图像304。在图21中，网格线303被变换为以直线构成的网格线306。此外，长方体302和长方体305的各点分别是点A1和点A2、点B1和点B2、点C1和点C2、点D1和点D2、点E1和点E2、点F1和点F2、点G1和点G2、点H1和点H2对应。此时，如图23所示，在直线L1、L2、L3、L4上存在分别连结长方体305上的点A2和点B2的边、连结点C2和点D2的边、连结点E2和点F2的边、连结点G2和点H2的边，该4直线在位置307相交。在图23中，绘制了与图22相同的俯瞰图像304。对于俯瞰图像304中的基准高度上存在的被摄体的映入位置，该位置307是获取作为俯瞰图像304的生成基础的摄像图像301的摄像装置201在现实中存在的垂直线上的位置。因此，俯瞰图像304中垂直的被摄体从摄像装置201的位置被投影在辐射方向上，将这样的映入的状态表现为被摄体的‘倒落’，将该辐射方向表现为‘倒落方向’。再有，以后图中的俯瞰图像或车辆图像中所示的摄像装置的位置，与图23上绘制的摄像装置201的位置307是相同的意义。其次，图24(A)表示专利文献2的2台的摄像装置和由该摄像装置获取的图像生成的俯瞰图像中所包含的区域(俯瞰图像的显示区域)之间的关系。摄像装置401生成包含区域403和区域405的俯瞰图像。摄像装置402生成包含区域404和区域405的俯瞰图像。因此，区域405是由双方的摄像装置401、402的摄像图像的一部分重复生成俯瞰图像的一部分的部位。因此，假想在区域405内使用接缝将图像彼此连接在一起。例如图24(B)所示，如果配置以虚线408表示的接缝，在区域405中区域406侧显示由摄像装置401的图像生成的俯瞰图像的一部分，在区域407侧显示由摄像装置402的图像生成的俯瞰图像的一部分。这里，如专利文献2的技术，在假定了将变化的图像的接缝配置在以虚线408、虚线409、虚线410表示的位置的情况下，在地面上的点411的位置存在的长方体的映入方分别为图25(A)、(B)、(C)的长方体412。在以虚线408(参照图24(B))表示的位置配置的图25(A)和以虚线409(参照图24(B))表示的位置配置的图25(B)中，长方体412的显示仅在中途间断消失，能见度上无极大地改变。图25(A)和图25(B)的不同是，图25(B)的长方体412的一方，有时相当于接缝的配置部位的变化的间断消失的部分变大。相对于此，在用虚线410(参照图24(B))表示的位置配置了接缝的图25(C)中，当长方体412在区域406侧映入的同时，跨越接缝且在区域407侧中也以间断不连续的状态来映入。这样，例如，1个被摄体分离为2个，可看到被摄体存在2个那样的合成俯瞰图像，有可能对识别被摄体的状态和相对车辆的位置产生误解。如以上，在专利文献1中，本车辆和俯瞰图像之间、并且相邻的俯瞰图像间的基准高度上的位置关系有可能错开。此外，在专利文献2中，在长方体那样的垂直于地面的方向上延长的被摄体有可能跨越接缝而间断不连续地映入。本专利技术鉴于上述情况而完成，目的在于提供可高精度地识别合成俯瞰图像中被摄体的位置或形状的俯瞰图像生成装置、俯瞰图像生成方法、及俯瞰图像生成程序。解决问题的方案本专利技术的俯瞰图像生成装置包括：摄像图像获取单元，获取由车辆上所搭载的多个摄像装置摄像的摄像图像；图像变换单元，将由所述摄像图像获取单元获取的摄像图像通过视点变换处理变换为俯瞰图像；图像合成单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.09.30 JP 2011-2179541.俯瞰图像生成装置，包括：摄像图像获取单元，获取由车辆上所搭载的多个摄像装置摄像的摄像图像；图像变换单元，将由所述摄像图像获取单元获取的摄像图像通过视点变换处理变换为俯瞰图像；俯瞰图像合成单元，合成由所述图像变换单元变换后的多个俯瞰图像；以及接缝设定单元，在与摄像范围重复的两个摄像装置对应拍摄的两个俯瞰图像中，在所述重复的摄像范围内，将所述俯瞰图像中包含的相当于所述车辆的车辆图像周边的任意的位置设为端点，在从所述两个摄像装置向所述端点的两个辐射方向之间，将从所述端点向与所述车辆图像相反侧的任意方向上延长的线，作为连接通过所述俯瞰图像合成单元所合成的两个俯瞰图像间的接缝来设定，在所述两个俯瞰图像中，在所述车辆的驾驶员的视线方向和第1辐射方向形成的第1角度小于所述视线方向和第2辐射方向形成的第2角度的情况下，所述接缝设定单元沿从所述视线方向靠近所述第1辐射方向的方向设定所述接缝。2.如权利要求1所述的俯瞰图像生成装置，在所述两个俯瞰图像中，所述接缝设定单元沿所述两个辐射方向的其中一方设定所述接缝。3.如权利要求1所述的俯瞰图像生成装置，在所述两个俯瞰图像中，所述接缝设定单元将所述车辆图像的角部作为所述端点。4.如权利要求2所述的俯瞰图像生成装置，在所述两个俯瞰图像中，所述接缝设定单元将所述车辆图像的角部作为所述端点。5.如权利要求1至3的任何一项所述的俯瞰...

【专利技术属性】
技术研发人员：高桥幸司，一瀬忠夫，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：