基于人工智能的车载3D环视拼接方法及装置制造方法及图纸

本发明专利技术提供一种基于人工智能的车载3D环视拼接方法及装置，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。本发明专利技术可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。既提高了显示效果也节省了存储资源。既提高了显示效果也节省了存储资源。

【技术实现步骤摘要】
基于人工智能的车载3D环视拼接方法及装置


[0001]本专利技术涉及辅助驾驶
，尤其涉及一种基于人工智能的车载3D环视拼接方法及装置。

技术介绍

[0002]随着社会的发展，车辆数目增加，带来的交通事故也随之增加，事故的频繁发生，严重影响人们日常生活，甚至带来生命安全问题。因此，高级驾驶辅助系统应用而生，其中包括全景驾驶辅助系统，通过生成车辆周围的全景图像，可以有效辅助驾驶员判断车身周围环境，从而提高驾驶安全性。在此基础上，还用于为盲区监测、自动泊车、车道辅助和车距检测等提供数据。
[0003]在现有全景驾驶辅助系统中，全景图像生成一般是先对二维平面进行畸变矫正获得矫正图，再透视变换为俯视图，最后，俯视图与立体模型进行纹理映射，经过渲染得到全景图像。由于俯视视角下的视野范围有限，显示的车辆周围人物拉伸变形严重，导致现有3D环视的显示效果较差，并且生成畸变矫正图以及俯视图占用了一些存储资源。
[0004]因此，现在亟需一种基于人工智能的车载3D环视拼接方法及装置来解决上述问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种基于人工智能的车载3D环视拼接方法及装置。
[0006]本专利技术提供一种基于人工智能的车载3D环视拼接方法，包括：
[0007]对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
[0008]根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；r/>[0009]基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
[0010]根据本专利技术提供的一种基于人工智能的车载3D环视拼接方法，所述对车辆前后左右四路摄像头标定外参，包括：
[0011]计算摄像头位置的世界坐标系P
w
；
[0012]对世界坐标系P
w
做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。
[0013]根据本专利技术提供的一种基于人工智能的车载3D环视拼接方法，所述对于每一路摄像头建立一个对应的立体网格曲面，包括：
[0014]基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。
[0015]根据本专利技术提供的一种基于人工智能的车载3D环视拼接方法，所述融合算法处理的公式为：
[0016][0017]blend
r
＝1
‑
blend
l
；
[0018]其中，blend
l
表示重叠区域的左侧曲面，blend
r
表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angle
offset
表示预设的融合区域角度值。
[0019]根据本专利技术提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：
[0020]根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；
[0021]根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。
[0022]根据本专利技术提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，包括：
[0023]根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。
[0024]本专利技术还提供一种基于人工智能的车载3D环视拼接装置，包括：
[0025]标定模块，用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
[0026]映射模块，用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
[0027]视图模块，用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
[0028]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
[0029]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
[0030]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
[0031]本专利技术提供的基于人工智能的车载3D环视拼接方法及装置，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术提供的基于人工智能的车载3D环视拼接方法的流程示意图；
[0034]图2为本专利技术提供的3D曲面网格模型的示意图；
[0035]图3为本专利技术提供的2D到3D映射关系的示意图；
[0036]图4为本专利技术提供的3D观察视角的示意图；
[0037]图5为本专利技术提供的基于人工智能的车载3D环视拼接装置的结构示意图；
[0038]图6为本专利技术提供的电子设备的结构示意图。
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]图1为本专利技术提供的基于人工智能的车载3D环视拼接方法的流程示意图，如图1所示，本专利技术提供了一种基于人工智能的车载3D环视拼接方法，包括：
[0041]步骤101，对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的车载3D环视拼接方法，其特征在于，包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。2.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对车辆前后左右四路摄像头标定外参，包括：计算摄像头位置的世界坐标系P
w
；对世界坐标系P
w
做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。3.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对于每一路摄像头建立一个对应的立体网格曲面，包括：基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。4.根据权利要求3所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述融合算法处理的公式为：blend
r
＝1
‑
blend
l
；其中，blend
l
表示重叠区域的左侧曲面，blend
r
表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angle
offset
表示预设的融合区域角度值。5.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对每个立体网...

【专利技术属性】
技术研发人员：闫海龙，朱海荣，王其超，张炎高，胡仁伟，
申请(专利权)人：杭州鸿泉物联网技术股份有限公司，
类型：发明
国别省市：