一种车身环视图像底部显示方法技术

本发明专利技术涉及一种车身环视图像底部显示方法，包括以下步骤：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。本发明专利技术的车身环视图像底部显示方法，通过获取车辆运动轨迹，进而获取车辆底部阴影的运动轨迹来得到车辆底部的历史图像，然后填充到当前帧图像中进行拼接融合，使得车身环视图像得以补全，保证了车辆底部能够实时显示。

A method of displaying the bottom of the body view image

The present invention relates to a method of displaying the bottom of a body vision image, including the following steps: S1, obtaining the vehicle's body vision image; S2, estimating the motion trajectory of the vehicle; S3, according to the track of the vehicle, estimates the motion tracks of the four vertices of the bottom missing map in the body of the vehicle; S4, root A historical image of the missing image of the bottom of the car is obtained according to the motion trajectory of the four vertices. S5, the historical image is filled into the current frame of the body looking image of the body to be spliced and fused. In this invention, the vehicle body view image bottom display method is used to obtain the motion track of the vehicle and get the motion track of the shadow of the vehicle bottom to get the historical image of the bottom of the vehicle, then fill the current frame image with the stitching and fusion, make the body view the image full, and ensure the vehicle bottom can be displayed in real time. Show.

【技术实现步骤摘要】
一种车身环视图像底部显示方法
本专利技术涉及车身环视图像领域，尤其涉及一种车身环视图像底部显示方法。
技术介绍
传统的车辆的全景影像显示系统，其拼接融合后的效果只能显示车身周围摄像头拍摄的可见范围，不能对车身底部进行显示，使得用户无法实时得到车身底部的环境信息。当前车辆全景环视系统主要采用4个摄像头分布于车身四周来采集车身图像，其具体实现原理为：将每个摄像头采集到的部分车身图像通过图像算法拼接成完整的车身周围图像后，和车身模型一起显示在用户屏幕上。然而在显示的时候，因为摄像头无法捕捉到车身模型底部区域的图像，导致车身模型底部出现无法显示的阴影区域，不仅显示效果差，也会影响驾驶人员在车辆行驶过程中对于位置的判断和路况的分析。
技术实现思路
本专利技术的目的在于解决上述技术问题，提供一种车身环视图像底部显示方法，使得车身环视图像中的底部阴影部分得以显示。为实现上述专利技术目的，本专利技术提供一种车身环视图像底部显示方法，所述方法包括：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。优选地，所述步骤S2包括：S21，检测所述车身环视图像中的角点；S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；S24，基于所述第一运动信息，对所述角点进行筛选；S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。优选地，所述步骤S21包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。优选地，所述步骤S21还包括：如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；如果所述特征点的得分值最大，则将所述特征点作为所述角点。优选地，所述步骤S23包括：通过所述车载传感器获取所述车辆的方向盘转角和车速信息；基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。优选地，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。优选地，步骤S24包括：S241，基于所述图像的移动量和转角设置预定值；S242，通过所述车辆运动模型估计所述角点在下一帧图像中的位置点；S243，确定所述跟踪点是否在以所述位置点为中心以所述预定值为半径的区域内；S244，如果所述跟踪点在所述区域内，则保留所述角点，否则删除所述角点。优选地，在步骤S24之后并且在步骤S25之前，还可以使用LK光流跟踪法对筛选后的角点进行筛选，包括：使用LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；使用LK光流后向跟踪算法，确定所述正向跟踪角点在所述上一帧中的后向跟踪角点；计算所述上一帧中所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。优选地，在步骤25中，使用RANSAC算法对筛选后的角点进行二次筛选，包括：从所述当前帧图像和所述上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。优选地，通过RANSAC算法得到的所述最佳矩阵模型为：通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(xc，yc)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离dx和沿竖直方向的运动距离dy：结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：优选地，步骤S26包括：分别根据所述第一运动信息和所述第二运动信息建立所述车辆的状态参数；设置卡尔曼滤波融合方程式的矩阵参数，将所述车辆的状态参数代入所述卡尔曼滤波融合方程式计算所述车辆的运动轨迹。优选地，重复所述步骤S1-S5直至车辆停止，并保存最后一张图像作为下次车辆启动前的历史图像。根据本专利技术的车身环视图像底部显示方法，通过获取车辆底部阴影的运动轨迹进而得到车辆底部的历史图像，然后填充到当前帧图像中进行拼接融合，使得车身环视图像得以补全，从而保证了车辆底部也能够实时地显示，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。此外，利用车载传感器获取的车辆运动信息得到车辆的移动距离和偏角并转换为图像的移动量和转角，然后通过对角点检测、筛选，筛选后得到最佳矩阵模型，通过最佳矩阵模型计算车辆的第二运动信息得到图像的运动信息，并最终将图像的移动量和转角与图像的运动信息进行融合，得到车辆的运动轨迹。相比于现有技术中单独使用车载传感器或图像光流法来估计车辆运动轨迹的方法而言，使得两种方法形成很好的互补，规避了各自方法的不足，使车辆不管在高速还是低速的情况下，都能以较高的精度对车辆的轨迹进行估计，即保证了对于车辆底部阴影图像运动轨迹估计的精确性，从而有利于保证获取的车辆底部历史图像的精确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是示意性表示根据本专利技术的车身环视图像底部显示方法的流程图；图2是示意性表示车辆的摄像装置的设置图；图3是示意性表示车身环视图像未补全时的示图；图4是示意性表示估计车辆运动轨迹方法的流程图；图5是示意性表示根据本专利技术的FAST角点检测方法检测角点的流程图；图6是示意性表示FAST角点检测方法的示图；图7(a)是示意性表示车辆双轨运动模型的示图；图7(b)是示意性表示车辆单轨运动模型的示图；图8是示意性表示本专利技术使用车辆单轨运动模型计算车辆的运动的示图；图9是示意性表示角点筛选方法的流程图；图10是示意性表示角点筛选方法的示图；图11示意性表示采用LK光流跟踪法对角点本文档来自技高网...

【技术保护点】
1.一种车身环视图像底部显示方法，其特征在于，所述方法包括以下步骤：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。

【技术特征摘要】
1.一种车身环视图像底部显示方法，其特征在于，所述方法包括以下步骤：S1，获取车辆的车身环视图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像填充到所述车身环视图像的当前帧中进行拼接融合。2.根据权利要求1所述的车身环视图像底部显示方法，其特征在于，所述步骤S2包括：S21，检测所述车身环视图像中的角点；S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；S24，基于所述第一运动信息，对所述角点进行筛选；S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。3.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，所述步骤S21包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。4.根据权利要求3所述的车身环视图像底部显示方法，其特征在于，所述步骤S21还包括：如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；如果所述特征点的得分值最大，则将所述特征点作为所述角点。5.根据权利要求2所述的车身环视图像底部显示方法，其特征在于，所述步骤S23包括：通过所述车载传感器获取所述车辆的方向盘转角和车速信息；基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。6.根据权利要求5所述的车身环视图像底部显示方法，其特征在于，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。7.根据权利要求6所述的车身环视图像底部显示方法，其特征在于，步骤S24包括：S241，基于所述图像的移动量和转角设置预定值；S242，通过所述车...

【专利技术属性】
技术研发人员：王艳明，王波，胡振程，
申请(专利权)人：维森软件技术上海有限公司，
类型：发明
国别省市：上海,31