一种车载环视实时3D全景图像的拼接方法及图形采集装置制造方法及图纸

本发明专利技术公开了一种车载环视实时3D全景图像的拼接方法及图形采集装置。能够解决传统方法中运动物体在拼接处产生的重影和鬼影的问题。本发明专利技术采用的一个技术方案是：提供一种车载环视实时3D全景图像的拼接方法，具体步骤如下：通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；对多个车载摄像头所采集的图像进行拼接；将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；输出所述3D全景图像。

【技术实现步骤摘要】
一种车载环视实时3D全景图像的拼接方法及图形采集装置
本专利技术涉及图像的拼接方法及图像采集装置，特别是涉及一种车载环视实时3D全景图像的拼接方法及图形采集装置。
技术介绍
最近几年，由于汽车行业的高速发展，越来越多的私家汽车成为了人们出行必不可少的交通工具，随着汽车安全技术的高速发展，以现代化的图像检测技术，雷达传感器技术，计算机技术，自动控制技术为核心的安全系统不断地提高特定的识别判断能力，并在各种复杂的情况下自动协助驾驶员安全行车，其中以多目摄像机系统为主的360全景驾驶辅助系统，通过视角的变换，能够让驾驶员更准确了解车辆周边的障碍物信息，避免在狭窄的城市道路行驶时由于盲区导致剐蹭和碰撞事故。
技术实现思路
本专利技术主要解决的技术问题是提供一种车载环视实时3D全景图像的拼接方法及图形采集装置，能够解决传统方法中运动物体在拼接处产生的重影和鬼影等的问题。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种车载环视实时3D全景图像的拼接方法，具体步骤如下：通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；对多个车载摄像头所采集的图像进行拼接；将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；输出所述3D全景图像。其中，车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。其中，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：通过车载摄像头拍摄标定布图案的图像；通过标定布图案对各车载摄像头的位姿进行标定；计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。其中，计算图像的特征点位置的步骤如下：通过FAST特征检测算法求取特征点；对求取的特征点数目进行筛选，对候选的哈里斯角点特征进行筛选；构建高斯图像金字塔筛选特征点，并实现特征的旋转；提取关键点，对候选的特征点计算描述子。其中，对多个车载摄像头所采集的图像进行拼接的步骤如下：多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；对运动图像帧中的重叠区域寻找最优分割；周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；将融合区域的特征点映射到3D模型坐标系下。其中，对运动图像帧中的重叠区域寻找最优分割的步骤如下：通过快速近邻匹配方法找到两张图像特征点的匹配关系；对图像进行能量梯度计算，并对能量梯度值进行累加计算；对重叠区域的图像像素进行遍历，优化求最大流最小割；记录最佳分割线的特征点坐标，并作特征点匹配、提纯和最大值抑制；对特征点进行最佳拼接图像映射计算。其中，形成连续时间序列的运行图像帧的步骤如下：通过同步时间模块给多个车载摄像头拍摄的图像打上时间戳；根据时间戳，将图像依照时间先后排序，进而形成连续时间序列的运行图像帧。其中，对图像进行能量梯度计算，并对能量梯度值进行累加计算的步骤如下：求取硬约束可以清晰定义满足软约束条件的梯度求解函数；·对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；计算能量累加图：·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))求取最小裁剪线。为解决上述技术问题，本专利技术还采用的一个技术方案是：提供一种车载环视实时3D全景图像的采集装置，包括多个车载摄像头、图像传输单元、同步时间模块、视频数据处理单元和视频输出单元；所述多个车载摄像头，用于采集车辆周围不同方位的图像；所述多个车载摄像头，分别安装于车辆的前方、后方、左侧和右侧，且每个车载摄像头的光轴与垂线的夹角为40°～50°；所述图像传输单元，用于传输图像；所述同步时间模块，用于图像打上时间戳；所述视频数据处理单元，用于对图像进行处理，构成3D全景图像；所述视频输出单元，用于输出3D全景图像。其中，视频数据处理单元包括摄像头校正模块、3D模型坐标系模块、图像拼接模块、3D全景图像模块；所述摄像头校正模块，用于校正多个车载摄像头；所述3D模型坐标系模块，用于建立3D模型坐标系；所述图像拼接模块，用于对多个车载摄像头所采集的图像进行拼接；所述3D全景图像模块，用于生成3D全景图像。以上方案中的一种车载环视实时3D全景图像的拼接方法及图形采集装置，可提供一种包括精准时序传输前视，后视，左视，右视四路高清鱼眼摄像头，可实时迭代修正图像拼接与融合的方法和装置，帮助泊车和城市拥堵路段行驶期间，辅助车辆驾驶员的装置；本专利技术相比传统的车载360环视的拼接和融合方式，能够有效地改善重叠区域的重影和鬼影现象。附图说明为了更清楚地说明本专利技术的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种车载环视实时3D全景图像的拼接方法一实施例的流程图；图2为一种车载环视实时3D全景图像的采集装置一实施例的结构示意图；图3为图2实施例中视频数据处理单元的结构示意图。具体实施方式除非另有定义，本文所使用的所有的技术和科学术语与属于本申请
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。下面结合附图和实施方式对本专利技术进行详细说明。请参阅图1，图1为一种车载环视实时3D全景图像的拼接方法一实施例的流程图。本实施例的一种车载环视实时3D全景图像的拼接方法，具体步骤如下：S101：通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载本文档来自技高网...

【技术保护点】
1.一种车载环视实时3D全景图像的拼接方法，其特征在于，具体步骤如下：/n通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；/n校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；/n对多个车载摄像头所采集的图像进行拼接；/n将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；/n输出所述3D全景图像。/n

【技术特征摘要】
1.一种车载环视实时3D全景图像的拼接方法，其特征在于，具体步骤如下：
通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；
校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；
对多个车载摄像头所采集的图像进行拼接；
将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；
输出所述3D全景图像。


2.根据权利要求1所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，
车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。


3.根据权利要求1或2所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：
通过车载摄像头拍摄标定布图案的图像；
通过标定布图案对各车载摄像头的位姿进行标定；
计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；
计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。


4.根据权利要求3所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，计算图像的特征点位置的步骤如下：
通过FAST特征检测算法求取特征点；
对求取的特征点数目进行筛选，对候选的哈里斯角点特征进行筛选；
构建高斯图像金字塔筛选特征点，并实现特征的旋转；
提取关键点，对候选的特征点计算描述子。


5.根据权利要求1、2或4所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对多个车载摄像头所采集的图像进行拼接的步骤如下：
多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；
对运动图像帧中的重叠区域寻找最优分割；
周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；
将融合区域的特征点映射到3D模型坐标系下。


6.根据权利要求5所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对运动图像帧中的重叠区域寻找最优分割的步...

【专利技术属性】
技术研发人员：高忠，
申请(专利权)人：深圳市航盛电子股份有限公司，
类型：发明
国别省市：广东;44