一种车载环视图像的自动拼接方法及显示装置制造方法及图纸

本发明专利技术提供一种车载环视图像的自动拼接方法及装置，具体包括：将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵R，T；并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接。本发明专利技术创新的将图像拼接方法转换到虚拟的三维空间，通过标定出虚拟三维空间与图像之间的变换关系，从而将图像信息映射到虚拟三维空间去，这种方法可以将图像上每个像素都进行全局拼接，从而提高了拼接的精度。

An automatic splicing method and display device of vehicle look around image

【技术实现步骤摘要】
一种车载环视图像的自动拼接方法及显示装置
本专利技术涉及汽车领域，尤其涉及一种车载环视图像的自动拼接方法及显示装置。
技术介绍
随着汽车的普及，越来越多的汽车进入千家万户，人民生活消费水平的不断提高，汽车的数量也不断的增多，大家对车内电器的智能化要求越来越高，智能汽车中ADAS、车载360全景影像都成为高配车型的重要配置。车载3D环视系统利用安装在车辆四周的广角摄像头重构车辆以及周围场景，生成车载环视全景图像。驾驶员可以通过观察全景图像安全泊车、避开障碍物和消除视觉盲区，达到安全行车的目的。车载环视系统的概念由k.kato等人于2006年首先提出。之后，各种主动安全技术如行车线检测、停车位检测跟踪和辅助泊车、运动物体检测被应用在车载环视系统上。ByeongchaenJeon等人于2015年提出了高分辨率全景环视系统的解决方案。这些方案的特点都是使用多路相机来完成实际场景的建模，产生包括2D和伪3D的视觉效果。其中相机的个数根据实际车型来确定，一般家用轿车都是采用4路鱼眼相机来就行建模的，最终的目的就是将多路相机的图像统一到同一个视觉坐标系下，形成一个完整的视场供驾驶员来观察车辆周围的情况。传统的环视拼接方法是基于图像的单应矩阵完成图像的全局拼接，但是这种方法对拼接使用的棋盘格角度检测的精度要求比较高，而且棋盘格只占据视场的小部分，无法精确标定出整个视场，往往会出现拼接不上有缝隙的现象，影响用户的体验，甚至造成错误的显示图像。因此现有技术中仍然存在缺陷，需要提供一种解决该缺陷的技术方案。
技术实现思路
r>基于现有技术中存在的缺陷，本专利技术要解决的技术问题在于无缝全局高精度的环视图像拼接方法和显示装置。一种车载环视图像的自动拼接方法，包括：步骤S1，将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物；步骤S2，通过标定物中的特征点坐标与其对应的三维空间特征点的坐标，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵；所述相机安装于车身四周，用于采集车身四周的图像；步骤S3，并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接；所述步骤S2中的转化矩阵包括旋转矩阵R和平移矩阵T。一种车载环视图像的自动拼接方法，进一步地，所述标定物包括棋盘格。一种车载环视图像的自动拼接方法，进一步地，所述步骤S2中，标定物包括棋盘格；计算相机中的二维图像坐标转化到三维空间的坐标的转化矩阵具体包括：在环视显示区域的场地布置多个棋盘格，每个棋盘格都对应场地的一个具体三维空间位置；建立场地的三维坐标系C(X,Y,Z),根据棋盘格角点在坐标系C下的坐标，建立所有棋盘格角点的三维坐标；建立空间点的三维坐标转化到相机中二维坐标的映射关系。一种车载环视图像的自动拼接方法，进一步地，所述相机包括鱼眼相机；建立空间点的三维坐标转化到相机中二维坐标的映射关系包括：建立三维点到畸变矫正图像的映射关系，建立畸变矫正图像到鱼眼相机的映射关系；所述建立三维点到畸变矫正图像的映射关系包括：设空间一点P(x,y,z)，对应的在畸变矫正图像上的二维点关系式为：(u′,v′)＝f1(x,y,z)建立畸变矫正图像到鱼眼相机的映射关系包括：对应的鱼眼图像坐标点p(u′,v′)与畸变矫正后的图像点p(u，v)坐标关系式为：(u,v)＝f2(u′,v′)三维点到鱼眼图像二维坐标的映射关系为：(u,v)＝f2(f1(x,y,z))一种车载环视图像的自动拼接方法，进一步地，棋盘格中的特征点包括角点；棋盘格在需要环视显示的空间位置进行摆放的，在地面上建立虚拟三维空间并设定z轴为0，从而建立了棋盘格角点在虚拟三维空间中的各个角点对应的三维数据；棋盘格中的角点在相机中二维图像的像素坐标转化为虚拟三维空间中的各个角点对应的三维坐标的关系式如下：其中，(u，v)表示图像的二维坐标、(X，Y，Z)表示虚拟三维空间中的三维坐标，fu和fv分别表示相机在图像的横轴和纵轴上的基于像素的焦距，(Cx,Cy)表示图像的中心点坐标、R和T分别表示相机坐标到世界坐标的转换关系，即两个坐标系的旋转和平移向量、(X,Y,Z)表示物体在世界坐标系下的三维坐标，即前面设置的虚拟三维坐标平面，这里设置Z＝0，其中，Height和Width分别表示成像平面内图像的高度和宽度；dx,dy分别表示相机在横轴和纵轴的像元尺寸，f为相机的焦距。一种车载环视图像的自动拼接方法，进一步地，已知棋盘格上对应在虚拟三维空间的三维坐标为[Xi,Yi,0]，通过角点检测算法检测出来对应的二维坐标为[ui,vi]，则二维坐标[ui,vi]与虚拟三维空间的三维坐标[Xi,Yi,0]的关系如下：A＝MP，其中，设为已知的相机内参数；为待求转化矩阵，设A＝MP＝K[R，T]P＝KXP，其中X＝[R，T]为需要求解的未知变量；通过最小二乘法，在给定调整误差ε的条件下，求出满足最小化所有误差的平方和X,X的解即为转化矩阵R,T；计算公式如下：一种车载环视图像的自动拼接方法，进一步地，包括对鱼眼相机拍摄图像进行畸变矫正，所述的畸变矫正包括径向形变和切向形变；图像的畸变矫正包括建立多项式的畸变模型，基于多项式的拟合方式求出畸变模型的畸变系数。一种车载环视图像的自动拼接方法，进一步地，其中，在进行图像拼接的过程中，将相机采集到的图像统一到同一个虚拟的三维坐标系中。一种车载环视图像的显示装置，包括安装于车身四周的多个相机、中控主机，其中，车身四周的多个相机通过车载以太网网络与中控主机相连接；相机采集的图片经过在相机内部进行图片预处理后通过车载以太网网络传输中控主机进行图像处理从而完成环视拼接；环视拼接采用了上述的车载环视图像的自动拼接方法。一种车载环视图像的显示装置，进一步地，所述相机至少包括4个，其中，分别安装于车身的前、后、左、右的位置。有益效果：1.区别于传统的图像拼接标定方法，本专利技术创新的将图像拼接方法转换到虚拟的三维空间，通过标定出虚拟三维空间与图像之间的变换关系，从而将图像信息映射到虚拟三维空间去。改变传统的在二维图像上的基于单应矩阵的方式，这种方法可以将图像上每个像素都进行全局拼接，从而提高了拼接的精度。2.针对汽车的环视标定方法，采用4路相机，并将每个相机标定到同一个虚拟三维空间，每个相机的原始图像数据都可以在三维空间中间找到对应的映射关系。统一的坐标系能将4路相机拍摄的画面同时映射到一个虚拟的三维空间中间，从而完成汽车环视的标定。3.在进行拼接前，对图像进行畸变矫正，确保图像显示合理性，提高用户体验。附图说明以下附图仅对本专利技术做示意性说明和解本文档来自技高网...

【技术保护点】
1.一种车载环视图像的自动拼接方法，其特征在于，包括：/n步骤S1，将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物；/n步骤S2，通过标定物中的特征点坐标与其对应的三维空间特征点的坐标，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵；/n所述相机安装于车身四周，用于采集车身四周的图像；/n步骤S3，并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接；/n所述步骤S2中的转化矩阵包括旋转矩阵R和平移矩阵T。/n

【技术特征摘要】
20191202 CN 20191121731081.一种车载环视图像的自动拼接方法，其特征在于，包括：
步骤S1，将需要显示的环视区域虚拟成三维空间，并在需要显示环视区域的位置放置多个用于相机标定的标定物；
步骤S2，通过标定物中的特征点坐标与其对应的三维空间特征点的坐标，计算出相机中的二维图像坐标转化到三维空间的坐标的转化矩阵；
所述相机安装于车身四周，用于采集车身四周的图像；
步骤S3，并将用于环视显示的二维图像上的每个像素点通过转化矩阵转化到三维空间点中并获取二维像素点对应的三维空间的位置坐标，将相匹配的位置坐标进行融合从而完成图像的拼接；
所述步骤S2中的转化矩阵包括旋转矩阵R和平移矩阵T。


2.如权利要求1所述的一种车载环视图像的自动拼接方法，其特征在于，所述标定物包括棋盘格。


3.如权利要求1所述的一种车载环视图像的自动拼接方法，其特征在于，所述步骤S2中，标定物包括棋盘格；
计算相机中的二维图像坐标转化到三维空间的坐标的转化矩阵具体包括：
在环视显示区域的场地布置多个棋盘格，每个棋盘格都对应场地的一个具体三维空间位置；
建立场地的三维坐标系C(X,Y,Z)，根据棋盘格角点在坐标系C下的坐标，建立所有棋盘格角点的三维坐标；
建立空间点的三维坐标转化到相机中二维坐标的映射关系。


4.如权利要求3所述的一种车载环视图像的自动拼接方法，其特征在于，所述相机包括鱼眼相机；
建立空间点的三维坐标转化到相机中二维坐标的映射关系包括：
建立三维点到畸变矫正图像的映射关系，建立畸变矫正图像到鱼眼相机的映射关系；
所述建立三维点到畸变矫正图像的映射关系包括：设空间一点P(x,y,z)，对应的在畸变矫正图像上的二维点关系式为：
(u′,v′)＝f1(x,y,z)
建立畸变矫正图像到鱼眼相机的映射关系包括：对应的鱼眼图像坐标点p(u′,v′)与畸变矫正后的图像点p(u，v)坐标关系式为：
(u,v)＝f2(u′,v′)
三维点到鱼眼图像二维坐标的映射关系为：
(u,v)＝f2(f1(x,y,z))


5.如权利要求3所述的一种车载环视图像的自动拼接方法，其特征在于，棋盘格中的特征点包括角点；
棋盘格在需要环视显示的空间位置进行摆放的，在地面上建立虚拟三维空间并设定z轴为0，从而建立了棋盘格角点在虚拟三维空间...

【专利技术属性】
技术研发人员：肖文平，黄会明，石川，张航，
申请(专利权)人：上海赫千电子科技有限公司，
类型：发明
国别省市：上海;31