一种基于图像融合的车端全景视角辅助驾驶系统技术方案

一种基于图像融合的车端全景视角辅助驾驶系统，包括：用于采集车身周围360

【技术实现步骤摘要】
一种基于图像融合的车端全景视角辅助驾驶系统


[0001]本专利技术涉及大型专用车辆安全驾驶领域，具体涉及到一种基于图像融合的车端全景视角辅助驾驶系统。

技术介绍

[0002]近年来随着我国城镇化建设进程的不断推进，城市道路上出现了越来越多的大型专用车辆，包括但不仅限于城市公交车、水泥罐车、渣土车等。大型专用车辆的出现，极大的方便了人们的日常生产和生活。但是这些大型专用车辆往往具有车身较长、车体较高的特点，使得这些车辆具有范围较广的视野盲区，在道路上行驶时特别是在转弯时会因为视野盲区较大而发生严重的交通事故，这为道路上其他车辆的行驶或者行人的行走带来了较大的安全隐患。目前，全国主要城市已经在推行大型专用车辆“右转必停”的政策，但因为大型专用车辆的视野盲区导致的交通事故一直在发生。因此，为了提高大型专用车辆的行驶安全性以及尽可能地降低其他道路车辆行驶或者行人行走的危险性，就需要减少甚至完全消除大型专用车辆在道路上行驶时存在的视野盲区。
[0003]为了实现上述目的，各类减少车辆行驶时的视野盲区的系统被研究、开发。其中，王禄杰等提出了一种汽车后视镜前装探头车载系统(王禄杰；马飞龙；石雕；等.汽车后视镜前装探头车载系统[P].中国专利：CN112776729A,2021
‑
05
‑
11.)，通过在车身安装车体异物检测组件来达到解决汽车视野盲区的问题，但是存在设计复杂、成本较高等局限性。叶胜娟等提出了一种消除汽车视野盲区的汽车影像装置(叶胜娟；王海峰；杨迎飞；等.一种消除汽车视野盲区的汽车影像装置[P].中国专利:CN213948279U,2021
‑
08
‑
13.)，通过在车辆上安装固定显示器，调整显示器固定角度来解决汽车的视野盲区问题，但是存在视野角度固定，需要手动调节显示器角度，不能完整显示车身周围环境信息的缺陷。

技术实现思路

[0004]为克服现有技术的上述问题，本专利技术提供了一种基于图像融合的车端全景视角辅助驾驶系统，旨在减少甚至完全消除大型专用车辆的视野盲区，从而来提高大型专用车辆的行驶安全性。
[0005]本专利技术的一种基于图像融合的车端全景视角辅助驾驶系统，包括图像采集设备、嵌入式图像处理设备和图像显示设备。
[0006]所述图像采集设备采用三个鱼眼相机来采集车身周围360
°
的道路环境，使用视频编码器将三路鱼眼相机的输出图像整合成一路模拟视频，并由视频采集卡将该路模拟视频转化为数字视频，通过线缆传输给嵌入式图像处理设备中的鱼眼图像处理模块进行图像处理；
[0007]所述嵌入式图像处理设备包括鱼眼图像处理模块；Web全景播放器；全景图像拼接器；
[0008]鱼眼图像处理模块，用来处理视频采集卡输出的原始鱼眼图像。原始的鱼眼相机
为了拍摄到更大的视场角，会导致图像周围的像素信息畸变严重，所以需要采用经纬度展开的方式将原始鱼眼图像矫正为环视图来提高最后全景拼接的效果。该方法主要通过对鱼眼图像中的像素坐标进行一系列的变化，将2D笛卡尔坐标系中的像素坐标变换到球形的笛卡尔坐标系中，最终将球形笛卡尔坐标系下的坐标转换为经纬度坐标，在此之后，基于经纬度坐标进行像素点的映射，以此来达到将鱼眼图像转换成环视图的目的。具体操作步骤如下：
[0009]1)获取到原始的鱼眼图像后，以三视角鱼眼成像的圆心和半径编写圆形的蒙版函数来截取出目标的图像区域，其中，截取后的图像区域的像素点的坐标范围如公式(1)所示：
[0010]x∈[0,cols
‑
1],y∈[0,rows
‑
1]ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0011]其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；
[0012]2)为了控制最终经过图像融合后的视频分辨率，需要控制步骤1)中输出图片的尺寸大小；
[0013]3)将截取后的图像区域的像素坐标点(x,y)从2D笛卡尔坐标系转换成标准坐标A(x
A
,y
A
)，转换关系如公式(2)所示：
[0014][0015]其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；
[0016]4)将标准坐标A(x
A
,y
A
)转换成球形的三维笛卡尔坐标P(x
p
,y
p
,z
p
)，转换公式如公式(3)、(4)所示：
[0017]P(p,φ,θ)
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018][0019]其中，P为球面上一点坐标与原点O之间的连线OP的径向距离，θ为OP与z轴之间的夹角，φ为OP在xOy平面的投影与x轴的夹角，r为球的半径，F为鱼眼相机的焦距，将球坐标系根据公式(5)转换为笛卡尔坐标系：
[0020]x
p
＝psinθcosφ,y
p
＝psinθsinφ,z
p
＝pcosθ
ꢀꢀꢀꢀꢀꢀ
(5)
[0021]5)将空间坐标系P转换成经纬度坐标，转换关系如公式(6)所示：
[0022][0023]其中，x
p
,y
p
,z
p
是P点的坐标，latitude是经度坐标，longitude是纬度坐标；
[0024]6)根据步骤5)中的经纬度坐标转换映射为展开图的像素坐标(x
o
,y
o
)，映射关系如公式(7)所示：
[0025][0026]其中，x0表示的是展开图中的像素横坐标，y0表示的是展开图中的像素纵坐标；
[0027]7)再完成像素点映射后，画面中会出现没有被像素点映射到的黑色空隙点，针对
这些黑色区域再利用cubic插值算法进行填补来达到输出图像完整的效果。
[0028]全景图像拼接器，用于将三个经过鱼眼图像处理模块处理后的鱼眼图像进行全景图像的拼接。为了保证拼接后视野的连贯性，需要将三个不同方向的鱼眼相机按照固定顺序进行编号，并且在后续的操作中始终保持顺序不变。在图像处理过程，用SIFT算法计算出每幅图像的特征点，将其作为尺度空间、缩放、旋转和仿射变换保持不变的图像局部不变描述算子。还需要寻找相邻图像间的匹配特征点，用RANSAC方法来进一步筛选出特征匹配点，从而通过寻找特征匹配点之间的映射关系计算出单应矩阵。最后根据计算得到的单应矩阵对图像进行透视变化，最后将透视变换后的图像进行拼接，实现车端全景图像拼接的功能。具体操作步骤如下：
[0029]1)在获取到经过鱼眼图像处理模块处理后的鱼眼图像，先对不同角度的图像依次进行固定编号，并保持后续图像编号的一致性；
[0030]2)用OpenCV自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像融合的车端全景视角辅助驾驶系统，其特征在于：包括：用于采集车身周围360
°
道路环境信息的图像采集模块，用来实时处理图像采集模块输出图像的嵌入式图像处理设备，以及用于显示车端全景图像的图像显示设备；所述图像采集设备采用三个鱼眼相机来采集车身周围360
°
的道路环境，使用视频编码器将三路鱼眼相机的输出图像整合成一路模拟视频，并由视频采集卡将该路模拟视频转化为数字视频，通过线缆传输给嵌入式图像处理设备中的鱼眼图像处理模块进行图像处理；所述嵌入式图像处理设备包括鱼眼图像处理模块；Web全景播放器；全景图像拼接器；鱼眼图像处理模块，处理视频采集卡输出的原始鱼眼图像；采用经纬度展开的方式将原始鱼眼图像矫正为环视图来提高最后全景拼接的效果：通过对鱼眼图像中的像素坐标进行一系列的变化，将2D笛卡尔坐标系中的像素坐标变换到球形的笛卡尔坐标系中，最终将球形笛卡尔坐标系下的坐标转换为经纬度坐标，在此之后，基于经纬度坐标进行像素点的映射，以此来达到将鱼眼图像转换成环视图，具体操作步骤如下：1)获取到原始的鱼眼图像后，以三视角鱼眼成像的圆心和半径编写圆形的蒙版函数来截取出目标的图像区域，其中，截取后的图像区域的像素点的坐标范围如公式(1)所示：x∈[0,cols
‑
1],y∈[0,rows
‑
1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；2)为了控制最终经过图像融合后的视频分辨率，需要控制步骤1)中输出图片的尺寸大小；3)将截取后的图像区域的像素坐标点(x,y)从2D笛卡尔坐标系转换成标准坐标A(x
A
,y
A
)，转换关系如公式(2)所示：其中，x，y分别是截取后图像的像素点坐标的横坐标与纵坐标，cols是原始鱼眼图像的横向宽度，rows是原始鱼眼图像的纵向宽度；4)将标准坐标A(x
A
,y
A
)转换成球形的三维笛卡尔坐标P(y
p
,y
p
,z
p
)，转换公式如公式(3)、(4)所示：P(p,φ,θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，P为球面上一点坐标与原点O之间的连线OP的径向距离，θ为OP与z轴之间的夹角，φ为OP在xOy平面的投影与x轴的夹角，r为球的半径，F为鱼眼相机的焦距，将球坐标系根据公式(5)转换为笛卡尔坐标系：x
p
＝psinθcosφ,y
p
＝psinθsinφ,z
p
＝pcosθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)5)将空间坐标系P转换成经纬度坐标，转换关系如公式(6)所示：其中，x
p
,y
p
,z
p
是P点的坐标，latitude是经度坐标，longitude是纬度坐标；6)根据步骤5)中的经纬度坐标转换映射为展开图的像...

【专利技术属性】
技术研发人员：仇翔，赵嘉楠，应皓哲，禹鑫燚，欧林林，魏岩，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：