基于单目摄像头与距离传感器的透明A柱系统及实现方法技术方案

本发明专利技术公开基于单目摄像头与距离传感器的透明A柱系统及实现方法,包括S1：采用自动标定平台标定单目摄像头、瞳孔相机的参数、显示屏的空间位置和距离传感器的空间位置；S2：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并转换成单目摄像头采集的第一图像；S3：将单目摄像头采集的第一图像传输到控制器进行变换处理得到第二图像，并显示到显示屏上。本发明专利技术将单目摄像头采集的被“A柱”遮挡部分以及前景距离(深度)信息进行信息融合，确定空间平面的三维信息，进行三维场景重建，从而实现前景物体与显示的完美结合，克服了以往方法中的实景显示错位、大小不一等问题。大小不一等问题。大小不一等问题。

【技术实现步骤摘要】
基于单目摄像头与距离传感器的透明A柱系统及实现方法


[0001]本专利技术涉及汽车辅助
，特别涉及基于单目摄像头与距离传感器的透明A柱系统及实现方法。

技术介绍

[0002]汽车A柱是汽车驾驶舱中关系着行车安全的重要结构支撑部件，其结构和尺寸有着严格的规定。在车辆行进过程中，驾驶员的视线会不可避免地受到A柱的遮挡，形成视野盲区，从而威胁驾驶的安全性。
[0003]汽车的“A柱”盲区在每辆车上都存在，这个盲区的大小取决于车辆“A柱”的粗细。“A柱”的粗细是一个两难选择：“A柱”过细会导致车身强度不足，发生车祸时难以保护车厢内人员的安全；“A柱”太粗又会影响驾驶员视野。一般情况下，车辆“A柱”宽度约为8厘米，这个8厘米会形成一个约6度夹角的扇形盲区，且扇形盲区往外扩散，甚至能够挡住整个成年人的身体。驾驶员在并道、转弯时，视线容易受A柱的阻挡，从而造成事故。
[0004]目前已经成熟的技术方案主要在汽车左右“A柱”外侧分别安装单目摄像头，通过标定和计算得到显示屏遮挡区域与摄像头拍摄区域的交集，通过仿射变换将交集图像映射到“A柱”内部显示屏，从而达到“透明”的效果。但由于单目摄像头所能获得的只有二维平面信息(图像)，缺失的深度(距离)信息大多依赖于人为设定，导致实景映射的错乱，使得显示屏的图像与实景存在错位，显示屏中的景物大小与实景存在偏差，即盲区内存在的景物无法准确显示到显示屏上，不能真正解决“A柱”盲区影响。
[0005]透明A柱系统最关心的是“A柱”盲区内的前景目标，这些前景目标离车辆距离越近，对行车安全的威胁越大。确保前景目标在A柱透明屏内外的完美锲合，是解决“A柱”盲区影响的关键。

技术实现思路

[0006]针对现有技术中透明“A柱”显示屏显示内容与实景存在差异的问题，本专利技术提出基于单目摄像头与距离传感器的透明A柱系统及实现方法，将单目摄像头采集的第一图像以及前景距离(深度)信息进行信息融合，确定空间平面的三维信息，进行三维场景重建，从而实现前景物体与显示的完美结合，克服了以往方法中的实景显示错位、大小不一等问题。
[0007]为了实现上述目的，本专利技术提供以下技术方案：
[0008]基于单目摄像头与距离传感器的透明A柱系统，包括控制器、显示屏，还包括自动标定平台、瞳孔相机、距离传感器以及单目摄像头；
[0009]瞳孔相机，用于实时定位驾驶员眼睛的空间位置；
[0010]单目摄像头，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；
[0011]自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于单目摄像头进行第一图像数据的采集；
[0012]距离传感器，用于检测第一图像的距离。
[0013]优选的，所述单目摄像头的数量为两个，分别安装在汽车左右A柱外侧的后视镜下方。
[0014]优选的，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。
[0015]本专利技术还提供基于单目摄像头与距离传感器的透明A柱实现方法，包括以下步骤：
[0016]S1：采用自动标定平台标定单目摄像头、瞳孔相机的参数、显示屏的空间位置和距离传感器的空间位置；
[0017]S2：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并转换成单目摄像头采集的第一图像；
[0018]S3：将单目摄像头采集的第一图像传输到控制器进行单应性变换处理得到第二图像，并显示到显示屏上。
[0019]优选的，所述S1包括以下步骤：
[0020]利用标定辅助设备对车体自身定位，固定并测算好自动标定平台的空间坐标，将单目摄像头、瞳孔相机与自动标定平台进行联接，自动标定平台会移动平台上搭载的国际象棋盘图案标定板，单目摄像头、瞳孔相机会对标定板拍照，计算单目摄像头、瞳孔相机的参数，同时自动标定平台上搭载的辅助摄像机也会对A柱上的显示屏和国际象棋盘图案标定板拍照，计算出A柱显示屏的空间位置和姿态；自动标定平台上的辅助相机还会对距离传感器和国际象棋盘图案标定板拍照，从而计算出距离传感器的空间位置信息。
[0021]优选的，所述S2包括以下步骤：
[0022]S2
‑
1:在驾驶员前方安装瞳孔相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(X
E
,Y
E
,Z
E
)；
[0023]S2
‑
2:构建驾驶员视点与标定好的对应显示屏的四个内角顶点A(X1,Y1,Z1)、B(X2,Y2,Z2)、C(X3,Y3,Z3)、D(X4,Y4,Z4)构成的四条射线方程：
[0024]EA射线方程:
[0025]EB射线方程:
[0026]EC射线方程:
[0027]ED射线方程:
[0028]S2
‑
3：根据被“A柱”遮挡的部分和显示屏的距离L计算四条射线方程与被“A柱”遮挡的部分所在的空间平面相交的四个顶点A'(X
a
,Y
a
,Z
a
)、B'(X
b
,Y
b
,Z
b
)、C'(X
c
,Y
c
,Z
c
)、D'(X
d
,Y
d
,Z
d
)的空间坐标，从而构成视域投影平面；
[0029]S2
‑
4:构建投影模型，计算视域投影平面的四个顶点在对应的单目摄像头成像平面的像素坐标从而得到第一图像：
[0030]以视域投影平面顶点A'对应的点U
a
的像素坐标为例：
[0031]构建的投影模型为：
[0032][0033]公式(5)中，s代表在相机坐标系下映射点的空间深度信息，其实就是m3的模；u、v为视域投影平面顶点在单目摄像头图像成像平面上对应点Ua的像素坐标；K表示单目摄像头的内参矩阵，R和T分别是自动标定平台上的标定辅助相机坐标系到单目摄像头坐标系的旋转矩阵和平移矩阵，(X
a
,Y
a
,Z
a
)表示视域投影平面上对应顶点A
′
的三维坐标。m1、m2、m3共同构成M矩阵，M矩阵是三维空间点到二维成像平面的映射变换矩阵，通过像机标定得到，这个矩阵是三行四列，m1、m2和m3分别代表M矩阵的第一行、第二行和第三行；
[0034]为便于求出单目摄像头成像平面上的像素坐标，把投影模型经过转化，可得到单目摄像头图像成像平面上Ua的像素坐标：
[0035][0036]综上所述，由于采用了上述技术方案，与现有技术相比，本专利技术至少具有以下有益效果：
[0037]本专利技术提出了利用单目摄像头采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单目摄像头与距离传感器的透明A柱系统，包括控制器、显示屏，其特征在于，自动标定平台、瞳孔相机、距离传感器以及单目摄像头；瞳孔相机，用于实时定位驾驶员眼睛的空间位置；单目摄像头，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于单目摄像头进行第一图像数据的采集；距离传感器，用于检测第一图像的距离。2.如权利要求1所述的基于单目摄像头与距离传感器的透明A柱系统，其特征在于，所述单目摄像头的数量为两个，分别安装在汽车左右A柱外侧的后视镜下方。3.如权利要求1所述的基于单目摄像头与距离传感器的透明A柱系统，其特征在于，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。4.基于单目摄像头与距离传感器的透明A柱实现方法，其特征在于，包括以下步骤：S1：采用自动标定平台标定单目摄像头、瞳孔相机的参数、显示屏的空间位置和距离传感器的空间位置；S2：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并转换成单目摄像头采集的第一图像；S3：将单目摄像头采集的第一图像传输到控制器进行单应性变换处理得到第二图像，并显示到显示屏上。5.如权利要求4所述的基于单目摄像头与距离传感器的透明A柱实现方法，其特征在于，所述S1包括以下步骤：利用标定辅助设备对车体自身定位，固定并测算好自动标定平台的空间坐标，将单目摄像头、瞳孔相机与自动标定平台进行联接，自动标定平台会移动平台上搭载的国际象棋盘图案标定板，单目摄像头、瞳孔相机会对标定板拍照，计算单目摄像头、瞳孔相机的参数，同时自动标定平台上搭载的辅助摄像机也会对A柱上的显示屏和国际象棋盘图案标定板拍照，计算出A柱显示屏的空间位置和姿态；自动标定平台上的辅助相机还会对距离传感器和国际象棋盘图案标定板拍照，从而计算出距离传感器的空间位置信息。6.如权利要求4所述的基于单目摄像头与距离传感器的透明A柱实现方法，其特征在于，所述S2包括以下步骤：S2
‑
1:在驾驶员前方安装瞳孔相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(X

【专利技术属性】
技术研发人员：周锋，王强，周中奎，李银国，李科，
申请(专利权)人：重庆利龙科技产业集团有限公司，
类型：发明
国别省市：