一种基于双目摄像头的汽车透明A柱系统及实现方法技术方案

本发明专利技术公开一种基于双目摄像头的汽车透明A柱系统及实现方法，通过采用国际象棋盘图案标定板标定摄像头的内外参数以及显示屏的空间位置；利用已标定的双目摄像头采集外界环境图像，并传输到控制器进行图像立体匹配、视差图和深度图计算；通过点云处理方式，将外部环境进行三维场景重建；通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。本发明专利技术通过分析驾驶员视点，显示屏，摄像头三者在空间上的坐标转换关系，建立了从摄像头视域到驾驶员视域的转换关系，使得驾驶员所看到显示的图像能够与外界场景融合，达到让“A柱”虚拟透明化的效果。

【技术实现步骤摘要】
一种基于双目摄像头的汽车透明A柱系统及实现方法
本专利技术涉及汽车辅助
，特别涉及一种基于双目摄像头的汽车透明A柱系统及实现方法。
技术介绍
汽车的“A柱”盲区在每辆车上都存在，这个盲区的大小取决于车辆“A柱”的粗细。“A柱”的粗细是一个两难选择：“A柱”过细会导致车身强度不足，发生车祸时难以保护车厢内人员的安全；“A柱”太粗又会影响驾驶员视野。一般情况下，车辆“A柱”宽度约为8厘米，这个8厘米会形成一个约6度夹角的扇形盲区，且扇形盲区往外扩散，甚至能够挡住整个成年人的身体。驾驶员在并道、转弯时，视线容易受A柱的阻挡，从而造成事故。目前已经成熟的技术方案主要在汽车左右“A柱”外侧分别安装单目摄像头，通过标定显示屏遮挡面与摄像头图像面的交集，通过仿射变换将交集图像映射到“A柱”内部显示屏，从而达到“透明”的效果。但由于单目摄像头和驾驶员眼睛观看存在视觉的差异，从而会使得显示屏的图像与实景存在错误，景物存在近大远小偏差，导致驾驶员通过显示屏看到的景物与实景存在距离误差，即盲区内存在的景物无法准确显示到显示屏上，不能真正解决“A柱”盲区影响。
技术实现思路
针对现有技术中透明“A柱”显示屏显示内容与实景存在差异的问题，本专利技术提出种基于双目摄像头的汽车透明A柱系统及实现方法，在A柱外侧或者后视镜下方安装两个摄像头，并通过三维点云方式将盲区图像投射到A柱显示屏上，从而达到“透明A柱”的效果，同时根据驾驶员眼球变化情况实时更新盲区图像区域，时刻保证显示屏上的图像内容与真实景物完美锲合，消除“A柱”盲区影响，提高驾驶安全。为了实现上述目的，本专利技术提供以下技术方案：一种汽车驾驶舱虚拟透明A柱系统，包括控制器、显示屏、自动标定平台、标定辅助相机以及摄像装置；标定辅助相机，用于实时定位驾驶员眼睛的空间位置，并传输到控制器；摄像装置，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于摄像装置进行第一图像数据的采集。优选的，所述摄像装置包括2个双目摄像机，分别安装在汽车左右A柱外侧的后视镜下方。优选的，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。本专利技术还提供一种基于双目摄像头的汽车透明A柱实现方法，包括以下步骤：S1：采用国际象棋盘图案标定板标定摄像装置与标定辅助相机的内外参数以及显示屏的空间位置；S2：在驾驶员前方合适位置安装瞳孔采集相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(XE,YE,ZE)；S3：将双目摄像头采集的外界环境图像传输到控制器进行图像立体匹配，并提取采集到的双目图像的匹配特征点对，经过三角测距计算形成一系列空间点，构成空间点云集C{C1、C2、…、Cn}和点云纹理映射集F{(C1,T1),(C2,T2),…,(Cn,Tn)}，其中Tn代表空间点Cn对应的图像纹理坐标；S4:通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。优选的，所述“A柱”遮挡的部分的计算过程具体包括以下步骤：S5-1：获取驾驶员视点的空间坐标E(XE,YE,ZE)；S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程：经过标定得到的显示屏四个内角顶点空间坐标为(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)、(X4,Y4,Z4)，则显示屏所在的空间平面方程为：Ax+By+Cz+1＝0(1)公式(1)中，A、B、C表示空间平面方程系数；在四个内角顶点中任取三个点代入公式(1)，并写成矩阵形式则S5-3：计算任一空间点与驾驶员视点连线所对应交点的空间坐标：任一空间点P(Xp,Yp,Zp)驾驶员视点的空间坐标E(XE,YE,ZE)连线所在直线与显示屏所在的空间平面交于点Q(Xq,Yq,Zq)，根据直线的两点式方程，求得空间点P和视点E的直线方程联立公式(3)和公式(4)，计算得到交点Q的空间坐标：Δx＝XE-Xp，Δy＝YE-Yp，Δz＝ZE-ZpS5-4：将交点的空间坐标转换成显示屏的像素坐标：设显示屏的像素宽度为W，像素高度为H，显示屏显示平面的坐标原点在A点处，为显示平面的X方向，为显示平面的Y方向，Q点在显示平面上的点坐标为Q'(X'q,Y'q,0)，根据向量点积公式，可以求得将Q'点在显示平面上的坐标转换为显示屏的像素坐标Qs(Us,Vs)，运用比例关系可以求得联立公式(6)～(9)，可得其中|AB|2＝(X2-X1)+(Y2-Y1)+(Z2-Z1)|AD|2＝(X4-X1)+(Y4-Y1)+(Z4-Z1)；S5-5：将点云集C中的所有空间点，将其按拓扑学中的三角剖分算法将点云集C面元化为三角形面元集合T；S5-6：根据三角形面元集合T和空间点云集C的映射关系，将点云纹理映射集和对应的显示屏像素坐标集合组成对应的三角形面元映射集Fc2s，将点云纹理映射集中的空间点云按Fc2s中的映射关系显示到显示屏对应的面元区域，生成驾驶员视点下A柱”遮挡部分的图像。综上所述，由于采用了上述技术方案，与现有技术相比，本专利技术至少具有以下有益效果：1.通过分析驾驶员视点，显示屏，台架前方取景面三者在空间上的坐标转换关系，提出了视域的概念，建立了从摄像头视域到驾驶员视域的转换关系，使得驾驶员所看到显示的图像能够与外界场景融合，达到让“A柱”虚拟透明化的效果。2.本专利技术通过双目摄像头进行局部点云三角化重建方式对盲区区域进行视域转换，有效解决单摄像头方式存在的显示屏的图像与实景错位，景物存在近大远小等问题，提高驾驶安全。附图说明：图1为根据本专利技术示例性实施例的一种基于双目摄像头的汽车透明A柱系统示意图。图2为根据本专利技术示例性实施例的一种基于双目摄像头的汽车透明A柱实现方法流程示意图。具体实施方式下面结合实施例及具体实施方式对本专利技术作进一步的详细描述。但不应将此理解为本专利技术上述主题的范围仅限于以下的实施例，凡基于本
技术实现思路
所实现的技术均属于本专利技术的范围。在本专利技术的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。如图1本文档来自技高网...

【技术保护点】
1.一种汽车驾驶舱虚拟透明A柱系统，其特征在于，包括控制器、显示屏、自动标定平台、标定辅助相机以及摄像装置；/n标定辅助相机，用于实时定位驾驶员眼睛的空间位置，并传输到控制器；/n摄像装置，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；/n自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于摄像装置进行第一图像数据的采集。/n

【技术特征摘要】
1.一种汽车驾驶舱虚拟透明A柱系统，其特征在于，包括控制器、显示屏、自动标定平台、标定辅助相机以及摄像装置；
标定辅助相机，用于实时定位驾驶员眼睛的空间位置，并传输到控制器；
摄像装置，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；
自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于摄像装置进行第一图像数据的采集。


2.如权利要求1所述的一种汽车驾驶舱虚拟透明A柱系统，其特征在于，所述摄像装置包括2个双目摄像机，分别安装在汽车左右A柱外侧的后视镜下方。


3.如权利要求1所述的一种汽车驾驶舱虚拟透明A柱系统，其特征在于，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。


4.一种基于双目摄像头的汽车透明A柱实现方法，其特征在于，包括以下步骤：
S1：采用国际象棋盘图案标定板标定摄像装置与标定辅助相机的内外参数以及显示屏的空间位置；
S2：在驾驶员前方合适位置安装瞳孔采集相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(XE,YE,ZE)；
S3：将双目摄像头采集的外界环境图像传输到控制器进行图像立体匹配，并提取采集到的双目图像的匹配特征点对，经过三角测距计算形成一系列空间点，构成空间点云集C{C1、C2、…、Cn}和点云纹理映射集F{(C1,T1),(C2,T2),…,(Cn,Tn)}，其中Tn代表空间点Cn对应的图像纹理坐标；
S4：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。


5.如权利要求4所述的一种基于双目摄像头的汽车透明A柱实现方法，其特征在于，所述“A柱”遮挡的部分的计算过程具体包括以下步骤：
S5-1：获取驾驶员视点的空间坐标E(XE，YE，ZE)；
S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程：
经过标定得到的显示屏四个...

【专利技术属性】
技术研发人员：王强，周锋，周中奎，李银国，
申请(专利权)人：重庆利龙科技产业集团有限公司，
类型：发明
国别省市：重庆;50