一种汽车A柱盲区图像显示系统及方法技术方案

本发明专利技术公开了一种汽车A柱盲区图像显示系统及方法，该系统的多个相机及柔性显示屏安装在汽车两端的A柱上，中央处理器封装在汽车内部，无需改变汽车原有的硬件结构，安装更加简便，且系统工作更加稳定可靠。该方法基于头部姿态和人眼位置确定A柱盲区图像坐标范围，并从拍摄的外部图像中截取A柱盲区图像后，通过透视变换调整截取的A柱盲区图像，调整画面角度，以更接近外部实际的环境，该方法可以根据驾驶员头部姿态和人眼位置变化动态显示最终的A柱盲区图像，更加准确可靠。

【技术实现步骤摘要】
一种汽车A柱盲区图像显示系统及方法
本专利技术涉及图像处理及驾驶安全
，更具体的说是涉及一种汽车A柱盲区图像显示系统及方法。
技术介绍
汽车A柱是连接汽车前风挡玻璃和驾驶舱门的承重支柱，它保证了车身的结构安全，但又对行车视线造成了一定遮挡，尤其在驾驶员转弯或者换道过程中体现的更为明显。如图1所示，E位置表示人眼，A表示A柱遮挡形成的盲区范围，可以看出，A柱的存在会对驾驶员的左右视线各产生一定度数的盲区，影响驾驶安全，而现有的车辆设计又无法满足在承重安全的同时减少A柱的面积。因此出现了很多A柱盲区消除系统，通过实时显示A柱外的图像力求克服盲区对驾驶员带来的干扰。但是，现有的大部分A柱盲区消除系统，不能根据驾驶员的视线变化动态的显示盲区图像，只能单一的显示驾驶员在一个视角下A柱遮挡的盲区图像，且图像边界和外界实际画面存在一定角度，不能很好的展示驾驶过程中A柱外的实际环境。上述问题的存在使得现有的A柱盲区消除系统给驾驶员的体验效果并不理想，因而并未得到广泛应用。因此，如何提供一种可根据驾驶员视线变化和姿态变化动态显示、能够自动调整图像显示边界的汽车A柱盲区图像显示系统是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种汽车A柱盲区图像显示系统及方法，该系统根据驾驶员的头部姿态和人眼位置获取A柱盲区图像，并对获取到的A柱盲区图像进行透视变换调整画面角度，解决了现有的A柱盲区消除系统不能根据驾驶员的视线变化动态的显示盲区图像，图像边界和外界实际画面存在一定角度等问题。为了实现上述目的，本专利技术采用如下技术方案：一方面，本专利技术提供了一种汽车A柱盲区图像显示系统，该系统包括柔性显示屏、CCD相机、红外摄像头、超广角相机以及中央处理器，所述柔性显示屏分别安装于汽车内部两侧的A柱上，所述CCD相机和所述红外摄像头分别安装于所述柔性显示屏的上方，所述超广角相机分别安装于汽车外部两侧的A柱上，所述中央处理器封装于汽车内部，所述CCD相机、红外摄像头和超广角相机均与所述中央处理器电连接，所述中央处理器与所述柔性显示屏电连接；所述CCD相机或所述红外摄像头用于实时采集驾驶员的头部图像，所述超广角相机用于实时采集A柱外部的图像，所述中央处理器用于获取所述头部图像，提取头部图像中的头部姿态和人眼信息，并对所述头部姿态和人眼信息进行分析处理，得到当前姿态下A柱盲区的范围，并在A柱外部的图像中截取A柱盲区图像，经透视变换后得到最终的A柱盲区图像，所述柔性显示屏用于实时显示最终的A柱盲区图像。另一方面，本专利技术还提供了一种汽车A柱盲区图像显示方法，该方法包括：图像采集：实时采集驾驶员的头部图像，并采集同一时刻A柱外部的环境图像；姿态分析：对所述头部图像进行识别分析，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角，并确定人眼的三维坐标；模型训练：建立广义回归神经网络模型，将预先获得的头部姿态和人眼数据以及不同视角下对应的A柱盲区图像坐标作为样本数据对所述广义回归神经网络模型进行训练；范围确定：将所述A柱盲区与人眼的夹角以及所述人眼的三维坐标输入训练好的广义回归神经网络模型，得到当前视角下A柱盲区图像的坐标范围；图像获取：根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，并对截取得到的所述A柱盲区图像进行透视变换，得到最终的A柱盲区图像；图像输出：输出最终的A柱盲区图像，并进行实时显示。进一步地，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角的过程，具体包括：从所述头部图像中提取人眼信息，并捕捉头部姿态；根据所述人眼信息确定人眼在图像坐标系中的坐标，并将人眼在图像坐标系中的坐标进行转换，得到人眼在世界坐标系下的坐标；根据所述人眼信息感知人眼距离A柱的距离，并获取角膜反射参数；根据所述人眼在世界坐标系下的坐标、人眼距离A柱的距离以及角膜反射参数对捕获到的头部姿态进行识别，并确定当前头部姿态下A柱盲区与人眼的夹角。进一步地，将人眼在图像坐标系中的坐标进行转换，得到人眼在世界坐标系下的坐标的过程，使用的转换公式为：其中，(u,v,1)表示人眼在图像坐标系中的坐标，(xw,yw,zw)表示人眼在世界坐标系下的坐标；zc表示图像坐标系；α和β分别表示相机焦距在x坐标方向和y坐标方向所能容纳的实际像素个数；R为3×3的正交单位矩阵；T为三维的平移向量；(xm，ym)为相机光心在像素坐标系下的投影点位置；M1和M2分别表示相机的内外参矩阵。进一步地，确定人眼的三维坐标的过程，具体包括：对所述头部图像进行畸变校正；根据校正后的头部图像通过立体匹配算法计算人眼与两侧相机的视差；根据计算得到的视差以及相机参数信息计算得到人眼的三维坐标。进一步地，所述人眼的三维坐标(X，Y，Z)的计算公式为：Z＝D+F其中，(XL，YL)为驾驶员瞳孔中心在左图像的坐标；D为驾驶员眼睛距离相机光心之间的距离；F为焦距。进一步地，对截取得到的所述A柱盲区图像进行透视变换，透视变换公式为：其中，(u，v，1)为源目标点坐标，(x，y，z)为移动后的目标点坐标；将四个已知坐标代入透视变换公式，得到各个系数的计算结果，计算公式为：经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种汽车A柱盲区图像显示系统及方法，该系统的多个相机及柔性显示屏安装在汽车两端的A柱上，中央处理器封装在汽车内部，无需改变汽车原有的硬件结构，安装更加简便，且系统工作更加稳定可靠。该方法基于头部姿态和人眼位置确定A柱盲区图像坐标范围，并从拍摄的外部图像中截取A柱盲区图像后，通过透视变换调整截取的A柱盲区图像，调整画面角度，以更接近外部实际的环境，该方法可以根据驾驶员头部姿态和人眼位置变化动态显示最终的A柱盲区图像，更加准确可靠。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为单一姿态下未安装显示系统的车辆的A柱产生视障的示意图；图2附图为本专利技术提供的一种汽车A柱盲区图像显示系统的结构架构示意图；图3附图为本专利技术实施例中超广角相机的安装位置示意图；图4附图为本专利技术实施例中汽车一侧A柱内部结构示意图；图5附图为本专利技术提供的一种汽车A柱盲区图像显示方法的流程示意图；图6附图为本专利技术实施例中坐标变换的原理示意图；图7附图为本专利技术实施例中坐标变换的流程示意图；图8附图为本专利技术实施例中汽车内显示盲区图像状态的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实本文档来自技高网...

【技术保护点】
1.一种汽车A柱盲区图像显示系统，其特征在于，包括柔性显示屏、CCD相机、红外摄像头、超广角相机以及中央处理器，所述柔性显示屏分别安装于汽车内部两侧的A柱上，所述CCD相机和所述红外摄像头分别安装于所述柔性显示屏的上方，所述超广角相机分别安装于汽车外部两侧的A柱上，所述中央处理器封装于汽车内部，所述CCD相机、红外摄像头和超广角相机均与所述中央处理器电连接，所述中央处理器与所述柔性显示屏电连接；/n所述CCD相机或所述红外摄像头用于实时采集驾驶员的头部图像，所述超广角相机用于实时采集A柱外部的图像，所述中央处理器用于获取所述头部图像，提取头部图像中的头部姿态和人眼信息，并对所述头部姿态和人眼信息进行分析处理，得到当前姿态下A柱盲区的范围，并在A柱外部的图像中截取A柱盲区图像，经透视变换后得到最终的A柱盲区图像，所述柔性显示屏用于实时显示最终的A柱盲区图像。/n

【技术特征摘要】
1.一种汽车A柱盲区图像显示系统，其特征在于，包括柔性显示屏、CCD相机、红外摄像头、超广角相机以及中央处理器，所述柔性显示屏分别安装于汽车内部两侧的A柱上，所述CCD相机和所述红外摄像头分别安装于所述柔性显示屏的上方，所述超广角相机分别安装于汽车外部两侧的A柱上，所述中央处理器封装于汽车内部，所述CCD相机、红外摄像头和超广角相机均与所述中央处理器电连接，所述中央处理器与所述柔性显示屏电连接；
所述CCD相机或所述红外摄像头用于实时采集驾驶员的头部图像，所述超广角相机用于实时采集A柱外部的图像，所述中央处理器用于获取所述头部图像，提取头部图像中的头部姿态和人眼信息，并对所述头部姿态和人眼信息进行分析处理，得到当前姿态下A柱盲区的范围，并在A柱外部的图像中截取A柱盲区图像，经透视变换后得到最终的A柱盲区图像，所述柔性显示屏用于实时显示最终的A柱盲区图像。


2.一种汽车A柱盲区图像显示方法，其特征在于，包括：
图像采集：实时采集驾驶员的头部图像，并采集同一时刻A柱外部的环境图像；
姿态分析：对所述头部图像进行识别分析，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角，并确定人眼的三维坐标；
模型训练：建立广义回归神经网络模型，将预先获得的头部姿态和人眼数据以及不同视角下对应的A柱盲区图像坐标作为样本数据对所述广义回归神经网络模型进行训练；
范围确定：将所述A柱盲区与人眼的夹角以及所述人眼的三维坐标输入训练好的广义回归神经网络模型，得到当前视角下A柱盲区图像的坐标范围；
图像获取：根据所述A柱盲区图像的坐标范围从所述A柱外部的环境图像中截取对应的A柱盲区图像，并对截取得到的所述A柱盲区图像进行透视变换，得到最终的A柱盲区图像；
图像输出：输出最终的A柱盲区图像，并进行实时显示。


3.根据权利要求2所述的一种汽车A柱盲区图像显示方法，其特征在于，获取驾驶员的头部姿态以及当前姿态下A柱盲区与人眼的夹角的过程，具体包括：
从所述头部图像中提取人眼信息，并捕捉头部姿态；
根据...

【专利技术属性】
技术研发人员：李天军，魏会奇，张丽，张庆，段元芳，刘翔，
申请(专利权)人：杭州视为科技有限公司，
类型：发明
国别省市：浙江;33