一种HUD背光显示系统及方法技术方案

本发明专利技术公开了HUD背光显示系统及方法，通过将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，将HUD投影虚像进行图像预处理得到HUD图像，将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示，将图像信息显示在驾驶员前方视野内，减少车辆行驶时驾驶员低头查看仪表信息的时间，提升驾驶安全性。提升驾驶安全性。提升驾驶安全性。

【技术实现步骤摘要】
一种HUD背光显示系统及方法


[0001]本专利技术属于抬头显示
，尤其涉及一种HUD背光显示系统及方法。

技术介绍

[0002]在智能汽车技术中环境感知技术是不可或缺的，车辆环境感知技术使用各类传感器如雷达、视觉传感器和GPS等收集车辆周边环境信息，帮助驾驶员提前判断潜在的危险，使驾驶员聚焦当前驾驶行为，确保车辆行驶的安全性。由于车辆采用中控显示器与仪表盘等设备往往不能实时和准确的将环境感知信息传递给驾驶员，驾驶员正常行驶时将视线从前方行驶道路转移到仪表盘，获取仪表显示的有效信息后再转回到前方行驶道路上需要4～7秒的时间，这样使得驾驶行为存在着巨大的安全隐患。
[0003]目前，汽车内部通常带有通讯功能和娱乐系统，社交网络极大的增强了车辆的功能，丰富的信息增强了驾驶员的感官，提升了驾驶员情感体验，同时也让驾驶员产生了较大的认知负荷，复杂的信息会导致人的认知加工过程中，认知资源过载，从而使用户产生错误的决策和执行动作，影响主驾驶任务，如驾驶员在低头看屏幕上的娱乐信息或接打电话忽略了路况等，导致驾驶中的交通安全事故，因此，有必要提供一种在驾驶员视线区域内将驾驶信息与实际交通路况合理叠加、在扩展驾驶员对驾驶环境感知时减少或避免驾驶员低头查看仪表信息所带来的“视野盲区”来能有效提高驾驶安全的HUD显示系统。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种可以提高嵌入式环境下目标检测的实时型、增强驾驶环境信息和系统的稳定性与安全性的HUD背光显示系统及方法，来解决上述存在的技术问题，具体采用以下技术方案来实现。
[0005]第一方面，本专利技术提供了一种HUD背光显示系统，包括：
[0006]图像生成单元，用于将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，其中，HUD投影虚像包括虚像形状和位置；
[0007]图像预处理单元，用于将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化；
[0008]虚像测量单元，用于将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，其中，眼动范围为驾驶员自由移动不会影响虚像可视化效果的空间，眼动范围包括水平移动距离和竖直移动距离；
[0009]模型构建单元，用于根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示。
[0010]作为上述技术方案的进一步改进，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，包括：
[0011]先采用非线性拟合函数训练出能预测AR HUD虚拟投影屏幕顶点坐标的网络模型，再采用非线性拟合函数训练预测AR HUD投影虚像的预畸变映射表的网络模型，根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正，算法模型如下：
[0012]预设驾驶员眼位坐标为AR HUD虚拟等效平面上某点的坐标为P(x
i
，y
i，
z
i
)(i＝1,2...n)，该点在原输入图像的像素坐标为U
i，j
(u
i，j
，v
i，j
)(i＝1，2...n；j＝1，2...m)，则由虚像平面到原输入像平面的映射关系即虚像的预畸变变换表达式为其网络结构由输入层、若干个隐藏层和输出层构成，网络输入的表达式为网络模型的理想输出为网络模型的实际输出为
[0013]驾驶员的眼位是连续变化的，使用均方差来衡量网络损耗，网络误差函数为
[0014]建立多个眼位下原输入图像与HUD输出虚像的映射关系和眼位作为神经网络学习训练样本集，预设输入点阵图中有n个特征点作为原图像和当前眼位下虚拟投影屏幕中的对应畸变点集，选取m个眼位且每个眼位均能建立n个对应关系，形成神经网络输入输出样本集的表达式为
[0015]通过神经网络误差反向传播对上述网络模型进行离线迭代学习，使得误差E≤β值，得到网络权值系数W，采用学习率指数衰减动态调整学习率，调整表达式为L
r
＝L
r
*g
e
，其中g表示学习率调整倍数的底，e表示训练步数；
[0016]应用学习训练完成的神经网络进行动态眼位条件下由虚像平面上任一点向原输入像平面上一点的连续映射，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理。
[0017]作为上述技术方案的进一步改进，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理，包括：
[0018]若将虚像平面点P(x
i
，y0,z
i
)(i＝1，2...n)和眼位坐标)(i＝1，2...n)和眼位坐标输入到网络模型得到网络模型输出表达式为输入到网络模型得到网络模型输出表达式为将眼位三维坐标数据输入到AR HUD网络模型以确定HUD输入图像中的图像数据。
[0019]作为上述技术方案的进一步改进，根据神经网络的非线性拟合特性进行高维空间中的连续插值，还包括：
[0020]采用瞳孔检测算法对驾驶员眼位进行计算，根据眼位的不同生成不同的畸变映射表，瞳孔检测算法如下：
[0021]获取K个眼位下的畸变映射表，并将K个眼位视为标准眼位，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；
[0022]以规格化点阵图作为输入图像，分别获取规格化点阵图在K个眼位下的虚像，获得K个虚像，分别基于K个眼位空间坐标中各眼位空间坐标，获取输入图像中各特征点的空间坐标，获取输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集，K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
[0023]基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表，预设瞳孔检测算法获取到的驾驶员眼位坐标为E1(E
x
，E
y
，E
z
)，与驾驶员眼位邻近的三个凸组合标准眼位分别为和眼位E的表达式可表示为其中β1、β2和β3表示三个邻近凸组合标准眼位的权重，眼位E下虚拟投影屏幕中任意点q在输入图像中坐标的对应关系为其中(u，v)
T
表示眼位E下点q在输入图像中的坐标，(u1，v1)
T
、(u2，v2)
T
和(u3，v3)
T
表示q点在眼位E1、E2和E3下的坐标；...

【技术保护点】

【技术特征摘要】
1.一种HUD背光显示系统，其特征在于，包括：图像生成单元，用于将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，其中，HUD投影虚像包括虚像形状和位置；图像预处理单元，用于将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化；虚像测量单元，用于将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，其中，眼动范围为驾驶员自由移动不会影响虚像可视化效果的空间，眼动范围包括水平移动距离和竖直移动距离；模型构建单元，用于根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示。2.根据权利要求1所述的HUD背光显示系统，其特征在于，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，包括：先采用非线性拟合函数训练出能预测AR HUD虚拟投影屏幕顶点坐标的网络模型，再采用非线性拟合函数训练预测AR HUD投影虚像的预畸变映射表的网络模型，根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正，算法模型如下：预设驾驶员眼位坐标为AR HUD虚拟等效平面上某点的坐标为P(x
i
,y
i,
z
i
)(i＝1,2...n)，该点在原输入图像的像素坐标为U
i,j
(u
i,j
,v
i,j
)(i＝1,2...n；j＝1,2...m)，则由虚像平面到原输入像平面的映射关系即虚像的预畸变变换表达式为其网络结构由输入层、若干个隐藏层和输出层构成，网络输入的表达式为网络模型的理想输出为网络模型的实际输出为驾驶员的眼位是连续变化的，使用均方差来衡量网络损耗，网络误差函数为建立多个眼位下原输入图像与HUD输出虚像的映射关系和眼位作为神经网络学习训练样本集，预设输入点阵图中有n个特征点作为原图像和当前眼位下虚拟投影屏幕中的对应畸变点集，选取m个眼位且每个眼位均能建立n个对应关系，形成神经网络输入输出样本集的表达式为通过神经网络误差反向传播对上述网络模型进行离线迭代学习，使得误差E≤β值，得到网络权值系数W，采用学习率指数衰减动态调整学习率，调整表达式为L
r
＝L
r
*g
e
，其中g表示学习率调整倍数的底，e表示训练步数；
应用学习训练完成的神经网络进行动态眼位条件下由虚像平面上任一点向原输入像平面上一点的连续映射，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理。3.根据权利要求2所述的HUD背光显示系统，其特征在于，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理，包括：若将虚像平面点P(x
i
,y0,z
i
)(i＝1,2...n)和眼位坐标)(i＝1,2...n)和眼位坐标输入到网络模型得到网络模型输出表达式为输入到网络模型得到网络模型输出表达式为将眼位三维坐标数据输入到AR HUD网络模型以确定HUD输入图像中的图像数据。4.根据权利要求3所述的HUD背光显示系统，其特征在于，根据神经网络的非线性拟合特性进行高维空间中的连续插值，还包括：采用瞳孔检测算法对驾驶员眼位进行计算，根据眼位的不同生成不同的畸变映射表，瞳孔检测算法如下：获取K个眼位下的畸变映射表，并将K个眼位视为标准眼位，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；以规格化点阵图作为输入图像，分别获取规格化点阵图在K个眼位下的虚像，获得K个虚像，分别基于K个眼位空间坐标中各眼位空间坐标，获取输入图像中各特征点的空间坐标，获取输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集，K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表，预设瞳孔检测算法获取到的驾驶员眼位坐标为E1(E
x
,E
y
,E
z
)，与驾驶员眼位邻近的三个凸组合标准眼位分别为和眼位E的表达式可表示为其中β1、β2和β3表示三个邻近凸组合标准眼位的权重，眼位E下虚拟投影屏幕中任意点q在输入图像中坐标的对应关系为其中(u,v)
T
表示眼位E下点q在输入图像中的坐标，(u1,v1)
T
、(u2,v2)
T
和(u3,v3)
T
表示q点在眼位E1、E2和E3下的坐标；计算当前眼位下每个像素点对应输入图像的像素坐标，形成当前眼位下虚拟投影屏幕各像素点与原输入图像映射关系的映射表，并根据该映射表对图像进行处理以实现动态眼位在AR HUD图像的畸变矫正。5.根据权利要求3所述的HUD背光显示系统，其特征在于，动态眼位条件下AR HUD图像预畸变的多重线性插值算法包括：分别进行K个设定眼位中每个眼位的空间坐标测量，获取K个眼位空间坐标，所述眼位
为两眼中间位置，所述空间坐标为车辆坐标系下的坐标；以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像...

【专利技术属性】
技术研发人员：曹俊威，刘子平，冯超，
申请(专利权)人：深圳市瀚达美电子有限公司，
类型：发明
国别省市：