基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法技术

本发明专利技术公开了一种基于AR‑HUD动态眼位下计算虚像平面的畸变矫正方法。所述畸变矫正方法包括以下步骤：S1，定位车体，标定人眼模拟设备；S2，捕捉投影虚像图像；对其进行预处理，获取投影虚像图像特征点的像素坐标；建立投影虚像图像特征点与输出图像对应点的映射关系；S3，设置虚像曲面透视等效平面，获取特征点在虚像曲面透视等效平面的观测等效点的坐标；根据观测等效点的集合设置虚拟投影屏幕；S4，计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；S5，标定不同位置不同显示画面高度的虚拟投影屏幕各像素点与输出图像对应像素点的映射关系，得标定映射表；S6，根据映射表对输出图像进行预畸变处理。

【技术实现步骤摘要】
基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法
本专利技术涉及汽车仪表显示领域，具体涉及一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法。
技术介绍
驾驶员视线从前方转移到仪表盘，获取仪表信息后，重新回到前方视野大概需要4～7秒的时间。这段时间驾驶员就属于驾驶盲区，存在巨大的安全隐患。增强现实抬头显示器(AR-HUD)利用增强现实技术将车速、导航、驾驶辅助系统的状态、周边环境状况等信息合理地叠加显示在驾驶员的视野区域内，为驾驶员提供更加直观和逼真的信息，增强驾驶员的环境感知能力，减少驾驶员视线在路面与仪表盘之间转换时间，使驾驶员将注意力更多集中在路面信息上，提高驾驶安全。但由于HUD(抬头显示器)自身光学系统以及挡风玻璃曲率不一的原因，使得HUD投射到汽车挡风玻璃上的图像发生畸变，使驾驶员所观察到的HUD投影图像出现扭曲变形等问题。目前，对于HUD投影图像的畸变问题，大多仅对中心眼核位置进行畸变矫正，即采用固定眼位下的畸变矫正方法。但驾驶员眼部位置不同，HUD投影光线在挡风玻璃上的反光点(反光曲率)则会不同，使得驾驶员在不同视点下所看到虚像大小和畸变不同。因此，采用固定眼位下的畸变矫正方法，当驾驶员视点偏移标定视点时，驾驶员观察到的HUD投影图像仍会出现畸变，为此该方法难以满足用户的实际需求。除此之外，也有通过多眼位标定的方式来解决畸变矫正的问题的方法，即通过标定多个视点下的HUD投影图像的畸变参数，再通过瞳孔检测等技术确定当前驾驶员的眼位信息，从而匹配不同的畸变参数。但该方法大多将驾驶员的观察区域分为几个小区域，根据驾驶员的眼位信息进行参数匹配，当驾驶员眼位变化时HUD输出画面往往会出现跳变等问题，影响驾驶员的驾驶安全。而且上述两种方法均未考虑HUD高度变化等因素对HUD投影图像的畸变带来的影响。
技术实现思路
本专利技术的目的在于克服现有技术不能很好解决HUD投影图像畸变的不足，提供一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法。动态眼位下计算HUD虚像平面与矫正畸变的方法。根据驾驶员的眼位，实时计算HUD投影虚像平面的空间位置，和实际屏幕与虚拟投影屏幕的映射关系，矫正驾驶员从不同位置所看到HUD投影虚像的扭曲变形，还原真实的成像效果。为了实现上述专利技术目的，本专利技术提供了以下技术方案：一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，包括以下步骤：S1，定位车体，标定当前位置的人眼模拟设备；S2，使用人眼模拟设备捕捉根据HUD系统输出图像得到的投影虚像的图像，记作投影虚像图像；对投影虚像图像进行预处理，获取投影虚像图像特征点的像素坐标；建立HUD投影虚像图像特征点与输出图像的对应点的映射关系；S3，在投影虚像前设置一平面，所述平面记作虚像曲面透视等效平面，获取HUD投影虚像的各特征点在虚像曲面透视等效平面上的观测等效点的坐标；根据所有观测等效点的集合设置虚拟投影屏幕；S4，建立虚像曲面透视等效平面上的观测等效点与输出图像的对应点的映射关系，并利用插值算法计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；S5，调整人眼模拟设备位置和显示画面高度，重复步骤S1至S4，标定不同位置不同显示画面高度时的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成标定映射表；S6，根据映射表对HUD系统的输出图像进行预畸变处理。优选地，所述输出图像为规则图案成矩阵分布的点阵图像；矩阵分布的规则图案的中心是特征点。优选地，所述步骤S2通过以下步骤对捕捉的点阵图像对应的投影虚像图像进行预处理：S21，确定感兴趣区域，截取捕捉的投影虚像图像中的点阵区域；S22，图像灰度处理与平滑处理；S23，自适应二值化；S24，轮廓检测；S25，去除噪点；S26，计算点阵中轮廓的中心像素坐标；S27，建立HUD投影虚像图像的点阵与输出图像的点阵的映射关系。优选地，所述虚像曲面透视等效平面所在空间位置介于HUD投影在挡风玻璃的反光点与虚像成像景深之间，且不与车辆坐标系Y轴平行，所述车辆坐标系Y轴为车辆正前方。优选地，虚像曲面透视等效平面垂直于车辆坐标系的Y轴。优选地，所述步骤S4虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系的计算方式如下所示：根据点阵图像上的点阵，对虚拟投影屏幕进行三角剖分；虚拟投影屏幕中任意一点非特征点记作Q″i；根据虚像曲面透视等效平面获取Q″i点的三维坐标，表示为(x″i,y″i,z″i)；Q″i点邻近特征点为P″i1、P″i2和P″i3，三维坐标分布表示为(x″i1,y″i1,z″i1)、(x″i2,y″i2,z″i2)和(x″i3,y″i3,z″i3)，如式(1)所示，Q″i三维坐标由P″i1、P″i2和P″i3线性表示，其中：αi1、αi2和αi3分别表示邻近特征点P″i1、P″i2和P″i3对应的权重，表达方式如下所示：Q″i＝αi1P″i1+αi2P″i2+αi3P″i3输出图像中与虚拟投影屏幕中点Q″i对应的点为Qi(ui,vi)，与P″i1、P″i2和P″i3分别对应的3个特征点为Pi1(ui1,vi1)、Pi2(ui2,vi2)、Pi3(ui3,vi3)，则虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系如下所示：优选地，所述步骤S5根据HUD系统的EyeBox范围调整人眼模拟设备位置，并根据显示画面高度调节范围调整显示画面高度；所述步骤S5具体包括以下步骤：S51，对显示画面高度调节范围和EyeBox范围划分区间，分别设置多个显示画面高度档位和眼位；S52，设置显示画面高度档位，重复步骤S1至S4，标定当前显示画面高度档位时的各眼位的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成多眼位标定映射表；S53，调节更新显示画面高度档位，重复步骤S52，直至HUD系统的各显示画面高度档位的多眼位标定映射表获取完毕，形成多档位多眼位标定映射表。优选地，所述步骤S6包括以下步骤：S61，采集实时的眼位与显示画面高度档位，根据标定映射表与虚像平面表示获取实时畸变映射表与实时虚像平面表示；S62，根据实时畸变映射表对HUD系统的输出图像进行预畸变处理。与现有技术相比，本专利技术的有益效果：1、通过虚像曲面透视等效平面，对HUD投影虚像点阵精确定位，建立实际屏幕与虚拟投影屏幕的映射关系，通过预畸变处理解决HUD图像扭曲变形的问题；2、通过标定EyeBox范围内多个眼位下的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系，形成多眼位映射表，利用线性插值方法，可获取EyeBox范围内任一位置对应的HUD系统的虚像平面表示以及实际屏幕与虚拟投影屏幕像素间的映射关系。解决了不同驾驶员眼部位置不同，所看到的HUD系统的虚像畸变不同的问题，同时在眼位变化过程中，可以实时采集多个眼位，本文档来自技高网...

【技术保护点】
1.一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，包括以下步骤：/nS1，定位车体，标定当前位置的人眼模拟设备；/nS2，使用人眼模拟设备捕捉根据HUD系统输出图像得到的投影虚像的图像，记作投影虚像图像；对投影虚像图像进行预处理，获取投影虚像图像特征点的像素坐标；建立HUD投影虚像图像特征点与输出图像的对应点的映射关系；/nS3，在投影虚像前设置一平面，所述平面记作虚像曲面透视等效平面，获取HUD投影虚像的各特征点在虚像曲面透视等效平面上的观测等效点的坐标；根据所有观测等效点的集合设置虚拟投影屏幕；/nS4，建立虚像曲面透视等效平面上的观测等效点与输出图像的对应点的映射关系，并利用插值算法计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；/nS5，调整人眼模拟设备位置和显示画面高度，重复步骤S1至S4，标定不同位置不同显示画面高度时的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成标定映射表；/nS6，根据映射表对HUD系统的输出图像进行预畸变处理。/n

【技术特征摘要】
1.一种基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，包括以下步骤：
S1，定位车体，标定当前位置的人眼模拟设备；
S2，使用人眼模拟设备捕捉根据HUD系统输出图像得到的投影虚像的图像，记作投影虚像图像；对投影虚像图像进行预处理，获取投影虚像图像特征点的像素坐标；建立HUD投影虚像图像特征点与输出图像的对应点的映射关系；
S3，在投影虚像前设置一平面，所述平面记作虚像曲面透视等效平面，获取HUD投影虚像的各特征点在虚像曲面透视等效平面上的观测等效点的坐标；根据所有观测等效点的集合设置虚拟投影屏幕；
S4，建立虚像曲面透视等效平面上的观测等效点与输出图像的对应点的映射关系，并利用插值算法计算虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系；
S5，调整人眼模拟设备位置和显示画面高度，重复步骤S1至S4，标定不同位置不同显示画面高度时的虚拟投影屏幕各像素点与输出图像的对应像素点的映射关系，形成标定映射表；
S6，根据映射表对HUD系统的输出图像进行预畸变处理。


2.根据权利要求1所述的基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，所述输出图像为规则图案成矩阵分布的点阵图像；矩阵分布的规则图案的中心是特征点。


3.根据权利要求2所述的基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，所述步骤S2通过以下步骤对捕捉的点阵图像对应的投影虚像图像进行预处理：
S21，确定感兴趣区域，截取捕捉的投影虚像图像中的点阵区域；
S22，图像灰度处理与平滑处理；
S23，自适应二值化；
S24，轮廓检测；
S25，去除噪点；
S26，计算点阵中轮廓的中心像素坐标；
S27，建立HUD投影虚像图像的点阵与输出图像的点阵的映射关系。


4.根据权利要求2所述的基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，所述虚像曲面透视等效平面所在空间位置介于HUD投影在挡风玻璃的反光点与虚像成像景深之间，且不与车辆坐标系Y轴平行，所述车辆坐标系Y轴为车辆正前方。


5.根据权利要求4所述的基于AR-HUD动态眼位下计算虚像平面的畸变矫正方法，其特征在于，虚像曲面透视等效平面垂直于车辆坐标系的Y轴。


6.根据权利...

【专利技术属性】
技术研发人员：周中奎，李银国，罗啟飞，王强，李科，
申请(专利权)人：重庆利龙科技产业集团有限公司，
类型：发明
国别省市：重庆;50