AR-HUD光学投影系统及映射关系标定方法和畸变矫正方法技术方案

本发明专利技术提供一种AR‑HUD光学投影系统包括：HUD显示装置和显示控制器，显示控制器映射关系标定采用：标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，将映射平面坐标和显示内容在实际屏幕上的像素坐标拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为标定结果。本发明专利技术还公开了一种AR‑HUD光学投影系统映射关系标定方法和一种AR‑HUD光学投影系统畸变矫正方法。

AR-HUD optical projection system and mapping calibration method and distortion correction method

The present invention provides an AR HUD optical projection system, which includes: HUD display device and display controller. The mapping relationship of display controller is calibrated by using: calibration assistant device locates the bearing device and the human eye simulation device in space, human eye simulation device captures the display content of the projection virtual screen, and converts the display content pixel into three-dimensional coordinate one in the coordinate system of the human eye simulation device. Then the three-dimensional coordinates are transformed into three-dimensional coordinates in the coordinate system of the bearing equipment. The horizontal and vertical coordinates of the three-dimensional coordinates are taken as the mapping plane coordinates of the display content in the projection virtual screen. The mapping plane coordinates and the pixel coordinates of the display content on the actual screen are fitted and calculated to obtain the plane two-dimensional physics corresponding to the edge points of the actual screen image on the virtual projection screen. Coordinates, the planar two-dimensional coordinates on the virtual projection screen are calibrated in array form. The invention also discloses a calibration method for mapping relationship of an AR_HUD optical projection system and a distortion correction method of an AR_HUD optical projection system.

【技术实现步骤摘要】
AR-HUD光学投影系统及映射关系标定方法和畸变矫正方法
本专利技术涉及汽车领域，特别是涉及一种AR-HUD光学投影系统。本专利技术还涉及一种AR-HUD光学投影系统及映射关系标定方法和一种AR-HUD光学投影系统及映射关系畸变矫正方法。
技术介绍
为了实现人车新对话形式，汽车厂商开发出增强现实抬头显示系统(AR-HUD)。该增强现实抬头显示器通过内部特殊设计的光学系统将图像信息精确地结合于实际交通路况中,从而扩展了或者说增强了驾驶者对于实际驾驶环境的感知。因此,AR-HUD技术极有可能成为汽车人机界面(HMI)最具创新性的发展方向。AR-HUD光学系统能够在驾驶员的视野区域合理的叠加显示驾驶员辅助系统的状态以及这些信息的含义，比如GPS数据、地图资料和驾驶动态数据等。AR-HUD还可以结合高级驾驶员辅助系统(ADAS)包括：车道偏离警示系统(LDW)、自适应巡航控制系统(ACC)等结合使用。增强现实抬头显示系统需要利用光学的反射原理，在车辆行驶过程中，将影响车辆行驶的各种信息以图像、动画的方式，实时地通过挡风玻璃投影在驾驶员的正前方。由于车辆的挡风玻璃存在一定的曲率，会造成AR-HUD的投影图像发生畸变，投影图像发现畸变的主要原因是：不同规格的挡风玻璃的曲率也各不相同,挡风玻璃不同位置的曲率不规则，暂时无法通过规律性的方法解决畸变问题。
技术实现思路
本专利技术要解决的技术问题是提供一种能实现实际屏幕和虚拟投影屏幕映射关系准确标定并能对投影畸变进行矫正的AR-HUD光学投影系统。本专利技术还提供了一种能实现实际屏幕和虚拟投影屏幕映射关系准确标定的AR-HUD光学投影系统映射关系标定方法。本专利技术还提供了一种能对投影畸变进行矫正的AR-HUD光学投影系统的AR-HUD光学投影系统映射关系畸变矫正方法。为解决上述技术问题，本专利技术提供的AR-HUD光学投影系统包括：HUD显示装置和显示控制器，所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。进一步改进所述的AR-HUD光学投影系统，所述标定辅助设备是专业运动捕捉系统，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。进一步改进所述的AR-HUD光学投影系统，空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。进一步改进所述的AR-HUD光学投影系统，所述显示内容表现为点阵图像。进一步改进所述的AR-HUD光学投影系统，将三维坐标一进行纵向归一化后再转化为三维坐标二,纵向归一化：纵向坐标即Z轴坐标值为1。进一步改进所述的AR-HUD光学投影系统，将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。进一步改进所述的AR-HUD光学投影系统，所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。进一步改进所述的AR-HUD光学投影系统，所述显示控制器能执行光学投影畸变矫正，所述光学投影畸变矫正采用以下方式；获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。本专利技术提供一种AR-HUD光学投影系统映射关系标定方法，包括以下步骤：1)承载设备和人眼模拟设备进行空间定位；2)人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一；3)将三维坐标一转化为承载设备坐标系下三维坐标二；4)将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标；5)根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标；6)将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤1)时，利用专业运动捕捉系统进行空间定位，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，：所述显示内容表现为点阵图像。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤2)时，将三维坐标一进行纵向归一化后再转化为三维坐标二。纵向归一化：纵向坐标即Z轴坐标值为1。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤3)时，将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤2)时，所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。本专利技术提供一种利用上述任意一项所述标定结果的AR-HUD光学投影系统映射关系畸变矫正方法，包括：获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。本专利技术通过能通过确定空间位置和坐标系转换等技术手段提取实际屏幕与投影投影虚拟屏上的每个像素点之间的位置映射关系，能准确模拟人眼观察到的投影虚拟屏情况，实现准确的AR-HUD光学投影系统映射关系标定。当投影虚拟屏出现畸变，本专利技术在刷新画面时根据该映射关系进行反向畸变处理即可实现AR-HUD投影图像的畸变矫正，最大程度地消除投影图像的扭曲变形还原真实的成像效果。附图说明下面结合附图与具体实施方式对本专利技术作进一步详细的说明：图1是本专利技术畸变矫正方法流程示意图。图2是本专利技术畸变矫正方法点阵网格坐标系示意图。图3是本专利技术畸变矫正方法坐标转换示意图。附图标记说明A1～A3、B1～B3、C1～C3、D1～D3和P1～P3是点阵图像中像素点R是点阵图像行C是点阵图像列具体实施方式本专利技术提供本专利技术提供的AR-HUD光学投影系统包括：HUD显示装置和显示控制器，所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；利用标定辅助设备对承载设备和人眼模拟设备进行空间定位本文档来自技高网...

【技术保护点】
1.一种AR‑HUD光学投影系统包括,HUD显示装置和显示控制器，其特征在于：所述显示控制器采用以下方式进行所述AR‑HUD光学投影系统映射关系标定；利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。

【技术特征摘要】
1.一种AR-HUD光学投影系统包括,HUD显示装置和显示控制器，其特征在于：所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。2.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述标定辅助设备是专业运动捕捉系统，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。3.如权利要求2所述的AR-HUD光学投影系统，其特征在于：空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。4.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述显示内容表现为点阵图像。5.如权利要求1所述的AR-HUD光学投影系统，其特征在于：将三维坐标一进行纵向归一化后再转化为三维坐标二。6.如权利要求1所述的AR-HUD光学投影系统，其特征在于：将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。7.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。8.如权利要求1-7所述的AR-HUD光学投影系统，其特征在于：所述显示控制器能执行光学投影畸变矫正，所述光学投影畸变矫正采用以下方式；获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。9.一种AR-HUD光学投影系统映射关系标定方法，其特征在于，包括以下步骤：1)承载设备和人眼模拟设备进行空间定位；2)人眼模拟设...

【专利技术属性】
技术研发人员：张剑，朱宣丞，
申请(专利权)人：联创汽车电子有限公司，
类型：发明
国别省市：上海,31