一种基于图像的头显设备的校准方法和系统技术方案

本申请涉及一种基于图像的头显设备的校准方法，其中，该方法包括：跟踪相机和标定相机拍摄靶标装置，分别获取第一图像和第二图像；根据第一图像、第二图像、跟踪相机内参和标定相机内参，计算标定相机相对跟踪相机的第一外参；虚拟靶标渲染单元基于第一图像确定跟踪相机的位姿，并基于位姿、第一图像和第一外参生成虚拟靶标并渲染至虚拟相机，虚拟相机拍摄虚拟靶标获取第三图像；头显设备在观察屏幕上成像虚拟靶标，标定相机拍摄观察屏幕上的虚拟靶标获取第四图像；根据所述标定相机内参、第一外参、第三图像和第四图像计算透视参数，基于透视参数校准所述头显设备。通过本申请，解决了头显设备校准方法效果较差的问题，提升了校准精度。准精度。准精度。

【技术实现步骤摘要】
一种基于图像的头显设备的校准方法和系统


[0001]本申请涉及头显设备校准领域，特别是涉及一种基于图像的头显设备的校准方法和系统。

技术介绍

[0002]目前增强现实(Argument Reality，AR)技术广泛应用在如医疗、工业、军事等领域。其中，光学透视(Opticial See
‑
Through，OST)头戴显示器(Head
‑
Mounted Display，HMD)作为AR技术的一种载体，承载着AR众多技术的同时，相比于其他载体(如移动手机)，能给用户提供了更好的沉浸感和体验感。
[0003]与视频透视(Video See
‑
Through，VST)不同，OST由于人眼参与整个成像过程，所以需要校准人眼和HMD光学结合的系统。
[0004]在相关技术中，中国专利CN1802586A提供的校准方法，通过把显示参考点投影到校准屏幕上，通过人工调整位置对准虚拟参考点和显示参考点的方式获取参考点对，并求取校准参数。这种方式由于依靠人工采集对应参考点，不仅不适用于批量操作，而且人工调整位置对齐参考点这种方式受制于操作人员的控制精度，导致最终得到的参考点坐标有较大的误差，误差会反映到最终的校准参数。
[0005]中国专利CN105320271A提供的校准方法有所简化，其跟踪相机和左右虚拟相机的外参通过同时观测一块棋盘格标定板获取，但是校准左右虚拟相机的内参仍然使用人工校准的方式。并且为了简化人工校准的复杂度，强制假设虚拟相机本身的旋转误差不大，从而只对平移向量和眼间距进行，但是实际上这个假设是不成立的，尤其对于OST校准精度要求较高的情况下，该旋转误差必须经过校准，否则投影的虚像和实际场景有较大偏差。
[0006]目前针对于头显设备校准方法校准效果较差的问题，尚未提出有效的解决方案。

技术实现思路

[0007]本申请实施例提供了一种基于图像的头显设备的校准方法、系统和计算机设备，以至少解决相关技术中头显设备校准方法效果较差的问题。
[0008]第一方面，本申请实施例提供了一种基于图像的头显设备的校准方法，所述方法包括：
[0009]跟踪相机和标定相机拍摄靶标装置，分别获取第一图像和第二图像；
[0010]参数计算单元根据所述第一图像、所述第二图像、跟踪相机内参和标定相机内参，计算所述标定相机相对所述跟踪相机的第一外参；
[0011]虚拟靶标渲染单元基于所述第一图像确定所述跟踪相机的位姿，并基于所述位姿、所述第一图像和所述第一外参生成虚拟靶标并渲染至虚拟相机，所述虚拟相机拍摄所述虚拟靶标获取第三图像；
[0012]所述头显设备在观察屏幕上成像所述虚拟靶标，所述标定相机拍摄所述观察屏幕上的虚拟靶标获取第四图像；
[0013]所述参数计算单元根据所述标定相机内参、所述第一外参、所述第三图像和所述第四图像计算透视参数，基于所述透视参数校准所述头显设备。
[0014]在其中一些实施例中，所述跟踪相机和标定相机拍摄所述靶标装置之前，所述方法还包括：
[0015]搭建基于靶标装置、头显设备、遮罩装置、人头相机模型和控制器的校准环境，其中，
[0016]所述标定相机设置在所述人头相机模型的眼部位置，所述头显设备和所述遮罩装置安装在所述人头相机模型上，所述头显设备和所述人头相机模型的视场包围所述靶标装置，所述控制器与所述靶标装置、所述遮罩装置、所述头显设备和所述人头相机模型通信连接。
[0017]在其中一些实施例中，所述遮罩装置包括遮光板、基板、电机和传动装置，其中，
[0018]在所述标定相机拍摄所述靶标装置获取第二图像时，所述控制器通过发送第一操作指令，指示将所述遮光板设定为未遮挡头显设备镜片的下降状态，以及指示所述头显设备关闭光机；
[0019]在所述标定相机拍摄所述观察屏幕上的虚拟靶标获取第四图像时，所述控制器通过发送第二操作指令，指示将所述遮光板设定为遮挡头显设备镜片的上升状态，以及指示所述头显设备开启光机。
[0020]在其中一些实施例中，所述虚拟靶标渲染单元基于所述第一图像确定所述跟踪相机的位姿，并根据所述位姿、所述第一图像和所述第一外参生成虚拟靶标包括：
[0021]虚拟靶标渲染单元获取所述第一图像，将所述第一图像输入标记跟踪库，通过所述标记跟踪库确定所述跟踪相机相对于世界坐标系的位姿；
[0022]根据所述位姿将所述第一图像中包含的标记信息从世界坐标系转换到跟踪相机坐标系；
[0023]根据所述第一外参将所述第一图像中包含的标记信息从所述跟踪相机坐标系转换到标定相机坐标系并计算变换矩阵；
[0024]所述虚拟标靶渲染根据所述标定相机坐标系下的标记信息和所述变换矩阵生成虚拟靶标，其中，所述虚拟标靶与所述靶标装置尺寸相同。
[0025]在其中一些实施例中，所述参数计算单元根据所述标定相机内参、所述第一外参、所述第三图像和所述第四图像计算透视参数包括：
[0026]根据所述第三图像和所述第四图像计算所述虚拟相机相对于所述标定相机的第二外参和虚拟相机内参；
[0027]根据所述第一外参、所述第二外参和所述虚拟相机内参计算所述跟踪相机相对于所述虚拟相机的第三外参；
[0028]将所述第三外参和虚拟相机内参集合，输出为所述透视参数。
[0029]在其中一些实施例中，所述基于所述透视参数校准所述头显设备包括：
[0030]所述虚拟靶标渲染单元接收所述透视参数，根据所述透视参数生成校正后的虚拟靶标并渲染至虚拟相机；
[0031]通过标定相机拍摄所述靶标装置获取第二图像，以及拍摄所述观察屏幕上校正后的虚拟靶标获取第四图像；
[0032]输入所述校正后的第二图像和第四图像至所述参数计算单元，所述参数计算单元输出所述透视参数的精度指标信息。
[0033]在其中一些实施例中，所述基于所述透视参数校准所述头显设备之后，所述方法还包括：
[0034]通过微调模块在所述头显设备的观察屏幕上对用户提供自定义参数调节界面；
[0035]接收用户在所述自定义参数调节界面上输入的交互信息，根据所述交互信息调整所述虚拟相机的轴角和视场角，在所述第二图像和所述第四图像重叠之后，所述微调模块获取当前轴角和视场角；
[0036]将当前的轴角、视场角和透视参数保存为高精度透视参数。
[0037]第二方面，本申请实施例提供了一种基于图像的头显设备的校准系统，所述系统包括：靶标装置、遮罩装置、人头相机模型、控制器和头显设备，其中，
[0038]所述头显设备和所述遮罩装置安装在所述人头相机模型上，所述头显设备和所述人头相机模型的视场范围包括所述靶标装置，所述控制器与所述靶标装置、所述遮罩装置、所述头显设备和所述人头相机模型通信连接；
[0039]所述头显设备用于通过跟踪相机拍摄所述靶标装置获取第一图像；
[0040]所述人头相机模型的眼部位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的头显设备的校准方法，其特征在于，所述方法包括：跟踪相机和标定相机拍摄靶标装置，分别获取第一图像和第二图像；参数计算单元根据所述第一图像、所述第二图像、跟踪相机内参和标定相机内参，计算所述标定相机相对所述跟踪相机的第一外参；虚拟靶标渲染单元基于所述第一图像确定所述跟踪相机的位姿，并基于所述位姿、所述第一图像和所述第一外参生成虚拟靶标并渲染至虚拟相机，所述虚拟相机拍摄所述虚拟靶标获取第三图像；所述头显设备在观察屏幕上成像所述虚拟靶标，所述标定相机拍摄所述观察屏幕上的虚拟靶标获取第四图像；所述参数计算单元根据所述标定相机内参、所述第一外参、所述第三图像和所述第四图像计算透视参数，基于所述透视参数校准所述头显设备。2.根据权利要求1所述的方法，其特征在于，所述跟踪相机和标定相机拍摄所述靶标装置之前，所述方法还包括：搭建基于靶标装置、头显设备、遮罩装置、人头相机模型和控制器的校准环境，其中，所述标定相机设置在所述人头相机模型的眼部位置，所述头显设备和所述遮罩装置安装在所述人头相机模型上，所述头显设备和所述人头相机模型的视场包围所述靶标装置，所述控制器与所述靶标装置、所述遮罩装置、所述头显设备和所述人头相机模型通信连接。3.根据权利要求2所述的方法，其特征在于，所述遮罩装置包括遮光板、基板、电机和传动装置，其中，在所述标定相机拍摄所述靶标装置获取第二图像时，所述控制器通过发送第一操作指令，指示将所述遮光板设定为未遮挡头显设备镜片的下降状态，以及指示所述头显设备关闭光机；在所述标定相机拍摄所述观察屏幕上的虚拟靶标获取第四图像时，所述控制器通过发送第二操作指令，指示将所述遮光板设定为遮挡头显设备镜片的上升状态，以及指示所述头显设备开启光机。4.根据权利要求1所述的方法，其特征在于，所述虚拟靶标渲染单元基于所述第一图像确定所述跟踪相机的位姿，并根据所述位姿、所述第一图像和所述第一外参生成虚拟靶标包括：虚拟靶标渲染单元获取所述第一图像，将所述第一图像输入标记跟踪库，通过所述标记跟踪库确定所述跟踪相机相对于世界坐标系的位姿；根据所述位姿将所述第一图像中包含的标记信息从世界坐标系转换到跟踪相机坐标系；根据所述第一外参将所述第一图像中包含的标记信息从所述跟踪相机坐标系转换到标定相机坐标系并计算变换矩阵；所述虚拟标靶渲染根据所述标定相机坐标系下的标记信息和所述变换矩阵生成虚拟靶标，其中，所述虚拟标靶与所述靶标装置尺寸相同。5.根据权利要求1所述的方法，其特征在于，所述参数计算单元根据所述标定相机内参、所述第一外参、所述第三图像和所述第四图像计算透视参数包括：根据所述第三图像和所述第四图像计算所述虚拟相机相对于所述标定相机的第二外
参和虚拟相机内参；根据所述第一外参、所述第二外参和所述虚拟相机内参计算所述跟踪相机相对于所述虚拟相机的第三外参；将所述第三外参和虚拟相机内参集合，输出为所述透视参数。...

【专利技术属性】
技术研发人员：步青，吴文斌，张高明，谷秀青，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：