标定方法、装置、混合现实设备、系统、存储介质和产品制造方法及图纸

本申请涉及一种标定方法、装置、混合现实设备、存储介质和程序产品。应用于混合现实设备，混合现实设备包括单目相机；该方法包括：获取混合现实设备上与靶标上的各靶标点对应的目标成像点；基于各靶标点与各靶标点对应的目标成像点，生成多组目标点对，将多组目标点对输入预设标定算法中进行标定，得到眼球的目标外参矩阵；在多组目标点均对齐的情况下，根据各靶标点在靶标上的实际位置信息及各靶标点在单目相机所拍摄的对齐后的目标靶标图像中的目标位置信息，确定单目相机的目标外参矩阵；根据单目相机的目标外参矩阵及眼球的目标外参矩阵，生成得到单目相机与眼球之间的目标变换矩阵。仅采用单目相机来实现设备标定，标定成本大大降低。定成本大大降低。定成本大大降低。

【技术实现步骤摘要】
标定方法、装置、混合现实设备、系统、存储介质和产品


[0001]本申请涉及混合现实
，特别是涉及一种标定方法、装置、混合现实设备、系统、存储介质和产品。

技术介绍

[0002]混合现实(Mixed Reality，MR)技术通常用来实现物理空间与虚拟对象的深度融合。
[0003]目前，应用混合现实技术所实现的混合现实设备，采用了成本较高的辅助设备，如红外眼动仪、RGB
‑
D相机、深度相机等；且此类混合现实设备的系统设计较为复杂，如采用了视觉惯导融合、双目视觉定位等复杂算法。而对于无眼动仪的混合现实设备来说，为了提高混合现实设备的显示效果，通常需要对该混合现实设备进行标定以达到较高的显示效果。
[0004]但是，传统的标定方法，标定操作较为繁琐，且成本较高。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够降低混合现实设备成本、简化标定流程的标定方法、装置、混合现实设备、系统、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种标定方法。应用于混合现实设备，混合现实设备包括单目相机；该方法包括：
[0007]获取混合现实设备上与靶标上的各靶标点对应的目标成像点；基于各靶标点与各靶标点对应的目标成像点，生成多组目标点对，将多组目标点对输入预设标定算法中进行标定，得到眼球的目标外参矩阵；眼球的目标外参矩阵用于表征眼球到靶标的变换矩阵；
[0008]在多组目标点对均对齐的情况下，根据各靶标点在靶标上的实际位置信息及各靶标点在单目相机所拍摄的对齐后的目标靶标图像中的目标位置信息，确定单目相机的目标外参矩阵；单目相机的目标外参矩阵用于表征单目相机到靶标的变换矩阵；
[0009]根据单目相机的目标外参矩阵及眼球的目标外参矩阵，得到单目相机与眼球之间的目标变换矩阵。
[0010]在其中一个实施例中，获取混合现实设备上与靶标上的各靶标点对应的目标成像点，包括：
[0011]获取眼球的初始内参矩阵、单目相机的初始外参矩阵及单目相机与眼球之间的初始变换矩阵；单目相机的初始外参矩阵为基于单目相机所拍摄的对齐前的初始靶标图像确定的；
[0012]基于眼球的初始内参矩阵、单目相机的初始外参矩阵及单目相机与眼球之间的初始变换矩阵，对靶标上的各靶标点进行坐标转换，生成混合现实设备上与各靶标点对应的目标成像点。
[0013]在其中一个实施例中，获取眼球的初始内参矩阵、单目相机的初始外参矩阵及单目相机与眼球之间的初始变换矩阵，包括：
[0014]获取混合现实设备的镜片分辨率、像素大小、预设瞳距及预设出瞳距离；根据混合现实设备的镜片分辨率、像素大小、预设瞳距及预设出瞳距离，确定眼球的初始内参矩阵；
[0015]控制单目相机对靶标进行拍摄得到初始靶标图像，确定各靶标点在初始靶标图像中的初始位置信息；根据各靶标点在初始靶标图像中的初始位置信息、各靶标点的实际位置信息及单目相机的内参矩阵，生成单目相机的初始外参矩阵；
[0016]获取单目相机到眼球的预设相对位置关系；基于预设相对位置关系，确定单目相机与眼球之间的初始变换矩阵。
[0017]在其中一个实施例中，将多组目标点对输入预设标定算法中进行标定，生成眼球的目标外参矩阵，包括：
[0018]将多组目标点对输入预设标定算法中生成标定方程组，求解标定方程组，得到透视变换矩阵；透视变换矩阵由眼球的目标内参矩阵和眼球的目标外参矩阵组成；
[0019]对透视变换矩阵进行分解，生成眼球的目标内参矩阵和眼球的目标外参矩阵。
[0020]在其中一个实施例中，该方法还包括：
[0021]控制单目相机获取靶标的实时靶标图像；
[0022]根据各靶标点在靶标上的实际位置信息及各靶标点在实时靶标图像中的实时位置信息，生成单目相机的实时外参矩阵。
[0023]在其中一个实施例中，该方法还包括：
[0024]获取虚拟物体的投影变换矩阵；
[0025]根据虚拟物体的投影变换矩阵、眼球的目标内参矩阵、及单目相机与眼球之间的目标变换矩阵，对虚拟物体的位置信息进行坐标转换，确定虚拟物体在混合现实设备上的位置信息；
[0026]基于虚拟物体在混合现实设备上的位置信息，在混合现实设备上对虚拟物体进行成像。
[0027]在其中一个实施例中，若虚拟物体的投影变换矩阵为虚拟物体与靶标之间的变换矩阵，则根据虚拟物体的投影变换矩阵、眼球的目标内参矩阵、及单目相机与眼球之间的目标变换矩阵，对虚拟物体的位置信息进行坐标转换，确定虚拟物体在混合现实设备上的位置信息，包括：
[0028]根据虚拟物体与靶标之间的变换矩阵、眼球的目标内参矩阵、单目相机与眼球之间的目标变换矩阵、及单目相机的实时外参矩阵，对虚拟物体的位置信息进行坐标转换，确定虚拟物体在混合现实设备上的位置信息。
[0029]在其中一个实施例中，若虚拟物体的投影变换矩阵为虚拟物体与单目相机之间的变换矩阵，则根据虚拟物体的投影变换矩阵、眼球的目标内参矩阵、及单目相机与眼球之间的目标变换矩阵，对虚拟物体的位置信息进行坐标转换，确定虚拟物体在混合现实设备上的位置信息，包括：
[0030]根据虚拟物体与单目相机之间的变换矩阵、眼球的目标内参矩阵、及单目相机与眼球之间的目标变换矩阵，对虚拟物体的位置信息进行坐标转换，确定虚拟物体在混合现实设备上的位置信息。
[0031]在其中一个实施例中，根据各靶标点在靶标上的实际位置信息及各靶标点在单目相机所拍摄的对齐后的目标靶标图像中的目标位置信息，生成单目相机的目标外参矩阵，
包括：
[0032]在各靶标点与各靶标点对应的目标成像点对均对齐的情况下，控制单目相机对靶标进行拍摄得到目标靶标图像；
[0033]获取目标靶标图像中的各靶标点在目标靶标图像中的目标位置信息；
[0034]根据各靶标点在目标靶标图像中的目标位置信息、各靶标点在靶标上的实际位置信息及单目相机的内参矩阵，生成单目相机的目标外参矩阵。
[0035]第二方面，本申请还提供了一种标定装置。应用于混合现实设备，混合现实设备包括单目相机；该装置包括：
[0036]第一生成模块，用于获取混合现实设备上与靶标上的各靶标点对应的目标成像点；基于各靶标点与各靶标点对应的目标成像点，生成多组目标点对，将多组目标点对输入预设标定算法中进行标定，得到眼球的目标外参矩阵；眼球的目标外参矩阵用于表征眼球到靶标的变换矩阵；
[0037]第二生成模块，用于在多组目标点对均对齐的情况下，根据各靶标点在靶标上的实际位置信息及各靶标点在单目相机所拍摄的对齐后的目标靶标图像中的目标位置信息，确定单目相机的目标外参矩阵；单目相机的目标外参矩阵用于表征单目相机到靶标的变换矩阵；
[0038]第三生成模块，用于根据单目相机的目标外参矩阵及眼球的目标外参矩阵，生成单目相机与眼球之间的目标变换矩阵。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标定方法，其特征在于，应用于混合现实设备，所述混合现实设备包括单目相机；所述方法包括：获取所述混合现实设备上与靶标上的各靶标点对应的目标成像点；基于各所述靶标点与各所述靶标点对应的目标成像点，生成多组目标点对，将所述多组目标点对输入预设标定算法中进行标定，得到眼球的目标外参矩阵；所述眼球的目标外参矩阵用于表征所述眼球到所述靶标的变换矩阵；在所述多组目标点对均对齐的情况下，根据各所述靶标点在所述靶标上的实际位置信息及各所述靶标点在所述单目相机所拍摄的对齐后的目标靶标图像中的目标位置信息，确定所述单目相机的目标外参矩阵；所述单目相机的目标外参矩阵用于表征所述单目相机到所述靶标的变换矩阵；根据所述单目相机的目标外参矩阵及所述眼球的目标外参矩阵，得到所述单目相机与所述眼球之间的目标变换矩阵。2.根据权利要求1所述的方法，其特征在于，所述获取所述混合现实设备上与靶标上的各靶标点对应的目标成像点，包括：获取所述眼球的初始内参矩阵、所述单目相机的初始外参矩阵及所述单目相机与所述眼球之间的初始变换矩阵；所述单目相机的初始外参矩阵为基于所述单目相机所拍摄的对齐前的初始靶标图像确定的；基于所述眼球的初始内参矩阵、所述单目相机的初始外参矩阵及所述单目相机与所述眼球之间的初始变换矩阵，对所述靶标上的各所述靶标点进行坐标转换，生成所述混合现实设备上与各所述靶标点对应的目标成像点。3.根据权利要求2所述的方法，其特征在于，所述获取所述眼球的初始内参矩阵、所述单目相机的初始外参矩阵及所述单目相机与所述眼球之间的初始变换矩阵，包括：获取所述混合现实设备的镜片分辨率、像素大小、预设瞳距及预设出瞳距离；根据所述混合现实设备的镜片分辨率、所述像素大小、所述预设瞳距及所述预设出瞳距离，确定所述眼球的初始内参矩阵；控制所述单目相机对所述靶标进行拍摄得到初始靶标图像，确定各所述靶标点在所述初始靶标图像中的初始位置信息；根据各所述靶标点在所述初始靶标图像中的初始位置信息、各所述靶标点的实际位置信息及所述单目相机的内参矩阵，生成所述单目相机的初始外参矩阵；获取所述单目相机到所述眼球的预设相对位置关系；基于所述预设相对位置关系，确定所述单目相机与所述眼球之间的初始变换矩阵。4.根据权利要求1所述的方法，其特征在于，将所述多组目标点对输入预设标定算法中进行标定，生成眼球的目标外参矩阵，包括：将所述多组目标点对输入预设标定算法中生成标定方程组，求解所述标定方程组，得到透视变换矩阵；所述透视变换矩阵由所述眼球的目标内参矩阵和所述眼球的目标外参矩阵组成；对所述透视变换矩阵进行分解，生成所述眼球的目标内参矩阵和所述眼球的目标外参矩阵。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
控制所述单目相机获取所述靶标的实时靶标图像；根据各所述靶标点在所述靶标上的实际位置信息及各所述靶标点在所述实时靶标图像中的实时位置信息，生成所述单目相机的实时外参矩阵。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取虚拟物体的投影变换矩阵；根据所述虚拟物体的投影变换矩阵、所述眼球的目标内参矩阵、及所述单目相机与所述眼球之间的目标变换矩阵，对所述虚拟物体的位置信息进行坐标转换，确定...

【专利技术属性】
技术研发人员：杨敬钧，
申请(专利权)人：武汉联影智融医疗科技有限公司，
类型：发明
国别省市：