一种增强现实系统虚实融合标定方法及装置制造方法及图纸

本发明专利技术涉及提出了一种增强现实系统虚实融合标定方法及装置。其中，方法包括离线标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，离线标定世界相机和增强现实眼镜装置中显示屏间的第二转换关系，实时跟踪人眼相对于增强现实眼镜装置的位置变化，在线标定人眼跟踪相机中眼球中心的坐标，得到世界相机坐标系中人眼眼球中心的坐标，最终得到真实世界三维坐标和显示屏中二维坐标的转换关系。本发明专利技术通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，解决了不同人及不同佩戴姿态需再标定问题，提高虚实融合精度。提高虚实融合精度。提高虚实融合精度。

【技术实现步骤摘要】
一种增强现实系统虚实融合标定方法及装置


[0001]本专利技术涉及增强现实
，尤其涉及一种基于离线和在线标定的增强现实系统虚实融合标定方法及装置。

技术介绍

[0002]虚实融合技术是增强现实系统最重要的、具有挑战的关键技术，难点在于虚实融合技术涉及到适应每个人的人眼光学特性，而人眼的光学特性因人而异。必须根据每个用户的眼睛位置、瞳孔间距和不断变化的眼球运动进行校准。
[0003]目前的标定方法主要是让使用者直接观察特征点的虚实融合效果，通过对记录的虚实融合好的成对的特征点坐标解算建立现实世界和虚拟世界坐标转换关系。
[0004]然而，这种手动过程本质上有几个主要缺点，包括无法处理头部和头戴式设备相对运动导致的漂移，需要重新校准，以及耗时的初始校准。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于离线和在线标定的增强现实系统虚实融合标定方法。
[0006]本专利技术解决上述技术问题的技术方案如下：
[0007]一方面，本专利技术提供一种增强现实系统虚实融合标定方法，所述方法包括：
[0008]标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
[0009]标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
[0010]利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
[0011]根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
[0012]利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
[0013]进一步地，所述标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，具体包括：
[0014]根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
[0015]调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
[0016]在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标
坐标系的转换关系；
[0017]利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
[0018]进一步地，所述利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系，具体包括：
[0019]根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
[0020][0021][0022][0023][0024]式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，和分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，R
L
→
R
和t
L
→
R
分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
[0025]将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
[0026]进一步地，所述标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，具体包括：
[0027]在所述显示屏上投影第一标定靶标；
[0028]调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；
[0029]调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
[0030]利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
[0031]利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
[0032]利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定
算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
[0033]根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
[0034]根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
[0035]进一步地，所述根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系，具体包括：
[0036]根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
[0037][0038][0039][0040]式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，和分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，和分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
[0041]将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
[0042]进一步地，所述利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标，具体包括：
[0043]利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
[0044]利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实系统虚实融合标定方法，其特征在于，所述方法包括：标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。2.根据权利要求1所述的增强现实系统虚实融合标定方法，其特征在于，所述标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，具体包括：根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。3.根据权利要求2所述的增强现实系统虚实融合标定方法，其特征在于，所述利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系，具体包括：根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转
矩阵和平移向量，和分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，R
L
→
R
和t
L
→
R
分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。4.根据权利要求2所述的增强现实系统虚实融合标定方法，其特征在于，所述标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，具体包括：在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。5.根据权利要求4所述的增强现实系统虚实融合标定方法，其特征在于，所述根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系，具体包括：根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：转换关系：转换关系：式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，和分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第
三坐标系关系旋转矩阵和平移向量，和分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。6.根据权利要求2所述的增强现实系统虚实融合标定方法，其特征在于，所述利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标，具体包括：利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。7.根据权利要求6所述的增强现实系统虚实融合标定方法，其特征在于，所述利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，具体包括：利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量N的对应特征点的N个平面方程；利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，N对特征点形成N
‑
1个交线的方向矢量；对所述N
‑
1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。8.根据权利要求7所述的增强现实系统虚实融合标定方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：王维洲，王飞行，赵喜兰，王梅琨，林昌年，高琦，高峰，李俊辉，周海明，
申请(专利权)人：国网甘肃省电力公司天水供电公司北京科东电力控制系统有限责任公司国网电力科学研究院有限公司中国电力科学研究院有限公司，
类型：发明
国别省市：