一种混合现实系统及基于混合现实的标识物配准方法技术方案

本说明书公开了一种混合现实系统及基于混合现实的标识物配准方法，该混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，所述混合现实设备，用于在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。进行配准。进行配准。

【技术实现步骤摘要】
一种混合现实系统及基于混合现实的标识物配准方法


[0001]本说明书涉及混合现实
，尤其涉及一种混合现实系统及基于混合现实的标识物配准方法

技术介绍

[0002]随着计算机视觉、图形处理、显示技术、输入系统和云计算的发展，混合现实技术已经应用在了很多领域。混合现实是将物理世界与数字世界相融合的结果，在混合现实环境中，虚拟空间中数字对象可以和现实世界中的物理实体共存，并可以通过声音、视线、动作来与之交互。将虚拟模型与真实物体叠加显示是混合现实技术常见的使用方式之一，在工业和医疗领域内有广泛的应用案例，例如，在手术过程中通过虚实结合将患者身体内部结构叠加显示在人体上，辅助医生实施治疗。
[0003]目前，在通过混合现实技术生成虚拟模型的过程中，通常需要结合惯性测量单元和深度摄像头实现对环境的识别和对自身姿态的感知，并通过摄像头识别图像特征进行主动追踪，进而对标识物与生成的虚拟模型进行配准，然而随着混合现实设备本身的旋转或者移动，产生的虚拟模型的位置往往会发生偏移，而且一旦混合现实设备距离标识物距离较远，产生的虚拟模型就会丧失其配准精度，此外，在操控人员每次佩戴混合现实设备时，操控人员的眼睛与设备之间势必会存在或多或少的差异，这也会影响到产生的虚拟模型与标识物的配准精度。
[0004]因此，如何提高混合现实设备生成的虚拟模型与现实物体的配准精度，提高配准范围，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种混合现实系统及基于混合现实的标识物配准方法，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种混合现实系统，包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线；
[0008]所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，作为第一空间姿态关系；
[0009]所述混合现实设备，用于根据所述第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系，并根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟
模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。
[0010]可选地，所述示踪器上设有定位光源标记，所述示踪器上的所有定位光源标记固定在同一平面中，用于向所述定位装置发射或反射光线。
[0011]可选地，所述定位装置通过支架固定在指定位置上，或
[0012]通过吊装的方式，固定在所述混合现实设备与标识物上方的指定位置上。
[0013]可选地，所述定位装置与所述混合现实设备相连接；
[0014]所述定位装置，用于采集设置各示踪器上定位光源标记发射或反射的光线，所述各示踪器包括设置在所述混合现实设备上的示踪器以及设置在所述标识物上的示踪器，根据所述各示踪器上定位光源标记发射或反射的光线，确定所述各示踪器之间的空间姿态关系，作为第一空间姿态关系，并将所述第一空间姿态关系发送至所述混合现实设备。
[0015]可选地，所述混合现实系统包括：校准标识物，所述校准标识物上设有指定特征点；
[0016]所述混合现实设备，通过构建出与所述校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。
[0017]可选地，通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型，在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；
[0018]根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。
[0019]可选地，所述混合现实设备通过识别出的手势动作，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，或
[0020]通过接收到的语音信息，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合。
[0021]可选地，所述校准标识物上设置有示踪器；
[0022]所述定位装置，确定所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物上的示踪器与所述校准标识物之间的空间姿态关系，以及所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，确定所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，以及所述校准标识物与所述混合现实设备的空间姿态关系，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。
[0023]可选地，所述标识物还包括：病患的患病部位，手术设备中的至少一种。
[0024]本说明书提供了一种基于混合现实的标识物配准方法，包括：
[0025]所述混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述方法包括：
[0026]根据获取到的第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，其中，所述第一空间姿态关系是所述定位装置基于采集到的所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系；
[0027]根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系；
[0028]根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。
[0029]可选地，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，具体包括：
[0030]通过在所述混合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合现实系统，其特征在于，所述系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线；所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，作为第一空间姿态关系；所述混合现实设备，用于根据所述第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系，并根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。2.如权利要求1所述的混合现实系统，其特征在于，所述示踪器上设有定位光源标记，所述示踪器上的所有定位光源标记固定在同一平面中，用于向所述定位装置发射或反射光线。3.如权利要求1所述的混合现实系统，其特征在于，所述定位装置通过支架固定在指定位置上，或通过吊装的方式，固定在所述混合现实设备与标识物上方的指定位置上。4.如权利要求3所述的混合现实系统，其特征在于，所述定位装置与所述混合现实设备相连接；所述定位装置，用于采集设置各示踪器上定位光源标记发射或反射的光线，所述各示踪器包括设置在所述混合现实设备上的示踪器以及设置在所述标识物上的示踪器，根据所述各示踪器上定位光源标记发射或反射的光线，确定所述各示踪器之间的空间姿态关系，作为第一空间姿态关系，并将所述第一空间姿态关系发送至所述混合现实设备。5.如权利要求1所述的混合现实系统，其特征在于，所述混合现实系统包括：校准标识物，所述校准标识物上设有指定特征点；所述混合现实设备，通过构建出与所述校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。6.如权利要求5所述的混合现实系统，其特征在于，通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型，在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。7.如权利要求6所述的混合现实系统，其特征在于，所述混合现实设备通过识别出的手势动作，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的
指定特征点的图像相重合，或通过接收到的语音信息，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向...

【专利技术属性】
技术研发人员：眭菁，
申请(专利权)人：北京歌锐科技有限公司，
类型：发明
国别省市：