基于空间定位的虚实融合方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于空间定位的虚实融合方法、系统、装置及存储介质，方法包括：确定现实场景的多个空间定位基点，并确定各空间定位基点与待交互实物的相对位置关系；构建虚拟数字空间的第一坐标系，并确定各空间定位基点在第一坐标系中的第一坐标；根据第一坐标系对现实场景进行建模，得到虚拟数字化模型，进而根据相对位置关系和第一坐标在虚拟数字化模型中确定待融合模型区域；根据空间定位基点对待融合模型区域与待交互实物进行虚实融合。本发明专利技术一方面减少了实物与数字化模型比对识别的次数和过程，提高了混合现实展示与交互的效率；另一方面保证了虚实融合的实时性与准备性，大大提升了用户的交互体验，可广泛应用于混合现实技术领域。混合现实技术领域。混合现实技术领域。

【技术实现步骤摘要】
基于空间定位的虚实融合方法、系统、装置及存储介质


[0001]本专利技术涉及混合现实
，尤其是一种基于空间定位的虚实融合方法、系统、装置及存储介质。

技术介绍

[0002]混合现实(MR)是虚拟现实(VR)的进一步发展，可以利用计算机图像技术、传感技术与可视化穿戴设备等相关技术与设备，实现数字虚拟对象与现实世界对象共存的可视化环境，并能够使用户在对现实世界正常感知的基础上构建虚拟与现实世界的交互反馈回路，达到虚拟世界与现实世界及时与深度的互动。
[0003]混合现实既可将数字对象叠加到现实世界，也可将真实对象虚拟化叠加到虚拟环境，但并不是简单叠加，而是达到虚与实的深度融合，从而形成有机的统一体。
[0004]目前主流的支持MR技术的硬件主要包括微软HoloLens 2头盔等，在使用MR技术头盔过程中，经常会运用到虚拟模型与实体世界虚实贴合的空间定位的过程，目前主流的定位方法包括通过头盔的本地空间定位点、微软Azure云空间点、以及VuForia Engine的空间定位方式。
[0005]空间定位点表示系统在一段时间内跟踪的重要点。每个定位点都具有可调整的坐标系统(基于其他定位点或引用框架)，以确保定位的全息影像保持准确。在定位点的坐标系统中渲染全息图，可以在任何给定时间精确定位到该全息图。随着系统不断地将其返回到基于现实世界的位置，这是一段时间内的小调整成本。这些调整的成本，包括头盔本身设备延迟，实体世界照片数据与云空间的模型数据比对分析，以及定位点确定，到最终的虚拟模型与真实物体的贴合过程，中间会造成数据的延迟以及误差，最终导致实际过程中虚拟模型与实物贴合存在误差，以及在移动过程中，会造成不同步导致的延迟显示，从而影响最终的客户体验，尤其是在复杂、多交互点、多模型的交互体验场景下，如飞机驾驶舱，里面涉及很多仪表盘，按钮，拉杆等操作，如果都是通过实物和虚拟模型的不断比对以及确认空间点以及最终进行可视化融合展示，则会带来很大的延迟、误差，最终影响客户的体验。

技术实现思路

[0006]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0007]为此，本专利技术实施例的一个目的在于提供一种基于空间定位的虚实融合方法，该方法一方面减少了实物与数字化模型比对识别的次数和过程，大大降低了复杂场景交互下系统计算过程的复杂度，提高了混合现实展示与交互的效率，降低了对系统算力的要求；另一方面避免了由于网络延迟以及设备计算资源的影响导致数字化内容与实物的贴合与展示过程的延迟卡顿现象，保证了虚实融合的实时性与准备性，大大提升了用户的交互体验。
[0008]本专利技术实施例的另一个目的在于提供一种基于空间定位的虚实融合系统。
[0009]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0010]第一方面，本专利技术实施例提供了一种基于空间定位的虚实融合方法，包括以下步
骤：
[0011]确定现实场景的多个空间定位基点，并确定各所述空间定位基点与待交互实物的相对位置关系；
[0012]构建虚拟数字空间的第一坐标系，并确定各所述空间定位基点在所述第一坐标系中的第一坐标；
[0013]根据所述第一坐标系对所述现实场景进行建模，得到虚拟数字化模型，进而根据所述相对位置关系和所述第一坐标在所述虚拟数字化模型中确定待融合模型区域；
[0014]根据所述空间定位基点对所述待融合模型区域与所述待交互实物进行虚实融合。
[0015]进一步地，在本专利技术的一个实施例中，所述确定现实场景的多个空间定位基点，并确定各所述空间定位基点与待交互实物的相对位置关系这一步骤，其具体包括：
[0016]通过头戴式MR设备获取现实场景的第一影像数据；
[0017]根据所述第一影像数据确定多个空间定位基点，并确定待交互实物；
[0018]根据所述空间定位基点和所述待交互实物的空间位置坐标确定所述相对位置关系。
[0019]进一步地，在本专利技术的一个实施例中，所述空间定位基点和所述交互实物的空间位置坐标均通过双目视觉测距算法得到。
[0020]进一步地，在本专利技术的一个实施例中，所述头戴式MR设备内置影像捕捉设备，所述影像捕捉设备为摄像头或红外影像捕捉设备。
[0021]进一步地，在本专利技术的一个实施例中，所述构建虚拟数字空间的第一坐标系，并确定各所述空间定位基点在所述第一坐标系中的第一坐标这一步骤，其具体包括：
[0022]以所述头戴式MR设备为原点构建虚拟数字空间的第一坐标系；
[0023]根据所述第一影像数据确定所述空间定位基点在所述第一坐标系中的第一坐标。
[0024]进一步地，在本专利技术的一个实施例中，所述根据所述相对位置关系和所述第一坐标在所述虚拟数字化模型中确定待融合模型区域这一步骤，其具体包括：
[0025]根据所述相对位置关系和所述第一坐标确定所述待交互实物的在所述第一坐标系中的第二坐标；
[0026]根据所述第二坐标和所述虚拟数字化模型确定待融合模型区域。
[0027]进一步地，在本专利技术的一个实施例中，所述根据所述空间定位基点对所述待融合模型区域与所述待交互实物进行虚实融合这一步骤，其具体包括：
[0028]根据所述空间定位基点和所述第一影像数据确定待交互实物的第二影像数据；
[0029]将所述待融合模型区域与所述第二影像数据进行贴合处理，得到虚实融合影像；
[0030]通过所述头戴式MR设备展示所述虚实融合影像。
[0031]第二方面，本专利技术实施例提供了一种基于空间定位的虚实融合系统，包括：
[0032]空间定位基点确定模块，用于确定现实场景的多个空间定位基点，并确定各所述空间定位基点与待交互实物的相对位置关系；
[0033]第一坐标系构建模块，用于构建虚拟数字空间的第一坐标系，并确定各所述空间定位基点在所述第一坐标系中的第一坐标；
[0034]待融合模型区域确定模块，用于根据所述第一坐标系对所述现实场景进行建模，得到虚拟数字化模型，进而根据所述相对位置关系和所述第一坐标在所述虚拟数字化模型
中确定待融合模型区域；
[0035]虚实融合模块，用于根据所述空间定位基点对所述待融合模型区域与所述待交互实物进行虚实融合。
[0036]第三方面，本专利技术实施例提供了一种基于空间定位的虚实融合装置，包括：
[0037]至少一个处理器；
[0038]至少一个存储器，用于存储至少一个程序；
[0039]当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种基于空间定位的虚实融合方法。
[0040]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种基于空间定位的虚实融合方法。
[0041]本专利技术的优点和有益效果将在下面的描述中部分给出，部分将从下面的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间定位的虚实融合方法，其特征在于，包括以下步骤：确定现实场景的多个空间定位基点，并确定各所述空间定位基点与待交互实物的相对位置关系；构建虚拟数字空间的第一坐标系，并确定各所述空间定位基点在所述第一坐标系中的第一坐标；根据所述第一坐标系对所述现实场景进行建模，得到虚拟数字化模型，进而根据所述相对位置关系和所述第一坐标在所述虚拟数字化模型中确定待融合模型区域；根据所述空间定位基点对所述待融合模型区域与所述待交互实物进行虚实融合。2.根据权利要求1所述的一种基于空间定位的虚实融合方法，其特征在于，所述确定现实场景的多个空间定位基点，并确定各所述空间定位基点与待交互实物的相对位置关系这一步骤，其具体包括：通过头戴式MR设备获取现实场景的第一影像数据；根据所述第一影像数据确定多个空间定位基点，并确定待交互实物；根据所述空间定位基点和所述待交互实物的空间位置坐标确定所述相对位置关系。3.根据权利要求2所述的一种基于空间定位的虚实融合方法，其特征在于：所述空间定位基点和所述交互实物的空间位置坐标均通过双目视觉测距算法得到。4.根据权利要求2所述的一种基于空间定位的虚实融合方法，其特征在于：所述头戴式MR设备内置影像捕捉设备，所述影像捕捉设备为摄像头或红外影像捕捉设备。5.根据权利要求2所述的一种基于空间定位的虚实融合方法，其特征在于，所述构建虚拟数字空间的第一坐标系，并确定各所述空间定位基点在所述第一坐标系中的第一坐标这一步骤，其具体包括：以所述头戴式MR设备为原点构建虚拟数字空间的第一坐标系；根据所述第一影像数据确定所述空间定位基点在所述第一坐标系中的第一坐标。6.根据权利要求1所述的一种基于空间定位的虚实融合方法，其特征在于，所述根据所述相对位置关系和所述第一坐标在所述虚拟数字化...

【专利技术属性】
技术研发人员：黄文，丁艳，周小军，梁思妍，周攀，彭荣荣，曾珍，高思凯，
申请(专利权)人：深圳市中孚恒升科技有限公司，
类型：发明
国别省市：