一种基于手持实物的混合现实交互方法和系统技术方案

本发明专利技术公开了一种基于手持实物的混合现实交互方法，该发明专利技术采用特殊外形的手持实物来取代交互手柄，对实物实时追踪其六自由度位姿，再叠加混合现实的工具模型，在视觉上将实物变换为各类可操作的工具或工件，再对其进行近似于实际工具的操作与交互，提升了交互的实物触感，有利于提升虚拟实训的教学效果；同时，对手持实物的手柄部分进行快速简便的遮挡提取，从而修正观测时手柄应被手遮挡的拟真观感，进一步提升交互操作的沉浸感受，提升实训效果。效果。效果。

【技术实现步骤摘要】
一种基于手持实物的混合现实交互方法和系统


[0001]本专利技术属于计算机应用
，尤其涉及一种基于手持实物的混合现实交互方法和系统。

技术介绍

[0002]混合现实包括虚拟现实(VR)和增强现实(AR)，是计算机应用的重要方向，近几年来在虚拟实训、远程教育等信息化教学场景中都有较新的应用和发展。但现有的手部交互方式多以按钮式的手柄为主，握法固定，交互过程也往往需要按钮配合，无法提供类似于螺丝刀、电烙铁等真实实训工具的操作感受，一定程度上限制了虚拟实训的教学效果，被公认为混合现实应用在手部真实感交互方面的缺陷。因此，需要提出新的方法来提升混合现实应用手部交互的真实感。

技术实现思路

[0003]本专利技术的目的在于针对现有技术的不足，提供一种基于手持实物的混合现实交互方法和系统。本专利技术通过对手持实物的虚拟化视觉更换，使用户可以在混合现实中更自由地操作工具，体验更贴近于真实工具的操作感受。
[0004]本专利技术的目的是通过以下技术方案来实现的：一种基于手持实物的混合现实交互方法，包括如下步骤：
[0005]步骤1：预建模。对预期执行混合现实交互的手持实物M进行建模，得到M的三维数字模型。所述实物M应包含以下几个特征：
[0006](1)实物M应至少包含手柄和前端两部分，且两部分刚性连接，交互过程中两部分的相对位置姿态不会改变；
[0007](2)实物手柄部分H的外观纯色，与手部肤色有较大区分；
[0008](3)实物前端部分F的造型具有“剪影的各向异性”，即从任意视角对前端部分进行拍摄，其在画面中的外轮廓都不一致，且经过任意2D空间的缩放、平移和旋转后的外轮廓图像也都不一致。
[0009]步骤2：追踪位姿。在实时交互过程中，通过观测相机实时采集手持实物M的动态画面，采用基于模型的物体追踪方法追踪实物M的前端部分，并实时估计实物M相对于观测相机的三维位姿TRi。
[0010]步骤3：遮挡计算。基于实时估计得到的三维位姿TRi，将实物M预先建好的三维数字模型进行空间变换，并在观测相机视角下渲染生成与实际观测相同尺寸的虚拟图像，此时手持实物M的虚拟图像与实际观测图像基本重合；提取实物M在虚拟图像中的区域，对比实际观测图像中的相同区域，估算得到手在实物M手柄上的视觉遮挡区域，提取该区域为实时的遮罩图P；
[0011]步骤4：混合现实合成。基于实时得到的三维位姿TRi，将当前应用需要交互使用的虚拟工具模型，变换至观测视角坐标系下，叠加遮罩图P，渲染得到该工具带有遮挡效果的
虚拟图像；通过混合现实显示设备，将该虚拟图像实时呈现于现实观测视角中，使虚拟工具刚好叠加在手持实物M之上，并露出原本握住实物M手柄部分的手的全貌，形成手握虚拟工具的混合现实效果。
[0012]步骤5：多模态交互。通过语音、界面的交互，替换不同的虚拟工具；根据虚拟工具的长度和使用模式，对场景中的虚拟物体进行操作和交互；在观测图像中补充采集另一只手对虚拟工具的交互和遮挡，识别特定工具下的双手交互组合，并执行相关应用预设的交互命令。循环重复步骤2
‑
5，直至应用中止或结束。
[0013]进一步地，所述步骤2
‑
4中的三维位姿，是指三维位置和三维姿态，包含6个自由度。
[0014]进一步地，所述步骤4
‑
5中的虚拟工具，包括但不限于各类实训所用的手持工具，如榔头、螺丝刀、扳手、焊枪、锉刀、锯子。
[0015]进一步地，所述步骤3中的遮罩图，是在虚拟图像区域与实际观测图像区域对比后，提取非实物M部分的像素点，标记为0，其余为1。在步骤4中进行叠加时，标记为1处渲染像素点，标记为0处不渲染。
[0016]一种基于手持实物的混合现实交互系统，包括：
[0017]预建模模块，用于对预期执行混合现实交互的手持实物M进行建模，得到M的三维数字模型；
[0018]追踪位姿模块，用于在实时交互过程中，通过观测相机实时采集手持实物M的动态画面，采用基于模型的物体追踪方法追踪实物M的前端部分，并实时估计实物M相对于观测相机的三维位姿TRi。
[0019]遮挡计算模块，用于基于实时估计得到的三维位姿TRi，将实物M预先建好的三维数字模型进行空间变换，并在观测相机视角下渲染生成与实际观测相同尺寸的虚拟图像，此时手持实物M的虚拟图像与实际观测图像基本重合；提取实物M在虚拟图像中的区域，对比实际观测图像中的相同区域，估算得到手在实物M手柄上的视觉遮挡区域，提取该区域为实时的遮罩图P；
[0020]混合现实合成模块，用于基于实时得到的三维位姿TRi，将当前应用需要交互使用的虚拟工具模型，变换至观测视角坐标系下，叠加遮罩图P，渲染得到该工具带有遮挡效果的虚拟图像；通过混合现实显示设备，将该虚拟图像实时呈现于现实观测视角中，使虚拟工具刚好叠加在手持实物M之上，并露出原本握住实物M手柄部分的手的全貌，形成手握虚拟工具的混合现实效果；
[0021]多模态交互模块，用于通过语音、界面的交互，替换不同的虚拟工具；根据虚拟工具的长度和使用模式，对场景中的虚拟物体进行操作和交互；在观测图像中补充采集另一只手对虚拟工具的交互和遮挡，识别特定工具下的双手交互组合，并执行相关应用预设的交互命令。循环重复追踪位姿模块、遮挡计算模块、混合现实合成模块、模态交互模块的操作，直至应用中止或结束。
[0022]本专利技术的有益效果是：通过对手持实物的虚拟替换，实现用户手持各类工具的观感；通过仅对实物前端部分的追踪定位，释放了手柄处的自由握姿，从而支持对不同工具的不同持物方式，如旋转螺丝刀，横握扳手，手持电烙铁等不同持物姿态，大大提升了虚拟实训等操作过程的交互拟真程度；通过对手部遮挡的提取和处理，更好地融合了虚拟工具和
实际手部的观感，进一步提升操作的逼真度，更有利于实训效果的提升。
附图说明
[0023]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0024]图1为一种基于手持实物的混合现实交互方法的流程图；
[0025]图2a
‑
图2c为手持实物的一种造型示例和追踪效果示例图，其中图2a是手持实物造型示例示意图，图2b是前段部分的数字模型示意图，图2c是前段部分位姿追踪效果示意图；
[0026]图3a
‑
图3c为手部遮挡提取示意图，其中图3a是虚实叠加对比图，图2b是实物区域对比结果图，图3c是遮罩提取效果图；
[0027]图4为替换不同工具后的结果示例图；
[0028]图5是本专利技术的系统结构示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手持实物的混合现实交互方法，其特征在于，包括如下步骤：步骤1：预建模；步骤2：追踪位姿；步骤3：遮挡计算；步骤4：混合现实合成；步骤5：多模态交互。2.如权利要求1所述的一种基于手持实物的混合现实交互方法，其特征在于，步骤1具体包括：对预期执行混合现实交互的手持实物M进行建模，得到M的三维数字模型。所述实物M应包含以下几个特征：(1)实物M应至少包含手柄和前端两部分，且两部分刚性连接，交互过程中两部分的相对位置姿态不会改变；(2)实物手柄部分H的外观纯色，与手部肤色有较大区分；(3)实物前端部分F的造型具有“剪影的各向异性”，即从任意视角对前端部分进行拍摄，其在画面中的外轮廓都不一致，且经过任意2D空间的缩放、平移和旋转后的外轮廓图像也都不一致。3.如权利要求1所述的一种基于手持实物的混合现实交互方法，其特征在于，步骤2具体包括：在实时交互过程中，通过观测相机实时采集手持实物M的动态画面，采用基于模型的物体追踪方法追踪实物M的前端部分，并实时估计实物M相对于观测相机的三维位姿TRi。4.如权利要求1所述的一种基于手持实物的混合现实交互方法，其特征在于，步骤3具体包括：基于实时估计得到的三维位姿TRi，将实物M预先建好的三维数字模型进行空间变换，并在观测相机视角下渲染生成与实际观测相同尺寸的虚拟图像，此时手持实物M的虚拟图像与实际观测图像基本重合；提取实物M在虚拟图像中的区域，对比实际观测图像中的相同区域，估算得到手在实物M手柄上的视觉遮挡区域，提取该区域为实时的遮罩图P。5.如权利要求1所述的一种基于手持实物的混合现实交互方法，其特征在于，步骤4具体包括：基于实时得到的三维位姿TRi，将当前应用需要交互使用的虚拟工具模型，变换至观测视角坐标系下，叠加遮罩图P，渲染得到该工具带有遮挡效果的虚拟图像；通过混合现实显示设备，将该虚拟图像实时呈现于现实观测视角中，使虚拟工具刚好叠加在手持实物M之上，并露出原本握住实物M手柄部分的手的全貌，形成手握虚拟工具的混合现实效果。6.如权利要求1所述的一种基于手持实物的混合现实交互方法，其特征在于，步骤5具体包括：通过语音、界面的交互，替换不同的虚拟工具；根据虚拟工具的长度和使用模式，对场景中的虚拟物体进行操作和交互；在观测图像中补充采集另一只手对虚拟工具的交互和遮挡，识别特定工具下的双手交互组合，并执行相关应用预设的交互命令。循环重复步骤2
‑
5，直至应用中止或结...

【专利技术属性】
技术研发人员：谢天，华炜，韩雅妮，卢阳，邓超，
申请(专利权)人：浙江杭钢职业教育集团有限公司，
类型：发明
国别省市：