一种用于数字人和实体的虚实融合方法及系统技术方案

本发明专利技术公开了一种用于数字人和实体的虚实融合方法及系统，属于增强现实技术领域，该方案实现将数字人和实体机机械结构的虚实融合。首先对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性，将每个关节部位进行建模，形成实体机械结构的三维骨骼模型。将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配。将实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。配则实时调整。配则实时调整。

【技术实现步骤摘要】
一种用于数字人和实体的虚实融合方法及系统


[0001]本专利技术涉及增强现实
，具体涉及一种用于数字人和实体的虚实融合方法及系统。

技术介绍

[0002]数字人提供视觉的交互属性，而机械系统提供动觉的交互属性。将视觉和动觉进行有效地虚实融合，可以在渲染更加真实的虚拟形象的同时，保留实体机械结构的动觉优势。在视觉方面，数字人可以更加真实的渲染人物形象，并且交互形象可变，能够提供交互的情感属性，省去了设计制作类人机器人的繁琐过程。在动觉方面，依旧保留了实体的机械结构部分，可以提供触觉交互，并可以和用户协作完成任务。
[0003]申请号为CN202010302983.X的专利公开了一种虚实融合的人机协作仿真方法和系统，其技术方案为：根据人体三维姿态信息和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；结合人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。该专利技术能够进行人机协作研究中各种控制算法的验证和实验，实验人和机器人间的交互、碰撞、力、动作协调性等内容；更贴近现实场景，能够真实反映人体运动，在避免建立复杂的模型的同时，还具备确保人体安全、人能够真正感受协作过程、仿真更加准确等的优点。该系统并非基于实体的虚实融合技术，无法产生任何的力反馈，不具备用于交互的能力。用户所看见均为虚拟形象，在交互过程中虽然提供了视觉属性，但不具备任何的动觉属性，用户无法触摸到虚拟形象，也无法与虚拟形象合作完成任务。虚实融合的技术纯粹依靠动力学建模，并非基于实体的虚实融合技术。
[0004]申请号为202110109325.3的专利公开了一种基于增强现实技术的工业机器人快速精准示教系统及方法，系统包括实体工业机器人、二维码和增强现实眼镜；实体工业机器人包括工业机器人本体与机器人控制器；增强现实眼镜识别工业机器人本体上的二维码，利用识别的二维码位姿，生成与真实机器人重合的虚拟机器人模型；增强现实眼镜连续捕捉虚拟机器人模型的末端位姿，并实时求解机器人各关节轴的转角，同步更新机器人虚拟模型；各关节转角传输至机器人控制器，机器人控制器根据各关节转角控制工业机器人本体关节转角运动。该专利技术有助于提高机器人的示教速度，采用基于标志物的三维注册跟踪模块，提高了示教精度，对工业制造加工领域具有较强的借鉴意义。该专利技术是基于实体的虚实融合技术，但并未将虚拟形象叠加到机械结构上。在交互过程中虽然提供了动觉属性，但不具备任何的视觉属性。使用者通过显示设备观察到的仍然是相同的工业实体机器人，在虚拟环境中并非映射为另一个不同的形象。
[0005]因此目前缺少一种能够将人与数字
‑
实体融合机器人的交互方案。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种用于数字人和实体的虚实融合方法及系统，集合了数字人和人形实体机器人的优势，实现高效、智能化的人机交互模式。
[0007]为达到上述目的，本专利技术的技术方案包括如下步骤：
[0008]步骤一、对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性；属性包括长度、大小和朝向；实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；得知实体机械结构的各关节的空间关系后，可将每个关节部位进行建模，形成实体机械结构的三维骨骼模型。
[0009]步骤二、将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配。
[0010]步骤三、将实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。
[0011]进一步地，对实体机械结构进行骨骼建模，具体采用如下建模方法之一进行：建模方法一：通过预先人工测量实体机械结构各个关节中的连杆的长度、粗细、朝向以及轴的旋转角度限制，从而确定各个关节的空间关系，实现建模；建模方法二：采用标定好的摄像头拍摄实体机械结构，再计算出机械结构中连杆的长度、粗细和朝向，确定关节间的空间关系，实现建模。
[0012]进一步地，步骤二具体包括如下步骤：
[0013]首先，调整虚拟数字人形象的骨骼结构，使虚拟数字人形象的骨骼结构与实体机械结构的三维骨骼结构相同。
[0014]然后，使用人工或者虚幻引擎中的算法，调整虚拟数字人形象每个关节间的间距，使骨骼长度和朝向相同。
[0015]最后，重新调整虚拟数字人形象的骨骼粗细，匹配实体机械结构的三维骨骼模型的体积。
[0016]优选地，判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整；具体为：当虚拟数字人形象的制作精度不少于1毫米时，虚拟数字人形象和实体机械结构叠加时，关节中的轴的在空间坐标系中的三个方向的偏移量均小于5毫米，且色差值不大于4.0时，则虚拟数字人形象与实体机械结构的三维骨骼模型相匹配。
[0017]优选地，将实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，具体为：虚拟数字人形象和实体机械结构中关节的移动同时进行，移动到的空间位置偏差小于1厘米，延迟时间小于0.5秒。
[0018]本专利技术的另外一个实施例还提供了一种用于数字人和实体的虚实融合系统，包括实体机械结构、定位设备、计算端、显示设备以及位于虚拟环境中的虚拟数字人形象；
[0019]实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动。
[0020]定位设备安装于实体机械结构上，定位设备获取实体机械结构的实时空间坐标及朝向，将其六自由度位姿传递给计算端。
[0021]计算端获取六自由度位姿，并提供多个虚拟数字人形象，并接收用户的选择指令，根据选择指令确定要展示的虚拟数字人形象，将虚拟数字人形象渲染展示在虚拟环境中，虚拟数字人形象的位置与实体机械结构位置相同，且实体机械结构与虚拟数字人形象叠加，计算端控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。
[0022]显示设备为头戴式显示设备，虚拟环境通过头戴式显示器呈现给用户；头戴式显示设备可以采用视频透射式或光学透射式的显示设备。
[0023]有益效果：
[0024]1、本专利技术提供了一种用于数字人和实体的虚实融合方法及系统，针对于现有虚拟数字人缺乏交互功能属性，以及人形实体机器人难以实现交互情感属性的困难，提出了一种用于数字人和实体融合的虚实融合方案。该方案实现将数字人和实体机机械结构的虚实融合。在保留实体机械结构的运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数字人和实体的虚实融合方法，其特征在于，包括如下步骤：步骤一、对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性；所述属性包括长度、大小和朝向；所述实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；得知实体机械结构的各关节的空间关系后，可将每个关节部位进行建模，形成实体机械结构的三维骨骼模型；步骤二、将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配；步骤三、将所述实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。2.如权利要求1所述的方法，其特征在于，所述对实体机械结构进行骨骼建模，具体采用如下建模方法之一进行：建模方法一：通过预先人工测量实体机械结构各个关节中的连杆的长度、粗细、朝向以及轴的旋转角度限制，从而确定各个关节的空间关系，实现建模；建模方法二：采用标定好的摄像头拍摄实体机械结构，再计算出机械结构中连杆的长度、粗细和朝向，确定关节间的空间关系，实现建模。3.如权利要求1所述的方法，其特征在于，所述步骤二具体包括如下步骤：首先，调整虚拟数字人形象的骨骼结构，使虚拟数字人形象的骨骼结构与实体机械结构的三维骨骼结构相同；然后，使用人工或者虚幻引擎中的算法，调整虚拟数字人形象每个关节间的间距，使骨骼长度和朝向相同；最后，重新调整虚拟数字人形象的骨骼粗细，匹配实体机械结构的三维骨骼模型的体积。4.如权利要求1、2或3所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：翁冬冬，东野啸诺，江海燕，王涌天，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：