一种用于数字人和实体的虚实融合方法及系统技术方案

本发明专利技术公开了一种用于数字人和实体的虚实融合方法及系统，属于增强现实技术领域，该方案实现将数字人和实体机机械结构的虚实融合。首先对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性，将每个关节部位进行建模，形成实体机械结构的三维骨骼模型。将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配。将实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。配则实时调整。配则实时调整。

【技术实现步骤摘要】
一种用于数字人和实体的虚实融合方法及系统


[0001]本专利技术涉及增强现实
，具体涉及一种用于数字人和实体的虚实融合方法及系统。

技术介绍

[0002]数字人提供视觉的交互属性，而机械系统提供动觉的交互属性。将视觉和动觉进行有效地虚实融合，可以在渲染更加真实的虚拟形象的同时，保留实体机械结构的动觉优势。在视觉方面，数字人可以更加真实的渲染人物形象，并且交互形象可变，能够提供交互的情感属性，省去了设计制作类人机器人的繁琐过程。在动觉方面，依旧保留了实体的机械结构部分，可以提供触觉交互，并可以和用户协作完成任务。
[0003]申请号为CN202010302983.X的专利公开了一种虚实融合的人机协作仿真方法和系统，其技术方案为：根据人体三维姿态信息和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；结合人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数字人和实体的虚实融合方法，其特征在于，包括如下步骤：步骤一、对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性；所述属性包括长度、大小和朝向；所述实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；得知实体机械结构的各关节的空间关系后，可将每个关节部位进行建模，形成实体机械结构的三维骨骼模型；步骤二、将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配；步骤三、将所述实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。2.如权利要求1所述的方法，其特征在于，所述对实体机械结构进行骨骼建模，具体采用如下建模方法之一进行：建模方法一：通过预先人工测量实体机械结构各个关节中的连杆的长度、粗细、朝向以及轴的旋转角度限制，从而确定各个关节的空间关系，实现建模；建模方法二：采用标定好的摄像头拍摄实体机械结构，再计算出机械结构中连杆的长度、粗细和朝向，确定关节间的空间关系，实现建模。3.如权利要求1所述的方法，其特征在于，所述步骤二具体包括如下步骤：首先，调整虚拟数字人形象的骨骼结构，使虚拟数字人形象的骨骼结构与实体机械结构的三维骨骼结构相同；然后，使用人工或者虚幻引擎中的算法，调整虚拟数字人形象每个关节间的间距，使骨骼长度和朝向相同；最后，重新调整虚拟数字人形象的骨骼粗细，匹配实体机械结构的三维骨骼模型的体积。4.如权利要求1、2或3所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：翁冬冬，东野啸诺，江海燕，王涌天，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：