一种多人在线协同式装备虚拟设计实现方法及系统技术方案

本发明专利技术公开了一种多人在线协同式装备虚拟设计实现方法，其包括有如下步骤：步骤S1，获取人物的RGB、深度和骨架数据流并生成人物3D模型；步骤S2，利用开发工具包标记和追踪真实环境3D模型；步骤S3，利用3D数据建立虚拟装备场景的模型和地图；步骤S4，融合自适应信息熵与锐化调整改进ORB

【技术实现步骤摘要】
一种多人在线协同式装备虚拟设计实现方法及系统


[0001]本专利技术涉及虚拟现实、增强现实、人机交互
，尤其涉及一种多人在线协同式装备虚拟设计实现方法及系统。

技术介绍

[0002]虚拟现实(Virtual Reality，VR)是一种新型计算机媒体形式，它向用户展示仿照真实环境制作的数字化环境，利用计算机向用户提供一个完全虚拟的现实。在这个虚拟的数字世界中，人们可以操作虚拟物体，得到身临其境的感受和体验。在VR技术的基础上，AR技术提供了真实与虚拟相结合的环境，在用户视野中除了能够感觉到计算机生成的虚拟信息之外，还能完全感知真实环境，为虚拟场景提供必要的信息扩展，弥补了VR技术在全虚拟沉浸等方面的不足。
[0003]但是传统的辅助设计，所提供的信息较为分散、独立，具有较弱的层次性和逻辑性特点，随着工程装备复杂性的增加，在维修设计时工作人员需要反复查阅相关文档，不仅费时、费力，而且容易出错。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的不足，提供一种基于VR、AR辅助设计系统无缝嵌入到作业活动中，能辅助多人在线协同完成作业任务的多人在线协同式装备虚拟设计实现方法及系统。
[0005]为解决上述技术问题，本专利技术采用如下技术方案。
[0006]一种多人在线协同式装备虚拟设计实现方法，其包括有如下步骤：步骤S1，获取人物的RGB、深度和骨架数据流并生成人物3D模型；步骤S2，利用开发工具包标记和追踪真实环境3D模型；步骤S3，利用3D数据建立虚拟装备场景的模型和地图；步骤S4，融合自适应信息熵与锐化调整改进ORB
‑
SLAM2算法，利用平均滤波法去除对人体关节骨架姿势的误判，并使用多模态融合方式生成人物交互信息；步骤S5，将融合产生的点云数据利用网络传播协议上传至云端，利用云端服务模块实现特征点提取匹配、物体三维注册跟踪以及人体位姿解算，并将数据同步传输到本地用户VR设备上，利用所述步骤S3获得的坐标进行投影后生成地图，利用所述步骤S4中的多模态交互信息进行融合处理，将处理结果输出到VR设备上，以实现多人在线协同工作。
[0007]优选地，所述步骤S1中，利用3D摄像机获取人物的RGB、深度和骨架数据流。
[0008]优选地，RGB和深度数据用于获得整个场景的三维点云表示，骨架数据用于采取Voronoi分割方式从完整的3D场景点云中分割和提取人物，使用密集网格策略对提取的人物3D点云进行三角剖分并提取纹理信息，进而获得网格表示，最终输出3D模型。
[0009]优选地，所述步骤S2中，所述开发工具包为Vuforia开发工具包。
[0010]优选地，所述Vuforia开发工具包基于图像识别技术，选用计算机图形学中的模板匹配算法来识别特定图像，将确定的“标识图”提前解析并保存，并根据这些信息计算出虚
拟物体在摄像机中的坐标，在当前的图像中查找识别“标识图”之后，在“标识图”上叠加显示，经过实际与模板匹配的“标识图”识别后，在预定的三维坐标内重合以完成标定，确定虚拟模型在世界坐标的位置，经过坐标转化后再确定虚拟世界坐标。
[0011]优选地，所述步骤S3中，使用3DMAX工具渲染模型，并使用Unity3D工具建立虚拟场景和交互逻辑。
[0012]一种多人在线协同式装备虚拟设计实现系统，该系统用于实现以上所述的方法。
[0013]本专利技术公开的多人在线协同式装备虚拟设计实现方法，在实现过程中，将多个虚拟设备连接组成设备网，实现多台设备的协同操作，包含装备虚拟设计与多人协同技术的实现，装备虚拟设计借助可视化技术、通过软件平台对实际硬件进行虚拟化、软件化，从而搭建虚拟设备操作训练系统，多人在线协同方式实现了多台虚拟设备的连接。虚拟设计通过软件平台模拟真实操作流程，可以反应设备在实际运行中的各种情况，该技术突破了传统设备在操作训练人员、数据处理等方面的限制，将实际硬件部分虚拟化，有效降低了系统研发成本，实现了与外部应用之间的通信，此外，本专利技术多人在线式协同将多台虚拟设备连接成设备网，通过网络在同一个虚拟环境间交互、共享资源，单一设备难以完成的任务可通过多人协同开展，进而提高了作业效率。
附图说明
[0014]图1为本专利技术多人在线协同式装备虚拟设计实现方法的流程图。
具体实施方式
[0015]下面结合附图和实施例对本专利技术作更加详细的描述。
[0016]本专利技术公开了一种多人在线协同式装备虚拟设计实现方法，请参见图1，其包括有如下步骤：
[0017]步骤S1，获取人物的RGB、深度和骨架数据流并生成人物3D模型；
[0018]步骤S2，利用开发工具包标记和追踪真实环境3D模型；
[0019]步骤S3，利用3D数据建立虚拟装备场景的模型和地图；
[0020]步骤S4，融合自适应信息熵与锐化调整改进ORB
‑
SLAM2算法，利用平均滤波法去除对人体关节骨架姿势的误判，并使用多模态融合方式生成人物交互信息；
[0021]步骤S5，将融合产生的点云数据利用网络传播协议上传至云端，利用云端服务模块实现特征点提取匹配、物体三维注册跟踪以及人体位姿解算，并将数据同步传输到本地用户VR设备上，利用所述步骤S3获得的坐标进行投影后生成地图，利用所述步骤S4中的多模态交互信息进行融合处理，将处理结果输出到VR设备上，以实现多人在线协同工作。
[0022]上述方法在实现过程中，将多个虚拟设备连接组成设备网，实现多台设备的协同操作，包含装备虚拟设计与多人协同技术的实现，装备虚拟设计借助可视化技术、通过软件平台对实际硬件进行虚拟化、软件化，从而搭建虚拟设备操作训练系统，多人在线协同方式实现了多台虚拟设备的连接。虚拟设计通过软件平台模拟真实操作流程，可以反应设备在实际运行中的各种情况，该技术突破了传统设备在操作训练人员、数据处理等方面的限制，将实际硬件部分虚拟化，有效降低了系统研发成本，实现了与外部应用之间的通信，此外，本专利技术多人在线式协同将多台虚拟设备连接成设备网，通过网络在同一个虚拟环境间交
互、共享资源，单一设备难以完成的任务可通过多人协同开展，进而提高了作业效率。
[0023]作为一种优选方式，所述步骤S1中，利用3D摄像机获取人物的RGB、深度和骨架数据流。进一步地，RGB和深度数据用于获得整个场景的三维点云表示，骨架数据用于采取Voronoi分割方式从完整的3D场景点云中分割和提取人物，使用密集网格策略对提取的人物3D点云进行三角剖分并提取纹理信息，进而获得网格表示，最终输出3D模型。
[0024]实际应用中，3D摄像机可以是Microsoft Kinect v2设备，从该设备获得的RGB数据、深度数据和骨架数据流可用于生成人物的3D模型。其中，RGB数据和深度信息用于获得整个场景的三维点云表示，而骨架数据用于使用基于Voronoi的分割从完整的3D场景点云中分割和提取人物，由使用密集网格策略对提取的人的干净3D点云进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多人在线协同式装备虚拟设计实现方法，其特征在于，包括有如下步骤：步骤S1，获取人物的RGB、深度和骨架数据流并生成人物3D模型；步骤S2，利用开发工具包标记和追踪真实环境3D模型；步骤S3，利用3D数据建立虚拟装备场景的模型和地图；步骤S4，融合自适应信息熵与锐化调整改进ORB
‑
SLAM2算法，利用平均滤波法去除对人体关节骨架姿势的误判，并使用多模态融合方式生成人物交互信息；步骤S5，将融合产生的点云数据利用网络传播协议上传至云端，利用云端服务模块实现特征点提取匹配、物体三维注册跟踪以及人体位姿解算，并将数据同步传输到本地用户VR设备上，利用所述步骤S3获得的坐标进行投影后生成地图，利用所述步骤S4中的多模态交互信息进行融合处理，将处理结果输出到VR设备上，以实现多人在线协同工作。2.如权利要求1所述的多人在线协同式装备虚拟设计实现方法，其特征在于，所述步骤S1中，利用3D摄像机获取人物的RGB、深度和骨架数据流。3.如权利要求1所述的多人在线协同式装备虚拟设计实现方法，其特征在于，RGB和深度数据用于获得整个场景的三维点云表示，骨架数据用于采取Voronoi分割方...

【专利技术属性】
技术研发人员：黄辉，
申请(专利权)人：深圳市邦康工业机器人科技有限公司，
类型：发明
国别省市：