一种基于数字孪生的多人协作AR装配方法和系统技术方案

本发明专利技术涉及一种基于数字孪生的多人协作AR装配方法和系统。所述基于数字孪生的多人协作AR装配方法，利用增强现实实现多视角协同和人机交互过程，着力于解决复杂产品装配协作困难，同时消除装配过程沟通障碍。并且，本发明专利技术通过基于孪生数据建立装配工艺信息集成模型，将AR装配场景进行多端AR可视化协同处理，以通过采用AR技术实现物理空间

【技术实现步骤摘要】
一种基于数字孪生的多人协作AR装配方法和系统


[0001]本专利技术涉及智能装配
，特别是涉及一种基于数字孪生的多人协作AR装配方法和系统。

技术介绍

[0002]随着产品的发展朝着复杂性、小型化和精度的方向发展，产品的装配密度和精度要求越来越高，装配难度不断增加。针对复杂产品装配困难、装配效率低、装配过程员工记忆和认知负荷大的问题在工厂车间愈发的突出。为了解决传统装配过程中出现的这些问题，许多专家学者开始引入增强现实技术(AR技术)实现装配指导，将装配工人从沉冗的装配工艺信息中解脱出来。增强现实技术，它是一种将真实世界信息和虚拟世界信息"无缝"集成的新技术，通过将装配工艺信息和装配指导指令的增强现实显示，能够促进装配过程的智能化转变。
[0003]现有的AR装配研究主要将传统的文本进行AR显示，缺乏一定的灵活性，对于现有的复杂产品装配问题适应性不足。同时，考虑到装配工作的复杂性，传统的AR装配指导遵循固有的程序性指导无法满足装配过程的突发性和优化能力，缺乏足够的柔性。
[0004]面对装配工件的复杂度不断提升，装配不再是单人操作就足以完成的，现有的AR装配设计无法适应多人协作装配中存在的问题，针对于环境感知和视场的协调性问题也研究较少。
[0005]同时，针对理想情况下基于静态模型和数据的装配指导，在装配过程中无法面对不同装配工况进行实时调整和优化，这最终会导致装配质量不稳定。
[0006]因此，提供一种多人协作AR装配方法或系统，以能够对不同装配工况进行实时调整和优化，提高装配质量稳定性，是本领域亟待解决的技术问题。

技术实现思路

[0007]本专利技术的目的是提供一种基于数字孪生的多人协作AR装配方法和系统，能够对不同装配工况进行实时调整和优化，以提高装配质量稳定性。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种基于数字孪生的多人协作AR装配方法，包括：
[0010]基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述孪生数据包括装配过程中的信息数据和物理数据；所述装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息；
[0011]基于所述装配工艺信息集成模型构建虚拟装配场景；所述虚拟装配场景为物理装配场景的映射场景；所述虚拟装配场景存储在服务端；
[0012]基于所述虚拟装配场景生成AR装配场景；所述AR装配场景存储在客户端；
[0013]建立异步网络通信，将所述AR装配场景进行多端AR可视化协同处理。
[0014]优选地，所述基于所述装配工艺信息集成模型构建虚拟装配场景，具体包括：
[0015]根据所述装配工艺信息集成模型结合MBD模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。
[0016]优选地，所述建立异步网络通信，将所述AR装配场景进行多端AR可视化协同处理，具体包括：
[0017]建立异步网络通信；
[0018]基于所述异步网络通信统一多端AR视角；
[0019]基于统一后的多端AR视角，在AR装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程；所述虚拟装配过程包括装配路线和装配动画。
[0020]优选地，所述基于所述异步网络通信统一多端AR视角，具体包括：
[0021]对实际装配场景进行实时映射；所述对实际装配场景进行实时映射由服务端进行；
[0022]确定基准客户端，并采用所述基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息；
[0023]根据所述锚点信息确定根锚点；
[0024]利用客户端对所述基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息；
[0025]根据所述根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于所述空间偏移量实现两客户端间锚点信息的同步；
[0026]当AR设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点；
[0027]采用客户端基于同步根锚点和异步网络通信中的网络服务实现多端AR视角的统一。
[0028]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0029]本专利技术提供的基于数字孪生的多人协作AR装配方法，利用增强现实实现多视角协同和人机交互过程，着力于解决复杂产品装配协作困难，同时消除装配过程沟通障碍。通过基于孪生数据建立装配工艺信息集成模型，将AR装配场景进行多端AR可视化协同处理，以通过采用AR技术实现物理空间
‑
客户端
‑
AR
‑
孪生空间的数据在线流通，实现装配过程的在线监督、精准预测、优化，，进而提高装配质量稳定性。
[0030]对应于上述提供的基于数字孪生的多人协作AR装配方法，本专利技术还提供了以下实施系统：
[0031]一种基于数字孪生的多人协作AR装配系统，包括：
[0032]装配工艺信息集成模型构建模块，用于基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述孪生数据包括装配过程中的信息数据和物理数据；所述装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息；
[0033]虚拟装配场景构建模块，用于基于所述装配工艺信息集成模型构建虚拟装配场景；所述虚拟装配场景为物理装配场景的映射场景；所述虚拟装配场景存储在服务端；
[0034]AR装配场景生成模块，用于基于所述虚拟装配场景生成AR装配场景；所述AR装配
场景存储在客户端；
[0035]多端AR可视化协同处理模块，用于建立异步网络通信，将所述AR装配场景进行多端AR可视化协同处理。
[0036]优选地，所述虚拟装配场景构建模块包括：
[0037]虚拟装配场景构建单元，用于根据所述装配工艺信息集成模型结合MBD模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。
[0038]优选地，所述多端AR可视化协同处理模块包括：
[0039]异步网络通信建立单元，用于建立异步网络通信；
[0040]多端AR视角统一单元，用于基于所述异步网络通信统一多端AR视角；
[0041]虚拟装配过程建立单元，用于基于统一后的多端AR视角，在AR装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程；所述虚拟装配过程包括装配路线和装配动画。
[0042]优选地，所述多端AR视角统一单元包括：
[0043]实时映射子单元，用于对实际装配场景进行实时映射；所述对实际装配场景进行实时映射由服务端进行；
[0044]锚点信息确定子单元，用于确定基准客户端，并采用所述基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的多人协作AR装配方法，其特征在于，包括：基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述孪生数据包括装配过程中的信息数据和物理数据；所述装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息；基于所述装配工艺信息集成模型构建虚拟装配场景；所述虚拟装配场景为物理装配场景的映射场景；所述虚拟装配场景存储在服务端；基于所述虚拟装配场景生成AR装配场景；所述AR装配场景存储在客户端；建立异步网络通信，将所述AR装配场景进行多端AR可视化协同处理。2.根据权利要求1所述的基于数字孪生的多人协作AR装配方法，其特征在于，所述基于所述装配工艺信息集成模型构建虚拟装配场景，具体包括：根据所述装配工艺信息集成模型结合MBD模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。3.根据权利要求1所述的基于数字孪生的多人协作AR装配方法，其特征在于，所述建立异步网络通信，将所述AR装配场景进行多端AR可视化协同处理，具体包括：建立异步网络通信；基于所述异步网络通信统一多端AR视角；基于统一后的多端AR视角，在AR装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程；所述虚拟装配过程包括装配路线和装配动画。4.根据权利要求3所述的基于数字孪生的多人协作AR装配方法，其特征在于，所述基于所述异步网络通信统一多端AR视角，具体包括：对实际装配场景进行实时映射；所述对实际装配场景进行实时映射由服务端进行；确定基准客户端，并采用所述基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息；根据所述锚点信息确定根锚点；利用客户端对所述基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息；根据所述根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于所述空间偏移量实现两客户端间锚点信息的同步；当AR设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点；采用客户端基于同步根锚点和异步网络通信中的网络服务实现多端AR视角的统一。5.一种基于数字孪生的多人协作AR装配系统，其特征在于，包括：装配工艺信息集成模型构建模块，用于基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述...

【专利技术属性】
技术研发人员：鲍劲松，丁志昆，刘世民，孙学民，顾星海，许敏俊，沈慧，
申请(专利权)人：东华大学，
类型：发明
国别省市：