面向工业应用的云边端协同混合现实协作环境构建方法技术

本发明专利技术属于混合现实工业应用技术领域，具体涉及一种面向工业应用的云边端协同混合现实协作环境构建方法。为了解决现有混合现实协作方法或系统技术细节不明确、与工业实际联系不紧密、通用性不强、人机交互模型不完善以及缺乏同地协作研究等问题，包括步骤：S1：云

【技术实现步骤摘要】
面向工业应用的云边端协同混合现实协作环境构建方法


[0001]本专利技术属于混合现实工业应用
，具体涉及一种面向工业应用的云边端协同混合现实协作环境构建方法。

技术介绍

[0002]多人协作是一种允许多人在相同或不同的空间背景下，共同完成同一个任务的技术。对于复杂的任务，多人协作可以通过团队成员之间的沟通有效地执行任务。近年来，随着新一代信息技术的飞速发展，多人协作通常是通过计算机支持的协同工作（CSCW）来实现的。
[0003]由于任务和过程的复杂性，工业生产活动在规划、设计、生产、运维、监控等各个环节都存在分工与协作的需求。因此，工业是最广泛应用CSCW的行业之一。
[0004]工业现场往往环境复杂、设备众多，在设计和开发协作环境时，如何确保成员间的信息快速、准确地传递是一个重要的内容。传统的CSCW如文字、语音、视频等在沟通效率上都存在一定局限性，而混合现实（MR）协作有望解决这一痛点。MR技术可以将交互式虚拟信息与物理世界巧妙地实时“无缝”集成于同一三维尺度空间，提高可视化效果，突破地域和空间限制，使协作过程更自然、更直观。
[0005]公开号CN111553974A的“一种基于混合现实的数据可视化远程协助方法及系统”，该方法包括开始通讯连接、获取直播视频音频信息并实时共享、远程终端用户对于现场设备的问题进行分析，并提示可行性解决方案、将可行性解决方案发送至现场终端、现场终端用户根据远程终端用户的引导提示进行操作、断开通讯连接等步骤，能够大幅提升远程协助效率和效果。
[0006]公开号CN112667179A的“一种基于混合现实的远程同步协作系统”，系统包括远程专家端和本地用户端。本地用户端设置于工作环境中，由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成；远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成。远程专家可以在虚拟现实环境中发布建议和指令，这些信息通过增强现实头盔显示器显示在本地用户的视角中，以便直观的指导本地用户进行工作。
[0007]上述两方案给出了混合现实远程协作方法，能够实现本地端与远程端的实时同步协作，但均存在如下局限性：1）仅涉及远程协作系统的组成部分以及远程协作的实施过程，并未涉及终端间的通讯如何建立以及远程终端用户对现场终端用户的引导如何实现等技术细节；2）仅给出了混合现实远程协作的理论框架与技术路线，并未将混合现实协作与工业实际应用场景相结合。
[0008]授权公告号CN106339094B的“基于增强现实技术的交互式远程专家协作检修系统及方法”，现场终端对待检测维修的设备进行视频采集或图像拍摄，传输给远程服务端，远程服务端接收现场终端发来的视频或图像，接收专家对视频或图像的勾画处理，将勾画的目标区域图像发送给现场终端；利用增强现实技术合成增强现实视频，在专家的协作下完
Anchors的空间状态同步。
[0019]S201中所述PUN2是Unity3d的一个高性能状态同步网络库，可以自然地集成到常见的Unity工作流程中，默认协议是 UDP，顶部有可靠性协议，同时也支持TCP与Websocket；S202中所述Azure Spatial Anchors是一种空间云锚点，可通过将虚拟内容的位置和方向等信息保存在锚点上的方式使各个终端中的虚拟影像在世界坐标系中拥有相同的位置和状态，确保协作的一致性，且可以实现跨平台的使用。
[0020]所述步骤S201具体包括的步骤为：混合现实同地协作共享空间包括跨平台多终端网络通信框架以及空间状态同步系统，其中跨平台多终端网络通信框架用于多个终端之间的通信，空间状态同步系统用于实现多个终端之间空间对齐；所述混合现实远程协作环境包括混合现实远程音视频通讯模块以及混合现实远程全息标注模块，混合现实远程音视频通讯模块实现通信双方进行远程音视频通信，混合现实远程全息标注模块用于远程专家和现场工作人员共同对空间锚点进行标注；所述多模态交互模型用于现场工作人员与远程专家之间进行交互；所述多终端冲突消解模型用于对多个终端的操作数据进行处理和分析，判断是否存在冲突，当存在冲突时对优先权进行排序。
[0021]S2011：将多个终端连接到混合现实计算云平台的主服务器，主服务器将负责所有终端到服务器的传输，混合现实计算云平台的负载平衡功能负责协调所有可用的房间；S2012：主终端在主服务器中创建房间，为房间设置房间名称以及最大连接数量参数，并等待其他终端的连接；S2013：其他终端通过索引房间名称访问并加入房间，使得所有终端位于同一房间中；S2014：使用事件系统尝试同步内容，所有必要的数据都可以在房间中的参与者之间分发；当其余终端接收到这些信息后，便建立了终端之间的直接连接；每当终端连接到主服务器时，它都会同步一个经过延迟校正的时间戳；可以在房间中使用来同步事件的时间。
[0022]所述步骤S202具体包括的步骤为：S2021：在Azure门户中创建空间锚点资源；S2022：部署共享锚服务，即在Azure中部署一个可以用于共享锚点的ASP.NET Core Web应用；S2023：配置和部署Unity项目，首先在项目中导入ASA SDK和OpenXR插件，然后将Unity 3d场景连接到Azure资源，最后添加和配置SpatialAnchorManager接口，用于调用ASA服务；S2024：通过创建锚点、检索锚点、共享锚点的方式实现空间状态同步；首先，多终端的其中之一通过调用StartSessionAsync()方法开始一个会话；然后通过CreateAnchor()方法为创建锚点，并收集锚点的位置、旋转数据以及锚点周边的环境数据，并将锚点保存；最后，该终端通过ShareAzureAnchorIdToNetwork()函数将锚点ID共享到网络，其余终端通过GetAzureAnchorIdFromNetwork()函数从网络获取共享锚点ID，从而实现多终端之间的空间对齐。
[0023]所述步骤S3包括如下步骤：S301：基于WebRTC的混合现实远程音视频通讯功能实现；S302：混合现实远程全息标注功能实现。
[0024]所述步骤S301具体包括的步骤为：S3011：搭建信令服务器；
S3012：通信双方通过Websocket与信令服务器建立连接；S3013：通信双方通过RTCPeerConnection API向信令服务器发送信号，通过交换Session Description Protocol信息建立对等连接。
[0025]S3014：通信双方通过MediaStream API采集音视频流媒体或其他数据，使用RTP/SRTP协议进行传输。
[0026]所述步骤S302具体包括的步骤为：S3021：现场工作人员与远程专家建立音视频通讯，现场人员将工业现场实时第一视角视频流传输至远程专家；S3022：现场工作人员向远程专家发送远程指导请求，远程专家同意请求后自动将视频流冻结，并调出标注工具；S3023：远程专家在二维平面设备中使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：包括以下步骤，S1：构建云
‑
边
‑
端协同的计算任务调度模型；S2：构建混合现实同地协作共享空间；S3：构建混合现实远程协作环境，步骤S2与步骤S3中构建的混合现实同地协作共享空间与混合现实远程协作共享空间形成了混合现实协作环境的主体；S4：构建多模态交互模型，多模态交互模型为混合现实协作环境中的现场工作人员与远程专家提供了具体的操作指令的下达方式与策略；S5：构建多终端冲突消解模型，多终端冲突消解模型能够对多个用户下达的操作指令进行分析，当存在冲突时对优先权进行排序。2.根据权利要求1所述的面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：所述步骤S1包括以下步骤，S101：搭建混合现实计算云平台，混合现实计算云平台用于提供边缘节点管理以及为边缘应用提供核心业务逻辑处理相关服务；S102：部署边缘节点，边缘节点部署在工业现场，包括边缘云、边缘网关和边缘控制器；S103：搭建混合现实协作终端系统，混合现实协作终端系统为用户用于完成混合现实协作的所有终端的集合；S104：任务卸载与资源分配，任务卸载与资源分配指将对实时性要求较高的音视频编解码、核心画面渲染、手部跟踪和运动跟踪等任务部署在边缘侧，而将对延迟不敏感的非核心处画面渲染、自然语音交互等任务部署在云端。3.根据权利要求1所述的面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：所述步骤S2包括如下步骤：S201：基于PUN2的跨平台多终端网络通信框架搭建；S202：基于Azure Spatial Anchors的空间状态同步。4.根据权利要求3所述的面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：所述步骤S201具体包括的步骤为：S2011：将多个终端连接到混合现实计算云平台的主服务器，主服务器将负责所有终端到服务器的传输，混合现实计算云平台的负载平衡功能负责协调所有可用的房间；S2012：主终端在主服务器中创建房间，为房间设置房间名称以及最大连接数量参数，并等待其他终端的连接；S2013：其他终端通过索引房间名称访问并加入房间，使得所有终端位于同一房间中；S2014：使用事件系统尝试同步内容，所有必要的数据都可以在房间中的参与者之间分发；当其余终端接收到这些信息后，便建立了终端之间的直接连接；每当终端连接到主服务器时，它都会同步一个经过延迟校正的时间戳；可以在房间中使用来同步事件的时间。5.根据权利要求3所述的面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：所述步骤S202具体包括的步骤为：S2021：在Azure门户中创建空间锚点资源；S2022：部署共享锚服务，即在Azure中部署一个可以用于共享锚点的ASP.NET Core Web应用；
S2023：配置和部署Unity项目，首先在项目中导入ASA SDK和OpenXR插件，然后将Unity 3d场景连接到Azure资源，最后添加和配置SpatialAnchorManager接口，用于调用ASA服务；S2024：通过创建锚点、检索锚点、共享锚点的方式实现空间状态同步。6.根据权利要求1所述的面向工业应用的云边端协同混合现实协作环境构建方法，其特征在于：所述步骤S3包括如下步骤：S301：基于WebRTC的混合现实远程音视频...

【专利技术属性】
技术研发人员：王学文，刘曙光，谢嘉成，沈卫东，孟浩，李婷，房舒凯，刘京荃，张钦源，王浥晨，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：