一种基于AR的远程协助系统的交互方法、系统和存储介质技术方案

本发明专利技术涉及远程协助技术领域，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质，其中方法包括实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端；将专家标注后的标注点的位置信息实时返回给求助端；求助端获取标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量；根据待调整量实时更新标注点在求助端和专家端画面上的位置。采用该交互方法以消除由于用户头部晃动而引起的标注点在用户端显示时与实际标注位置产生的偏移，该方法保证了远程协助时标注的准确性，提高了远程协助的效果。

Interaction method, system and storage medium of a remote assistance system based on AR

【技术实现步骤摘要】
一种基于AR的远程协助系统的交互方法、系统和存储介质
本专利技术涉及远程协助
，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质。
技术介绍
现在AR技术已经广泛的应用于机械组装、设备维修和结构展示等领域，尤其是应用于机械组装和设备维修时，有时候现场无法解决的技术问题，往往需要求助于远程的专家，这时候就需要采用远程协助系统，现有的远程协助系统往往是通过获取现场的二维画面进行截图，并将该画面截图发送给远程的专家，专家在截图上完成标注后，再将截图发送给现场人员，以达到远程协助的目的。这种采用截图标注的方式虽然也能达到远程协助的目的，但是效果不够理想，因为无法实时性的、多互动性的进行指导。另外，如果采用视频的方式进行指导，专家直接在动态图画面上进行标注，由于现场人员头部晃动，引起佩戴的AR眼镜会晃动，加上数据传输的延迟性，则专家的标注位置传回到求助端时和实际的标注位置也会发生移动，无法达到准确标注的作用。
技术实现思路
为了解决现有技术中由于现场人员的佩戴的AR眼镜的晃动导致远程协助时标注的位置发生移动，导致标注不准确的技术问题。本申请提供以下技术方案：一种基于AR的远程协助系统的交互方法,包括：实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；将专家完成标注后的标注点的位置信息实时返回给求助端；求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。其中，所述获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：获取所述标注点处的深度值；获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。其中，所述根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置，包括：所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。其中，所述获取所述标注点处的深度信息，包括：采用深度传感器、红外测距传感器、TOF相机、结构光相机中的一种或多种获取所述标注点处的深度值。进一步的，还包括：获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。一种基于AR的远程协助系统的交互系统，包括第一用户设备和第二用户设备；所述第一用户设备用于获取待协助现场的第一图像信息并将所述第一图像信息发送至第二用户设备；所述第二用户设备用于将专家完成标注后的标注点的位置信息实时返回给的第一用户设备；所述第一用户设备还用于获取所述标注点处的深度信息以及该第一用户设备相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。其中，所述第一用户设备包括：摄像头，用于获取待协助现场的第一图像信息；第一通信模块，用于将所述第一图像信息发送至所述第二用户设备；深度相机传感器，用于获取所述标注点位置的深度信息；第一传感器，用于获取所述摄像头相对于上一时刻的移动信息；第一处理器，用于所述深度信息和移动信息计算标注点的待调整量，并根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置。在其他实施例中，深度相机传感器还可以替换为红外测距传感器、TOF相机、结构光相机，通过这些传感器中的一种均可以获取标注点处的深度值。其中，所述第二用户设备包括：第二通信模块，用于接收所述第一用户设备发送的第一图像信息；第二显示屏，用于呈现所述第一图像信息；输入装置，用于专家在所述第一图像信息上进行标注；第二处理器，用于提取所述标注后在第一图像上的位置信息，并将所述标注点的位置信息发送给所述第一用户设备。其中，所述根据所述待调整量实时更新所述标注点在所述第二图像信息上的位置，包括：所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。依据上述实施例的基于AR的远程协助系统的交互方法和系统，将专家标注后的标注点的位置信息实时返回给求助端，获取所述标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算出该标注点的待调整量，然后根据待调整量实时调整标注点在求助端和专家端显示的第二图像信息上的位置，以消除由于用户头部晃动而引起的专家端返回的标注点在用户端显示时与实际标注位置产生的偏移，使得在实时标注时，即使用户端头部佩戴的AR设备有晃动，通过该方法依然能准确地进行标注，提高了远程协助的效果。附图说明图1为本申请实施例的交互方法流程示意图；图2为本申请实施例的交互系统结构示意图；图3为本申请实施例的交互系统工作时交互方法流程图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。在本专利技术实施例中，提供一种基于AR的远程协助系统的交互方法，通过用户佩戴在头部的AR眼镜或手持终端实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端，专家端收到该信息后对该第一图像信息进行呈现，专家进行标注后系统记录住该标注点在显示屏本文档来自技高网...

【技术保护点】
1.一种基于AR的远程协助系统的交互方法,其特征在于，包括：/n实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；/n将专家完成标注后的标注点的位置信息实时返回给求助端；/n求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；/n根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。/n

【技术特征摘要】
1.一种基于AR的远程协助系统的交互方法,其特征在于，包括：
实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；
将专家完成标注后的标注点的位置信息实时返回给求助端；
求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；
根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。


2.如权利要求1所述的交互方法，其特征在于，所述求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：
求助端获取所述标注点处的深度值；
获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；
根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。


3.如权利要求2所述的交互方法，其特征在于，所述根据所述待调整量实时更新所述标注点在专家端显示的第二图像信息上的位置，包括：
所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。


4.如权利要求1所述的交互方法，其特征在于，所述获取所述标注点处的深度信息，包括：
采用深度传感器、红外测距传感器、TOF相机、结构光相机中的一种或多种获取所述标注点处的深度值。


5.如权利要求2所述的交互方法，其特征在于，还包括：
获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。


6.一种基于AR的远程协助系统的交互系统，其特征在于，包括第一用户设备和第二用户设备；
...

【专利技术属性】
技术研发人员：谢辉，
申请(专利权)人：西安维度视界科技有限公司，
类型：发明
国别省市：陕西;61