一种基于AR技术的设备维修辅助方法和系统技术方案

本发明专利技术公开了一种基于AR技术的设备维修辅助方法和系统，其中用于服务器的方法包括：接收第一终端发送的第一图像以及第一设备的型号；根据第一设备的型号对所述第一图像进行图像识别，得到第一设备的若干个部件对应的若干个第一识别区域；向第一终端发送各第一识别区域在第一图像中的位置以及第一识别区域对应的第一文字标签；接收第一终端发送的第二文字标签；根据第二文字标签，获取第二文字标签对应的第一多媒体数据；向第一终端发送所述第一多媒体数据。本发明专利技术使得用户可以通过拍摄的方式获取设备各个部件对应的标签，然后通过标签选择来获取设备各部件对应的维修内容，便于用户获取维修内容。本发明专利技术可以广泛应用于设备维修辅助技术。

【技术实现步骤摘要】
一种基于AR技术的设备维修辅助方法和系统
本专利技术涉及设备维修辅助技术，尤其是一种基于AR技术的设备维修辅助方法和系统。
技术介绍
随着现实增强技术(即AR技术)的发展，AR技术在各个领域得到了应用。尤其在游戏领域，AR技术得到了充分的运用，通过AR技术，游戏可以以拍摄的现实背景作为游戏背景，并在现实背景中叠加现实游戏元素，从而增加游戏体验。但是，除了在游戏娱乐领域以外，目前AR技术在其他领域的应用数量比较少。尤其在设备维修领域，AR技术的应用几乎是一片空白。目前在设备辅助维修方面，仅有一些应用软件可以提供相关的维修教程，但是这些软件需要用户去输入关键词来搜索相关的维修内容，例如用户可以输入某个设备的型号从而找到与该型号的设备相关的维修内容，但是如果要精细到某个型号设备的部件的维修内容，用户需要输入部件的关键词，而对于用户而言，虽然设备的型号是可以确定的，但是其部件的关键词用户却未必能够准确描述，因此会导致用户无法准确地查找某些部件的维修内容。这对于用户来说并不方便。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种便于用户查找维修内容的基于AR技术的设备维修辅助方法和系统。本专利技术所采取的第一种技术方案是：一种基于AR技术的设备维修辅助方法，用于服务器，包括自动辅助步骤；所述自动辅助步骤包括：接收第一终端发送的第一图像以及第一设备的型号；根据第一设备的型号对所述第一图像进行图像识别，得到第一设备的若干个部件对应的若干个第一识别区域；向第一终端发送各第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签；接收第一终端发送的第二文字标签，所述第二文字标签为第一终端根据用户的输入数据在若干个第一文字标签中选中的文字标签；根据第二文字标签，获取第二文字标签对应的第一多媒体数据；向第一终端发送所述第一多媒体数据。进一步，还包括人工辅助步骤；所述人工辅助步骤包括：接收第一终端发送的第二图像、需求描述以及第二设备的型号；将第二图像、需求描述以及第二设备的型号发送至第二终端；接收第二终端返回的标注信息以及标注信息在第二图像中的位置；向第一终端发送所述标注信息以及标注信息在第二图像中的位置；接收第二终端返回的文字描述、语音描述和/或多媒体数据调取指令；根据所述文字描述、语音描述和/或多媒体数据调取指令，向第一终端发送所述文字描述、语音描述和/或多媒体数据调取指令对应的第二多媒体数据。进一步，所述第一多媒体数据和第二多媒体数据均包括图片、文字、视频和三维模型中的至少一种。本专利技术所采取的第二种技术方案是：一种基于AR技术的设备维修辅助方法，用于包括摄像头的第一终端，包括自动辅助步骤；所述自动辅助步骤包括：采集第一图像以及第一设备的型号；向服务器发送所述的第一图像以及第一设备的型号；接收服务器发送的若干个第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签；根据若干个第一识别区域在第一图像中的位置，显示每个第一识别区域对应的第一文字标签；获取用户的输入数据；根据用户的输入数据，在若干个第一文字标签中确定用户选中的第二文字标签；向服务器发送所述第二文字标签；接收服务器返回的第一多媒体数据；显示所述第一多媒体数据。进一步，还包括人工辅助步骤；所述人工辅助步骤包括：采集第二图像、需求描述以及第二设备的型号；向服务器发送第二图像、需求描述以及第二设备的型号，使服务器向第二终端发送所述第二图像、需求描述以及第二设备的型号；接收服务器发送的来自于第二终端的标注信息以及标注信息在第二图像中的位置；根据标注信息在第二图像中的位置，在第二图像中显示标注信息；接收服务器发送的文字描述、语音描述和/或第二多媒体数据；显示所述文字描述、语音描述和/或第二多媒体数据。进一步，所述第一多媒体数据和第二多媒体数据均包括图片、文字、视频和三维模型中的至少一种。进一步，在所述根据若干个第一识别区域在第一图像中的位置，显示每个第一识别区域对应的第一文字标签，这一步骤之前，还包括以下步骤：判断第一终端的摄像头的移动幅度是否大于设定阈值，若是，则重新执行自动辅助步骤；反之，则执行所述根据若干个第一识别区域在第一图像中的位置，显示每个第一识别区域对应的第一文字标签的步骤。进一步，所述移动幅度的计算步骤为：在接收服务器发送的若干个第一识别区域的位置以及每个第一识别区域对应的第一文字标签后，采集参考图像；计算第一图像和参考图像的相似度；以设定值减去相似度作为移动幅度。本专利技术所采取的第三种技术方案是：一种基于AR技术的设备维修辅助系统，包括：服务器，用于执行用于服务器的基于AR技术的设备维修辅助方法；第一终端，用于执行用于第一终端的基于AR技术的设备维修辅助方法；第二终端；所述服务器分别与第一终端和第二终端通信。本专利技术所采取的第四种技术方案是：一种基于AR技术的设备维修辅助系统，包括：存储器，用于存储程序；处理器，用于加载所述程序以执行用于服务器或者第一终端的基于AR技术的设备维修辅助方法。本专利技术的有益效果是：本专利技术使得用户可以通过拍摄的方式获取设备各个部件对应的标签，然后通过标签选择来获取设备各部件对应的第一多媒体数据，因此，用户可以很方便地获取与设备各部件的维修内容。附图说明图1为本专利技术一种用于服务器的基于AR技术的设备维修辅助方法的自动辅助步骤的流程图；图2为本专利技术一种用于服务器的基于AR技术的设备维修辅助方法的人工辅助步骤的流程图；图3为本专利技术一种用于第一终端的基于AR技术的设备维修辅助方法的自动辅助步骤的流程图；图4为本专利技术一种用于第一终端的基于AR技术的设备维修辅助方法的人工辅助步骤的流程图；图5专利技术一种具体实施例的第一终端的显示界面示意图。具体实施方式下面结合说明书附图和具体的实施例对本专利技术进行进一步的说明。参照图1，一种基于AR技术的设备维修辅助方法，用于服务器，包括自动辅助步骤；所述自动辅助步骤包括：S111、接收第一终端发送的第一图像以及第一设备的型号。所述第一终端为手机、平板或者电脑等设备，当然第一终端设有可以采集图像的摄像头。在本步骤，用户可以在第一终端上输入设备的型号或者从第一终端获取的设备列表中选取第一设备的型号。如输入某某型机器人，服务器对第一图像进行处理时，就会针对某某型机器人的各个部件进行识别，部署在服务器上的图像识别算法可以采用经过训练的深度神经网络实现。S112、根据第一设备的型号对所述第一图像进行图像识别，得到第一设备的若干个部件对应的若干个第一识别区域。比方说从第一图像中，拍摄到机器人的机械臂、履带和夹持端，服务器会将机械臂、履带和夹持端在第一图像中的位置一一框出来。S113、向第一终端发送各第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签。当然这些第一文字标签的内容是第一识别区域对应的部件的名称。例如，在机械臂所处的识别区域，服务器会打上设有机械臂字眼的标签，在履带所处的识别区域，服务器会打上设有履带字眼的标签。S114、接收第一终端发送的第二文字标签，所述第二文字标签为第一终端根据用户的输入数据在若干个第一文字标签中选中的文字标签。在服务器执行步骤S113后，假定第一终端的拍摄视角没有发生大变化，第一终端摄像头当前采集的图像与第一图像比较还是接近，例如仅仅是本文档来自技高网...

【技术保护点】
1.一种基于AR技术的设备维修辅助方法，用于服务器，其特征在于：包括自动辅助步骤；所述自动辅助步骤包括：接收第一终端发送的第一图像以及第一设备的型号；根据第一设备的型号对所述第一图像进行图像识别，得到第一设备的若干个部件对应的若干个第一识别区域；向第一终端发送各第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签；接收第一终端发送的第二文字标签，所述第二文字标签为第一终端根据用户的输入数据在若干个第一文字标签中选中的文字标签；根据第二文字标签，获取第二文字标签对应的第一多媒体数据；向第一终端发送所述第一多媒体数据。

【技术特征摘要】
1.一种基于AR技术的设备维修辅助方法，用于服务器，其特征在于：包括自动辅助步骤；所述自动辅助步骤包括：接收第一终端发送的第一图像以及第一设备的型号；根据第一设备的型号对所述第一图像进行图像识别，得到第一设备的若干个部件对应的若干个第一识别区域；向第一终端发送各第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签；接收第一终端发送的第二文字标签，所述第二文字标签为第一终端根据用户的输入数据在若干个第一文字标签中选中的文字标签；根据第二文字标签，获取第二文字标签对应的第一多媒体数据；向第一终端发送所述第一多媒体数据。2.根据权利要求1所述的一种基于AR技术的设备维修辅助方法，其特征在于：还包括人工辅助步骤；所述人工辅助步骤包括：接收第一终端发送的第二图像、需求描述以及第二设备的型号；将第二图像、需求描述以及第二设备的型号发送至第二终端；接收第二终端返回的标注信息以及标注信息在第二图像中的位置；向第一终端发送所述标注信息以及标注信息在第二图像中的位置；接收第二终端返回的文字描述、语音描述和/或多媒体数据调取指令；根据所述文字描述、语音描述和/或多媒体数据调取指令，向第一终端发送所述文字描述、语音描述和/或多媒体数据调取指令对应的第二多媒体数据。3.根据权利要求2所述的一种基于AR技术的设备维修辅助方法，其特征在于：所述第一多媒体数据和第二多媒体数据均包括图片、文字、视频和三维模型中的至少一种。4.一种基于AR技术的设备维修辅助方法，用于包括摄像头的第一终端，其特征在于：包括自动辅助步骤；所述自动辅助步骤包括：采集第一图像以及第一设备的型号；向服务器发送所述的第一图像以及第一设备的型号；接收服务器发送的若干个第一识别区域在第一图像中的位置以及每个第一识别区域对应的第一文字标签；根据若干个第一识别区域在第一图像中的位置，显示每个第一识别区域对应的第一文字标签；获取用户的输入数据；根据用户的输入数据，在若干个第一文字标签中确定用户选中的第二文字标签；向服务器发送所述第二文字标签；接收服务器返回的第一多媒体数据；...

【专利技术属性】
技术研发人员：王军，陈伟涌，
申请(专利权)人：广州裕申电子科技有限公司，
类型：发明
国别省市：广东,44