基于AR系统的操作指导方法及装置制造方法及图纸

本申请公开了一种基于AR系统的操作指导方法及装置，其中，所述基于AR系统的操作指导方法包括：对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。

Operational Guidance Method and Device Based on AR System

This application discloses an operation guidance method and device based on AR system, in which the operation guidance method based on AR system includes: scanning pictures of equipment or parts to be operated on, obtaining corresponding models of equipment or parts to be operated on in the pictures, obtaining virtual pictures to be guided for the first operation of the model and operating site. The first real picture transmits the virtual picture to be guided and the first real picture, in which the virtual picture to be guided is a virtual picture before the first operation of the model, and receives the first operation instruction for the first operation of the virtual picture to be guided according to the first real picture. The embodiment of this application does not need to refer to paper materials or experts to guide on-site when obtaining technical data of operating equipment or parts, thereby reducing the acquisition cost of technical data of equipment or parts and reducing the environmental impact of operating equipment or parts.

【技术实现步骤摘要】
基于AR系统的操作指导方法及装置
本申请属于工业制造
，具体地说，涉及一种基于AR系统的操作指导方法及装置。
技术介绍
目前工业中设备技术人员在装配、维修设备时常常需要查阅技术资料，以获取技术指导，更好地完成装配、维修设备的工作。通常技术资料的获取方式主要为查阅纸质资料以及邀请专家到实际场地去指导操作。但上述获取方式中技术人员在操作过程中往往要边操作边查阅，或者需要专家到现场支持才能完成，无疑容易出现错误操作。由此可见，目前技术资料的获取方式操作成本较高、可控性差并且易受环境影响，容易出现错误操作。
技术实现思路
有鉴于此，本申请所要解决的技术问题是提供了一种基于AR系统的操作指导方法及装置，以在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。为了解决上述技术问题，本申请公开了一种基于AR系统的操作指导方法，所述方法包括：对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。为解决上述技术问题，本申请还公开了一种基于AR系统的操作指导方法，应用于网络设备，所述方法包括：接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；发送所述第一操作指导。为解决上述技术问题，本申请还公开了一种基于AR系统的操作指导装置，所述装置包括：扫描单元，用于对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；第一发送单元，用于获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；第一接收单元，用于接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。为解决上述技术问题，本申请还公开了一种基于AR系统的操作指导装置，所述装置包括：第二接收单元，用于接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；生成单元，用于根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；第二发送单元，用于发送所述第一操作指导。与现有技术相比，本申请可以获得包括以下技术效果：本申请实施例实现了一种基于AR系统的操作指导方法及装置，能够实现利用虚拟环境信息引导实际环境中设备或零部件的操作，操作过程中远程终端可直接获取到对模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，并根据第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导，将第一操作指导实时传输到操作者应用的AR设备。本申请实施例将第一操作指导以虚拟影像显示在操作者面前，犹如和专家面对面交流进行操作指导一般，操作者可直观的被指导操作，使指导信息得到了更加有效的传达。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。本申请实施例改进了传统的操作方式，能够以低成本、智能化方式解决问题。当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请某些实施例提供的基于AR系统的操作指导方法流程示意图；图2是本申请某些实施例提供的基于AR系统的操作指导方法流程示意图；图3是本申请某些实施例提供的基于AR系统的操作指导方法流程示意图；图4是本申请某些实施例提供的基于AR系统的操作指导方法流程示意图；图5是本申请某些实施例提供的基于AR系统的操作指导装置示意图；图6是本申请某些实施例提供的基于AR系统的操作指导装置示意图。具体实施方式以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。申请人发现现有技术存在如下问题：目前工业中设备技术人员在装配、维修设备时常常需要查阅技术资料，通常技术资料的获取方式主要为查阅纸质资料以及邀请专家到实际场地去指导操作。但上述获取方式中技术人员在操作过程中往往要边操作边查阅，或者需要专家到现场支持才能完成，无疑容易出现错误操作。由此可见，目前技术资料的获取方式操作成本较高、可控性差并且易受环境影响，容易出现错误操作。为降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响，申请人提出了一种技术方案，能够将真实的操作场景上叠加待操作设备或零部件的虚拟模型，并为操作过程提供可视化操作指导。本申请实施例提供一种基于AR系统的操作指导方法，本方法应用于包括增强现实AR(英文全称AugmentedReality，简称AR)设备的AR系统，该AR系统可以包括头戴式AR显示设备和与该头戴式AR显示设备连接的终端设备。其中，头戴式AR显示设备可以具有拍摄装置例如摄像头，能够执行扫描操作。具体的，头戴式AR显示设备可以是AR眼镜，该终端设备可以是PC终端，也可以是移动终端例如IPAD、智能手机等。本文以指导系统包括AR眼镜和PC终端为例进行说明，其中，AR眼镜中具有摄像头。请参阅图1，本申请实施例提供应用于AR眼镜的基于AR系统的操作指导方法具体如下。步骤102，对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型。当操作者在操作过程中遇到问题需要向专家请教操作指导时，可以将当前的操作现场传送给专家，以寻求操作指导。在本实施例中，操作者可以通过AR眼镜中的摄像头对对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型。在本实施例中，对设备或零部件进行操作可以是装配、维修、拆卸、组装、打包发货等操作。在一个实施例中，AR眼镜可以存储有模型库，该模型库包括标识与设备或零部件模型的对应关系，AR眼镜对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识。AR眼镜可以在模型库包括的对应关系中查找所述待操作设备或零部件的标识，以确定所述待操作设备或零部件的标识对应的模型。AR眼镜查找到所述待操作设备或零部件的标识对应的模型后，显示查找到的模型。步骤104，获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面。当操作者在操作过程中进行第一操作时遇到问题需要向专家请教操作指导，可以获取对所述模型进行第本文档来自技高网...

【技术保护点】
1.一种基于AR系统的操作指导方法，其特征在于，所述方法包括：对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

【技术特征摘要】
1.一种基于AR系统的操作指导方法，其特征在于，所述方法包括：对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。2.根据权利要求1所述的方法，其特征在于，所述对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型，包括：对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识；根据所述标识，从预设的模型库中确定所述标识对应模型。3.根据权利要求1所述的方法，其特征在于，在获得所述图片中待操作设备或零部件对应的模型时，还包括：获得所述模型的操作说明；则所述获取对所述模型进行第一操作的待指导虚拟画面包括：接收展示所述操作说明的手势指令，依据所述操作说明展示对所述模型进行每一操作之前的第一操作虚拟画面，并从所述第一操作虚拟画面中获取对所述模型进行第一操作的待指导虚拟画面。4.根据权利要求3所述的方法，其特征在于，还包括：所述依据所述操作说明展示对所述模型进行每一操作之时的第二操作虚拟画面、和/或进行每一操作之后的第三操作虚拟画面；和/或，发送对所述第一操作进行操作问题描述的语音信息。5.根据权利要求1所述的方法，其特征在于，还包括：获取依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面，发送所述第二真实画面发送；接收依据所述第二真实画面发送的第二操作指导。6.一种基于AR系统的操作指导方法，其特征在于，所述方法包括：接收待...

【专利技术属性】
技术研发人员：郑杨，宿春慧，曹立勇，李冬，
申请(专利权)人：北京航天智造科技发展有限公司，
类型：发明
国别省市：北京,11