一种基于增强现实的远程协助的方法及装置制造方法及图纸

本发明专利技术公开了一种基于增强现实的远程协助的方法及装置，具体包括以下步骤：步骤一、眼镜端设定；步骤二、服务端设定；步骤三、视频对接，本发明专利技术涉及工业产品检修技术领域。该基于增强现实的远程协助的方法及装置，利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作系统，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督，利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。提供更为便捷的操作环境。提供更为便捷的操作环境。

【技术实现步骤摘要】
一种基于增强现实的远程协助的方法及装置


[0001]本专利技术涉及工业产品检修
，具体为一种基于增强现实的远程协助的方法及装置。

技术介绍

[0002]伴随着科技的进步制造业等领域对专业技工的技能要求越来越高，软硬件作为互联网技术发展中主要的支撑，如今已经渗透到了各行各业中，特别一些专门提供软件或硬件技术支持的企业，专家资源是稀缺资源，专业技能需要时间沉淀。另外，不管是因为偶发性的事件，还是常态性的事件影响，出差经常受到时间、空间的限制，导致服务专家很难在第一时间赶赴现场。
[0003]在当下日益变化的环境中，更需要通过高效的服务模式和技术产品来维护客户关系，比如在一些技术型公司在服务客户过程会派遣技术人员驻场运维，尽管这样给客户带来不错的服务体验，但是极大增加了企业的运营成本，而一些通过远程协助的方式来解决远程技术问题的公司，不仅保障了客户对于技术处理的时效要求，提高满意度，还能够帮助企业降低企业成本。
[0004]工业现场维修或装配中，一线操作人员常遇到技术障碍，而技术专家往往都在远端，协作较难，影响工作效率，严重时甚至造成“停工”等风险，直接影响企业经济效益。
[0005]传统远程协助的方法如手机，ipad等智能设备都需要手持操作无法解放双手，在绝大多数维修维护场景中，解放双手是非常有必要的并且服务的过程中，缺乏有效的过程监督手段，因此很难评判现场作业过程或远程指导过程是否标准，难以发现服务过程中的问题，并且传统远程协助的方法，会遇到轻重问题难区分，电话描述易误解，标记位置难描述，交互记录无存档等问题。

技术实现思路

[0006](一)解决的技术问题
[0007]针对现有技术的不足，本专利技术提供了一种基于增强现实的远程协助的方法及装置，解决了传统远程协助方法中，往往无法解放双手，并且缺乏有效过程监督手段的问题。
[0008](二)技术方案
[0009]为实现上述目的，本专利技术提供了如下技术方案：一种基于增强现实的远程协助的方法，具体包括以下步骤：
[0010]步骤一、眼镜端设定：以AR眼镜为主体，内置光学显示模组进行成像展示，在眼镜上装配双目语言摄像头，AR眼镜中设置光机，并且内嵌矢量处理器，与服务端对接，构成操作系统后，在AR眼镜上设置扬声器和麦克风，用于进行声音交互；
[0011]步骤二、服务端设定：服务端接收双目语言摄像头摄取画面，在AR眼镜中通过光波导成像进行展示，同时进行手部建模，将手部关节作为关键点进行标记，在双目语言摄像头摄取画面中，对手部进行动作时的关键点进行捕捉；
[0012]步骤三、视频对接：近端人员佩戴AR眼镜，并确定联网后，向远端发起视频请求，远端工程师同意视频请求后，建立视频通话，近端人员佩戴AR眼镜进行现场操作，双目语言摄像头将现场画面实时传输到远端工程师佩戴的AR眼镜中，此时远端工程师根据实时传输画面进行手部动作，远端工程师佩戴的AR眼镜上的双目语言摄像头捕捉工程师手部动作，通过服务端传输到近端人员佩戴的AR眼镜中进行展示。
[0013]通过采用上述技术方案，利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作系统，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督。
[0014]本专利技术进一步设置为：所述步骤二中进行手部建模时，服务端预设定不同手势与画面控制的映射关系，根据双目语言摄像头摄取画面中的手部手势，对摄取画面进行播放控制，其中画面的播放控制包含但不限于画面放大、画面拉近、画面暂停。
[0015]通过采用上述技术方案，利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。
[0016]本专利技术进一步设置为：所述步骤三的视频通话建立完成后，建立近端AR眼镜和远端AR眼镜上扬声器和麦克风的声音交互通道。
[0017]本专利技术进一步设置为：所述步骤三中的近端AR眼镜摄取画面数据、近端与远端进行交互的全程数据存储在服务端中。
[0018]通过采用上述技术方案，通过对交互数据的存储，将现场处置问题的方案和经验快速有效的转化成实际操作教程，从而避免新人培训停留在理论配合和基础操作培训上，实际操作培训不足的情况，交互数据以视频形式存储，作为教学素材可以更好的指导更多人员，为企业内部管理、员工满意度及未来成长空间提供更多可能性。
[0019]本专利技术进一步设置为：所述步骤一中的AR眼镜预装离线免唤醒语音操控功能。
[0020]本专利技术进一步设置为：所述步骤一中的AR眼镜上设置物理按钮，用于进行快捷触控操作。
[0021]本专利技术进一步设置为：所述步骤一中内置的光学显示模组采用光波导技术进行成像。
[0022]本专利技术还公开了一种基于增强现实的远程协助的方法的装置，包括：
[0023]AR眼镜，作为穿戴载体，佩戴于眼睛前方；
[0024]双目语言摄像头，用于进行画面的摄取，并将摄影画面的视频数据进行数据转换后传送到矢量处理器中；
[0025]矢量处理器，用于接收双目语言摄像头传输的转换后的视频数据，传输到光学显示模组中；
[0026]光学显示模组，用于采用光波导技术将转换后的视频数据在AR眼镜中进行画面的播放；
[0027]麦克风，用于进行语音信号的接收；
[0028]扬声器，用于进行语音信号的播放。
[0029](三)有益效果
[0030]本专利技术提供了一种基于增强现实的远程协助的方法及装置。具备以下有益效果：
[0031](1)该基于增强现实的远程协助的方法及装置，通过利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作系统，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督。
[0032](2)该基于增强现实的远程协助的方法及装置，通过利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。
[0033](3)该基于增强现实的远程协助的方法及装置，通过对交互数据的存储，将现场处置问题的方案和经验快速有效的转化成实际操作教程，从而避免新人培训停留在理论配合和基础操作培训上，实际操作培训不足的情况，交互数据以视频形式存储，作为教学素材可以更好的指导更多人员，为企业内部管理、员工满意度及未来成长空间提供更多可能性。
[0034](4)该基于增强现实的远程协助的方法及装置，通过AR眼镜进行近端和远端视频画面的统一展示，实现以远程协助的方式来解决近端问题，从而避免传统企业生产经营活动中，如遇现场人员解决不了，需远程专家协作时，往往会带来交通、住宿、人工等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的远程协助的方法，其特征在于：具体包括以下步骤：步骤一、眼镜端设定：以AR眼镜为主体，内置光学显示模组进行成像展示，在眼镜上装配双目语言摄像头，AR眼镜中设置光机，并且内嵌矢量处理器，与服务端对接，构成操作系统后，在AR眼镜上设置扬声器和麦克风，用于进行声音交互；步骤二、服务端设定：服务端接收双目语言摄像头摄取画面，在AR眼镜中通过光波导成像进行展示，同时进行手部建模，将手部关节作为关键点进行标记，在双目语言摄像头摄取画面中，对手部进行动作时的关键点进行捕捉；步骤三、视频对接：近端人员佩戴AR眼镜，并确定联网后，向远端发起视频请求，远端工程师同意视频请求后，建立视频通话，近端人员佩戴AR眼镜进行现场操作，双目语言摄像头将现场画面实时传输到远端工程师佩戴的AR眼镜中，此时远端工程师根据实时传输画面进行手部动作，远端工程师佩戴的AR眼镜上的双目语言摄像头捕捉工程师手部动作，通过服务端传输到近端人员佩戴的AR眼镜中进行展示。2.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤二中进行手部建模时，服务端预设定不同手势与画面控制的映射关系，根据双目语言摄像头摄取画面中的手部手势，对摄取画面进行播放控制。3.根据权利要求1所述的一种基于增...

【专利技术属性】
技术研发人员：洪舸，
申请(专利权)人：上海疆通科技有限公司，
类型：发明
国别省市：