一种基于增强现实的产品交互与故障诊断方法技术

本发明专利技术公开了一种基于增强现实的产品交互与故障诊断方法，它通过建立以即能观看到现实场景又能观看到虚拟信息显示的交互平台；将需要进行交互的产品对应的需要向用户传递的信息进行电子化转换为信息源；并以实现快速检索为目的进行关键词与影像单元化的标签处理；将信息源及经标签处理后的信息预存到交互平台中或者预存在网络或本地存储设备中，然后通过通信媒介与交互平台之建立可以实时加载数据信息的链接通道；当检测到用户的需求指令后，自动答复，同时调出最符合当时场景的信息数据在交互平台上显示给用户以提高交互效率。本方案具有可以解放双手，更加高效，虚实结合，精确反映设备信息，可对产品进行故障诊断与识别指导维修的有益效果。别指导维修的有益效果。别指导维修的有益效果。

【技术实现步骤摘要】
一种基于增强现实的产品交互与故障诊断方法


[0001]本专利技术属于人机交互
，涉及针对大型装备或复杂机器的智能交互技术，具体是指一种可让用户快速地掌握产品的功能，使用方法，拆装维修技巧以及迅速地判断和锁定产品工作状态和故障点的基于增强现实的产品交互与故障诊断方法。

技术介绍

[0002]现有技术中，大型装备或机器在出厂时需要配备详细的说明书供用户了解和使用，比如发动机手册，汽车手册，精密车床手册等等。对应的机器操作者，维修工人，二次设计研发员等用户，需要了解这些手册中的相关内容，才能对设备进行操作使用或者维修设计等等工作。如果不加了解，就直接上手操作使用或维持，很容易造成机器的损坏，影响机器的功能和工作效率。
[0003]然而本专利申请的专利技术人发现，现有技术中对装备出厂所配备详细的手册，包括产品说明书，维修手册，使用说明书，用户手册，故障诊断说明，拆装手册等等。这些手册大多都是纸质的，用户想要快速查找里面相关内容时操作非常不便利。针对这一问题，有的厂家会在纸质手册的基础上同时配备电子文档，或者是配备一个专用的电子平板设备，以便用户快速查阅对应的产品手册。这样操作虽然提高了查找效率，但是在实际操作层面，对于大型装备仍是杯水车薪，提升并不明显。首先大型设备手册种类多，用户无法短时间完全有效地找到当时需要的内容。其次通过手册提供的文字和二维图片说明，阅读理解字面意思，效率低下，也很可能因为字面理解错误，导致错误操作。再者手册离不开双手，需要双手翻阅，甚至是多人合作（比如一人翻阅记录，一人对照机器操作）在狭小空间，矛盾更加突出，工具、手册等无处可放；熟悉学习的时间、成本和效率都是不能忍受的。
[0004]本专利申请的专利技术人通过检索发现，针对上述的解决方案存在的问题，有人进一步提出了引入智能眼镜的方案，即将配备的电子手册或是平板电脑升级为智能眼镜，让用户直接通过智能眼镜来查阅相关信息。但该方案还是停留在简单的将产品信息导入现有市售产品中的阶段。也就是说虽然查阅效率进一步提高了，但是交互效率仍然很低下，无法对现实场景进行识别并结合产品的现实场景提供更多的支持；更加无法对产品进行故障诊断与识别，并指导用户自助维修。同时还缺少对用户进行安全预警的相关功能，即无法保障用户在与产品进行交互或诊断时不会受到产品和产品周边其他部件的碰撞等伤害。
[0005]另外，本专利申请的专利技术人还通过检索发现有专利申请号为：202110337423.2，专利名称为：一种基于增强现实的装配引导方法、系统及应用的专利技术专利申请；该专利申请公开了一种基于增强现实的装配引导方法、系统及应用，其中装配引导方法包括：将零件模型轮廓信息和配信息解析为结构化数据；识别并捕捉所有零件的位姿信息，为AR场景提供零件的三维跟踪注册矩阵，对现实场景中零件进行动态跟踪及定位，搭建增强现实场景；实时提取零件的三维边缘轮廓特征信息，区分在当前状态下待装配体的基础件和其余零件；基础件待装配位置处高亮显示引导信息；待装配零件进行包络体高亮化标识；装配并动态视觉识别判断装配情况，实现虚实融合；重复上述步骤，所有的零件安装完成。本专利申请的
专利技术人通过对比发现，该专利申请公开了通过增强现实技术进行快速装配引导的一种方案。但并未涉及产品的使用说明介绍、故障诊断还有用户安全预警等内容。
[0006]通过进一步检索，本专利申请的专利技术人发现有专利申请号为：202011420025.9，专利名称为：一种增强现实环境下实时控制及可视化数字工厂的系统的专利技术专利申请；该专利申请公开了一种增强现实环境下实时控制及可视化数字工厂的系统及装置，至少包括增强现实装置、服务器系统和与若干被控对象，所述服务器系统至少包括二维模块和三维模块，所述二维模块以二维的方式显示被控对象的二维图形部件；所述三维模块以三维的方式显示被控对象的三维图形部件；所述被控对象的属性数据能够响应于所述增强现实装置的操作指令以二维图形和三维视图的方式并行地显示，所述二维模块和/或所述三维模块能够基于所述增强现实装置反馈的操作指令控制所述的被控对象。本专利申请的专利技术人通过对比发现，该专利申请公开了通过增强现实技术进行高效巡检的方案，同时有提及对工厂局部故障的预判和帮助工人绕开危机的巡检路线规划等内容。但其对故障和危险的预判是基于采集工厂中的各类仪表与探头的数据信号进行自动分析后得出的，不是交互平台直接探测到的，存在信息的延时和传递偏差，同时该系统侧重点是在巡检，即侧重于被动接收巡检信息，而不是高效的进行交互。
[0007]综上所述，目前仍然缺少一种虚实结合，交互方式更加高效，并可以对产品进行故障诊断与识别，指导用户自助维修，同时在交互与诊断过程中仍最大程度保障用户安全的基于增强现实的产品交互与故障诊断方法。

技术实现思路

[0008]本专利技术要解决的技术问题是，提供一种虚实结合，交互方式更加高效，并可以对产品进行故障诊断与识别，指导用户自助维修，同时在交互与诊断过程中仍最大程度保障用户安全的基于增强现实的产品交互与故障诊断方法。
[0009]为解决上述技术问题，本专利技术提供的技术方案为：一种基于增强现实的产品交互与故障诊断方法，它包括如下步骤：第一步，建立以让用户即能观看到现实场景又能观看到虚拟信息的智能穿戴设备为载体的交互平台；所述的交互平台连接有摄像头、麦克风、传声装置、温度传感器、探伤传感器、测距传感器和其他探测产品状态的功能传感器；所述的交互平台上配备有安全预警系统，用于检测用户在与产品进行交互和故障诊断时是否会受到安全威胁，以保障人身安全；第二步，将需要进行交互的产品对应的需要向用户传递的信息进行电子化转换为信息源；所述的信息源包括产品的使用说明信息、故障诊断信息，形式包括文字、语音、图片和视频；第三步，将第二步中的信息源以实现快速检索为目的进行关键词与影像单元化的标签处理；同时将信息源及经标签处理后的信息预存到交互平台内；或者预存在网络或本地存储设备中，并与交互平台之建立可以实时加载数据信息的链接通道；第四步，控制交互平台通过其搭载的各个视角摄像头和传感器实时获取用户眼前需要进行交互的产品当前状态下的数据信息、用户的指令信息及用户所处环境周围的安全信息；
第五步，当检测到用户的指令信息后，交互平台对用户指令、采集的输入源数据以及存储的信息源数据进行匹配处理后，调出最接近当时场景的信息在交互平台上展示给用户，展示内容包括且不限于文字，语音，图像，视频，动画；如果有多条类似信息结果，则根据权重，将结果简介列表展示，并通知用户进行信息选择，然后根据用户的选择指令进行信息筛选与展示；用户在观看上述虚拟信息的同时可以观看到眼前产品的真实场景；当交互平台的安全预警系统检测到安全威胁时，会立即向用户发出预警信号，并提示避险方案。
[0010]作为优选，所述的交互平台具有多机联机通信功能模块，可以实现多机共享视角和共享数据，通信方式包括物理有线连接和无线网络连接方式；所述的交互平台的功能传感器包括有可以采集产品图像，灰度，红外和热能的特征数据的多种传感器。
[0011]作为优选，所述的交互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的产品交互与故障诊断方法，其特征在于：它包括如下步骤：第一步，建立以让用户即能观看到现实场景又能观看到虚拟信息的智能穿戴设备为载体的交互平台；所述的交互平台连接有摄像头、麦克风、传声装置、温度传感器、探伤传感器、测距传感器和其他探测产品状态的功能传感器；所述的交互平台上配备有安全预警系统，用于检测用户在与产品进行交互和故障诊断时是否会受到安全威胁，以保障人身安全；第二步，将需要进行交互的产品对应的需要向用户传递的信息进行电子化转换为信息源；所述的信息源包括产品的使用说明信息、故障诊断信息，形式包括文字、语音、图片和视频；第三步，将第二步中的信息源以实现快速检索为目的进行关键词与影像单元化的标签处理；同时将信息源及经标签处理后的信息预存到交互平台内；或者预存在网络或本地存储设备中，并与交互平台之建立可以实时加载数据信息的链接通道；第四步，控制交互平台通过其搭载的各个视角摄像头和传感器实时获取用户眼前需要进行交互的产品当前状态下的数据信息、用户的指令信息及用户所处环境周围的安全信息；第五步，当检测到用户的指令信息后，交互平台对用户指令、采集的输入源数据以及存储的信息源数据进行匹配处理后，调出最接近当时场景的信息在交互平台上展示给用户，展示内容包括且不限于文字，语音，图像，视频，动画；如果有多条类似信息结果，则根据权重，将结果简介列表展示，并通知用户进行信息选择，然后根据用户的选择指令进行信息筛选与展示；用户在观看上述虚拟信息的同时可以观看到眼前产品的真实场景；当交互平台的安全预警系统检测到安全威胁时，会立即向用户发出预警信号，并提示避险方案。2.根据权利要求1所述的基于增强现实的产品交互与故障诊断方法，其特征在于：所述的交互平台具...

【专利技术属性】
技术研发人员：吴文洪，彭凯，张祥，黄湘龙，李劲松，
申请(专利权)人：北京鸿文汇智科技有限公司，
类型：发明
国别省市：