一种工业环境实景增强式交互方法技术

本发明专利技术公开了一种工业环境实景增强式交互方法，其采用实景增强式交互系统实现,该方法包括以下步骤：智能定位模块实时定位追踪带无线功能的AR设备的位置信息，实时数据采集模块采集工业设备的实时数据，无线通信模块在AR设备进入工业设备的物理服务范围内时，对实时数据采集模块所采集的工业设备的实时数据、与带无线功能的与AR设备产生的交互数据进行双向传输，实时连续地更新,AR设备对工业设备的情况进行显示。本发明专利技术提供了全新的组态调用、显示及观测的方式，使数据交互更加直观、便捷、人性化。

【技术实现步骤摘要】
一种工业环境实景增强式交互方法
本专利技术涉及工业控制领域，具体地，涉及工业环境实景增强式交互方法。这种交互方法涉及了AR(增强现实)技术、PLC(可编程逻辑控制器)数据监控采集技术、蓝牙无线组网和短距定位技术、以及HMI(人机接口)组态技术。
技术介绍
美国智能制造领导力联盟于2011年提出了智能制造的概念。德国于2013年在汉诺威工博会上提出了工业4.0，并将其纳入由德国政府发布的《德国2020高技术战略》的十大未来项目中，希望在新一轮的工业革命中占领先机。中国在2015年由国家工信部牵头制定了《中国制造2025》等战略级计划。由此可见，工业控制系统受到越来越多国家的重视。工业控制系统是强国之基础，大到核电厂、航空航天、轨道交通，小到民营生产等等，据统计，超过80％的涉及国计民生的领域都需要工业控制系统来实现自动化作业，其先进性和现代化程度紧密关系着国家的战略布局。PLC作为工业现场新型、通用的控制器，有着组装灵活、安全性高、抗干扰能力强等显著优点，已经被广泛而大量地运用在了各大工业现场。控制器的不断升级和革新为工业控制的生产、维护以及管理等诸多方面带来了质的突破，然而，配套辅助设施的突破性及创新性不够明显。大量的工业现场都存在以下这些现象：传统的只使用物理按键的机械式HMI操作方式沿用至今，控制方式固定死板；为设备配置独立的物理显示器，成本高昂，数据相对孤立；工业现场采用全有线数据传输，布线极其繁琐复杂等等。工业4.0时代如何改善传统工业制造模式并使其向智能制造转型很大程度上和现有实现技术是息息相关的。虽然市场中的PLC品牌的种类繁多，但是主流的控制器厂商却屈指可数，被广泛使用且具有影响力的工业现场通信协议数量并不多，这使得针对市场主流PLC进行协议对接和设备数据采集成为可能。另外，物联网以及无线通信技术的迅速发展为工业级数据传输方式带来了新的扩展途径，国家3G/4G传输速率大幅提升且覆盖范围日益完善，蓝牙自4.0+开始逐步实现了低功耗、自组网以及安全加密等优越的新特性，更加贴合工业使用环境。除此之外，视觉上，AR相关的技术热潮正冲击着传统物理屏幕的静态的固定显示方式；肢体上，景深摄像头的使用逐渐开辟了一个人机自然交互的新市场。与此同时，大数据的不断发展和人们对安全性的空前重视使得在工业环境中使用在线专家诊断系统的技术成为热门，上述每一点所涉及的新技术都可能在工业界带来开创性的技术融合与革新。本专利技术针对传统工业现场目前实际存在的上述问题，以及观测设备固定、数量众多且不能被复用、成本较高、占用较大的空间，组态调用、显示及观测方式不够灵活、人机交互方式不够灵活、设备诊断效果需要进一步改善等问题，提出了一种工业环境实景增强式交互方法。
技术实现思路
为了至少部分解决传统工业现场目前实际存在的上述技术问题，本专利技术提出了工业环境实景增强式交互方法。本专利技术提出了一种工业环境实景增强式交互方法，其采用工业环境实景增强式交互系统来实现，实景增强式交互系统包括AR设备、智能定位模块、实时数据采集模块、无线通信模块、以及工业设备，其中所述AR设备包括AR后台组态模块和AR实景自适配模块，该交互方法包括以下步骤：智能定位模块实时定位追踪带无线功能的AR设备的位置信息，同时给出工业设备的物理服务范围；实时数据采集模块采集工业设备的实时数据和对所采集的工业设备进行实时数据的反馈；无线通信模块在AR设备进入工业设备的物理服务范围内时，对实时数据采集模块所采集的工业设备的实时数据、与AR设备产生的交互数据进行双向传输，实时连续地更新；AR后台组态模块获取工业设备的各项参数指标及附加实时数据，同时用于接收和解释AR设备的指令，以实现组态环境的生成和/或更新；以及，AR实景自适配模块捕捉AR设备视野中的实际观测对象，自动调整所采集的工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由AR后台组态模块所生成和/或更新的组态环境。根据本专利技术的交互方法，实时数据采集模块包括数据获取装置和数据反馈装置，由数据获取装置采集工业设备的实时数据；以及由数据反馈装置对所采集的工业设备进行实时数据的反馈。根据本专利技术的交互方法，其中的实时数据采集模块采用有线接入方式或无线接入方式，且在网络接入时绑定工业设备的IP地址。根据本专利技术的交互方法，其中的实时数据采集模块分别采用以下有线接入方式或无线接入方式中的至少一种：串口、网线、WiFi、2G/3G/4G；其中的实时数据采集模块基于网络的方案采用C/S架构的客户端或B/S架构的web服务的数据访问方式。根据本专利技术的交互方法，其中的智能定位模块是采用带组网物联的无线定位技术的定位模块。根据本专利技术的交互方法，其中的智能定位模块采用以下带组网物联的无线定位技术：蓝牙无线定位技术，用于给出工业设备的服务范围；蓝牙组网技术，用于多设备互联且汇总数据从而提供模拟工业现场的虚拟节点设备。根据本专利技术的交互方法，其中的无线通信模块采用蓝牙作为基础通信方案，或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。根据本专利技术的交互方法，还包括以下步骤：在所述AR设备进入智能定位模块的控制节点设备的服务范围内时，将带有通过上述通信方案实现的无线功能的AR设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性，其中所述AR设备采用蓝牙作为基础通信方案，或者扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案。根据本专利技术的交互方法，还包括以下步骤：AR实景自适配模块自动调整和选择组态界面或通用界面的配置，用于在AR设备上显示所采集的工业设备的实时数据。根据本专利技术的交互方法，其中的AR后台组态模块包括在线专家诊断系统，并且还包括以下步骤：在线专家诊断系统进行指标提取分析，并且进行综合评判以给出优选决策提示，以供使用者针对多种方案做出决策。根据本专利技术的交互方法，其中的智能定位模块使用蓝牙定位、LoRa定位、室内GPS定位中的至少一种。根据本专利技术的交互方法，其中，服务范围部分重叠的多个工业设备组成网络，实现设备互联，用于模拟虚拟化的I/O数据节点。根据本专利技术的交互方法，在使用其的实景增强式交互系统还包括控制节点设备时，当实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案，并且扩展到2G/3G/4G、WiFi、以及LoRa通信方案中的至少一种方案时，用于在带有通过上述通信方案实现的无线功能的AR设备进入智能定位模块的控制节点设备的服务范围内时，将AR设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性。如本领域的技术人员能够理解的，根据本专利技术的实景增强式交互方法至少能够部分地获得如下有益效果：本专利技术的实景增强式交互方法提供了一种全新的组态调用、显示及观测的方式，通过随身佩戴AR设备的移动式复用，可在一定程度上减少工业环境传统显示设备的数量，降低采购成本，更加节约能耗和设备占用空间，同时缓解现场复杂布线问题。本专利技术的实景增强式交互方法由于采用了物理与体感相结合的人机交互方式，所以不仅能够以高精度的操作来使用对物理设备的控制，从而保证其具有传统工业中的稳定性、安全性和可靠性；而且能够以低精度和提示性的操作来使用手势、语音本文档来自技高网...

【技术保护点】
一种工业环境实景增强式交互方法，其采用工业环境实景增强式交互系统来实现，所述实景增强式交互系统包括AR设备、智能定位模块、实时数据采集模块、无线通信模块、以及工业设备，其中所述AR设备包括AR后台组态模块和AR实景自适配模块，所述交互方法包括以下步骤：所述智能定位模块实时定位追踪带无线功能的AR设备的位置信息，同时给出所述工业设备的物理服务范围；所述实时数据采集模块采集所述工业设备的实时数据和对所采集的所述工业设备进行实时数据的反馈；所述无线通信模块在所述AR设备进入所述工业设备的物理服务范围内时，对所述实时数据采集模块所采集的工业设备的所述实时数据、与所述AR设备产生的交互数据进行双向传输，实时连续地更新；所述AR后台组态模块获取所述工业设备的各项参数指标及附加实时数据，同时用于接收和解释所述AR设备的指令，以实现组态环境的生成和/或更新；以及所述AR实景自适配模块捕捉所述AR设备视野中的实际观测对象，自动调整所采集的所述工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由所述AR后台组态模块所生成和/或更新的组态环境。

【技术特征摘要】
1.一种工业环境实景增强式交互方法，其采用工业环境实景增强式交互系统来实现，所述实景增强式交互系统包括AR设备、智能定位模块、实时数据采集模块、无线通信模块、以及工业设备，其中所述AR设备包括AR后台组态模块和AR实景自适配模块，所述交互方法包括以下步骤：所述智能定位模块实时定位追踪带无线功能的AR设备的位置信息，同时给出所述工业设备的物理服务范围；所述实时数据采集模块采集所述工业设备的实时数据和对所采集的所述工业设备进行实时数据的反馈；所述无线通信模块在所述AR设备进入所述工业设备的物理服务范围内时，对所述实时数据采集模块所采集的工业设备的所述实时数据、与所述AR设备产生的交互数据进行双向传输，实时连续地更新；所述AR后台组态模块获取所述工业设备的各项参数指标及附加实时数据，同时用于接收和解释所述AR设备的指令，以实现组态环境的生成和/或更新；以及所述AR实景自适配模块捕捉所述AR设备视野中的实际观测对象，自动调整所采集的所述工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由所述AR后台组态模块所生成和/或更新的组态环境。2.根据权利要求1所述的交互方法，其特征在于，所述实时数据采集模块包括数据获取装置和数据反馈装置，由所述数据获取装置采集所述工业设备的所述实时数据；以及由所述数据反馈装置对所采集的所述工业设备进行实时数据的反馈。3.根据权利要求1或2所述的交互方法，其特征在于，所述实时数据采集模块采用有线接入方式或无线接入方式，且在网络接入时绑定所述工业设备的IP地址。4.根据权利要求3所述的交互方法，其特征在于，所述实时数据采集模块分别采用以下有线接入方式或无线接入...

【专利技术属性】
技术研发人员：何积丰，毛侠，史建琦，黄滟鸿，李昂，方徽星，
申请(专利权)人：华东师范大学，上海丰蕾信息科技有限公司，
类型：发明
国别省市：上海,31