适用于CPS自动化控制系统的增强现实人机交互系统技术方案

本发明专利技术公开了一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，包括：AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；Digital Twin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集Digital Twin数据服务器采集存储的相应目标CPS设备的数据。本发明专利技术更加智能化，功能更加齐全，提高使用者的操作效率。本发明专利技术适用于任意CPS自动化控制系统。

Augmented reality man-machine interaction system for CPS automatic control system

The invention discloses an augmented reality human-computer interaction system suitable for CPS automation control system, which is realized based on CPS automation control system. The system includes an AR control device, which is used to identify the unique identity of the target CPS device in the CPS automation control system, and real-time use of the CPS network in the CPS automation control system. Collecting and displaying the real scene of the corresponding target CPS equipment, and establishing the correlation between AR image of the corresponding target CPS equipment and the three-dimensional position matching of the real scene; Digital Twin data server, with SCADA function, real-time data acquisition, storage and large number of target CPS equipment through the CPS network of CPS automatic control system According to data mining analysis, it is used for remote control of target CPS equipment, and AR control device collects data of corresponding target CPS equipment through CPS network through digital Twin data server. The invention is more intelligent and has more complete functions and improves the operation efficiency of users. The invention is applicable to any CPS automatic control system.

【技术实现步骤摘要】
适用于CPS自动化控制系统的增强现实人机交互系统
本专利技术属于增强现实系统领域，用于对CPS设备的智能控制，具体地说是一种适用于CPS自动化控制系统的增强现实人机交互系统。
技术介绍
增强现实（AR：AugmentedReality）技术是近二十年出现的新兴技术。而随着自动化控制技术的发展，具备CPS（Cyber-PhysicalSystems，即信息物理系统）特征的自动化控制设备的应用日益广泛，CPS设备（如数控系统、机器人控制器等）实时相关的数据信息量也大幅增加，主要表现为更复杂的控制指令，更多的传感器反馈数据，更详尽的报警信息，更智能的诊断向导，以及更丰富的网络协作设备。而目前自动控制设备的人机交互（HMI）模式依旧采用近40年前（自二十世纪七十年代）方法，人机交互（HMI）的界面布局也没有发生本质改变。虽然现有的人机交互（HMI）采用更大尺寸的显示装置（例如大尺寸显示屏等），采用了丰富的输入方式（例如采用触控屏幕等），但是人机数据与操作方式仍留在二维交互层面上，用户不能迅速的从庞大的CPS数据及时的获得关切数据，更大的屏幕中更多的显示数据反而令使用者的操作效率变得低下。
技术实现思路
本专利技术的目的是提供一种适用于CPS自动化控制系统的增强现实人机交互系统，通过增强现实（AR）技术特有的情景感知特性，实现了以“真实设备场景”为中心，基于CPS网络的“DigitalTwin”数据为驱动的全新交互框架。本专利技术为实现上述目的，所采用的技术方案如下：一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，包括：AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；DigitalTwin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集DigitalTwin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。作为对本专利技术的限定：所述AR控制装置包括：影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息；信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与DigitalTwin数据服务器获取的目标CPS设备的数据信息进行计算，完成目标CPS设备AR影像与实际场景信息叠加融合计算得到最终场景模式；显示模块，用于向AR控制装置的使用者提供影像获取模块获得的目标CPS设备实际场景，以及信息处理模块叠加融合计算得到的最终场景；输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为AR控制装置的使用者提供目标CPS设备操作控制数据输入。作为对本专利技术的另一种限定：所述目标CPS设备具备的唯一身份标识为QR识别码、蓝牙、WIFI、NFC、RFID识别码中的一种，所述唯一身份标识包括有目标CPS设备的结构尺寸及位置信息。作为对本专利技术的最后一种限定：所述AR控制装置为手机、平板、AR眼镜中的一种。作为对本专利技术中影像获取模块的限定：所述影像获取模块采用摄像头，或这采用佩戴于使用者身上的AR眼镜。本专利技术由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：本专利技术的通过CPS自动化控制系统、AR控制装置、DigitalTwin数据服务器构成，通过增强现实（AR）技术特有的情景感知特性，突破传统人机交互方式中以二维“窗口”界面为中心、单机设备数据驱动的交互框架，创新的实现了以“真实设备场景”为中心，基于CPS网络的“DigitalTwin”数据为驱动的全新交互框架，有效提高了用户从庞大的CPS数据及时的获得关切数据的效率，进而提高了使用者的操作效率。综上所述，本专利技术更加智能化，功能更加齐全，提高使用者的操作效率。本专利技术适用于任意CPS自动化控制系统。附图说明图1为本专利技术实施例的原理框图；图2为本专利技术实施例采集到的具有CPS功能的数控机床设备的真实场景；图3为本专利技术实施例利用AR控制装置将图2的数据进行叠加后的显示图；图4为本专利技术实施例选取设备的识别码图，识别代码为0422。具体实施方式以下结合附图对本专利技术的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。实施例适用于CPS自动化控制系统的增强现实人机交互系统本实施例基于CPS自动化控制系统而实现，用于对具有CPS自控化控制系统的车间数控机床或工业机器人进行人机交互，上述车间数控机床或工业机器人的共同特征是设备本身具有CNC或其他自动化控制器进行控制，具有完善的CPS网络,同时满足DigitalTwin数据服务器对其进行数据采集及远程控制的基本要求。本实施例直接对车间数控机床进行人机交互，包括：（1）AR控制装置，用于使用者握持或佩戴。由于具有CPS自动化控制系统的车间控制系统的每个设备（即目标CPS设备）具备至少一个唯一身份标识，且车间控制系统具有CPS网络，因此实施例中的AR控制装置能够通过CPS网络实时采集、并显示相应车间内目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联，如图2所示，采集到的数控机床设备的真实场景，如图4所示，该设备的唯一身份标识为0422；（2）DigitalTwin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集DigitalTwin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。DigitalTwin数据服务器采集到的AR控制装置所采集到的具备CPS功能的数控机床设备的整体数据，包含有加工数据、生产数据、维护数据等。所述AR控制装置将实际场景与DigitalTwin数据服务器采集到的数据叠加后得到的场景如图3所示。其中，本实施例中AR控制装置包括：影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息。本实施例中的影像获取模块采用现有技术中的摄像头即可，也可采用佩戴于使用者身上的AR眼镜。信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与DigitalTwin数据服务器获取的目标CPS设备的数据信息进行计算，完成目标CPS设备AR影像与实际场景信息叠加融合计算得到最终场景模式。显示模块，用于向AR控制装置的使用者提供影像获取模块获得的目标CPS设备实际场景，以及信息处理模块叠加融合计算得到的最终场景。输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为AR控制装置的使用者提供目标CPS设备操作控制数据输入。本实施例的AR控制装置可采用搭载有AR运算程序的手机、平板、AR眼镜中的一种，进而实现所用的手机、平板、AR眼镜具有上述的影像获取模块（手机、平板的摄像头，或AR眼镜本身本文档来自技高网...

【技术保护点】
1.一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，其特征在于包括：AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；Digital Twin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集Digital Twin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。

【技术特征摘要】
1.一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，其特征在于包括：AR控制装置，用于通过CPS自动化控制系统内的目标CPS设备具备的唯一身份标识，利用CPS自动化控制系统内的CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联；DigitalTwin数据服务器，具备SCADA功能，通过CPS自动化控制系统的CPS网络实时对目标CPS设备进行数据采集、存储，以及大数据挖掘分析，用于对目标CPS设备进行远程控制，同时AR控制装置通过CPS网络采集DigitalTwin数据服务器采集存储的相应目标CPS设备的数据，以及大数据挖掘分析的间接关联数据。2.根据权利要求1所述的适用于CPS自动化控制系统的增强现实人机交互系统，其特征在于：所述AR控制装置包括：影像获取模块，用于根据目标CPS设备的唯一身份标识获取目标CPS设备的实际场景信息；信息处理模块，用于根据影像获取模块获取的目标CPS设备实际场景信息与DigitalTwin数据服务器获取的目标CPS设备的数据信息进行计算，完成...

【专利技术属性】
技术研发人员：范业鹏，岑泉伟，高禄军，迟玉森，张忠，韩家文，
申请(专利权)人：江西博异自动化科技有限公司，
类型：发明
国别省市：江西,36