一种人机协作中的异常行为识别与风险管控的方法及系统技术方案

本发明专利技术公开了一种人机协作中的异常行为识别与风险管控的方法及系统，所述方法包括：采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果；采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果；对所述初始状态异常行为识别结果和实时状态异常行为识别结果进行风险管控，获取风险管控结果，并生成人机协作控制指令；基于所述人机协作控制指令对人机协作过程进行控制。本发明专利技术分别通过初始状态异常行为识别和实时状态异常行为识别，再通过风险管控，解决了目前人机协作异常行为识别难、精确度低、反应速度慢的问题。反应速度慢的问题。反应速度慢的问题。

【技术实现步骤摘要】
一种人机协作中的异常行为识别与风险管控的方法及系统


[0001]本专利技术涉及人机协作
，尤其涉及一种人机协作中的异常行为识别与风险管控的方法及系统。

技术介绍

[0002]随着工业向自动化、信息化、智能化发展，人与机器人能发挥各自优势，在同一时间、空间中高效协同制造模式已成为智能制造发展必然趋势。然而，由于人的作业行为不规范或误操作等原因，人与机器人在共享空间中的协作共融必然存在安全隐患，对其异常行为识别与风险管控已成为影响人与机器人协作效率的核心因素，也是决定人机协作能否在工业界进行大规模应用的关键环节。
[0003]针对在人机共融趋势下人与机器人协作行为安全风险监控的迫切需求，通常采用基于视觉的非接触检测方式进行检测，但目前的检测方式采用特定的软硬件系统，检测成本较高，并且对于异常行为识别与风险管控存在识别难、精确度低、反应速度慢等问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种人机协作中的异常行为识别与风险管控的方法及系统，通过设置采集设备，搭建多个检测模型，实现初始状态异常行为识别和实时状态异常行为识别，再通过风险管控，解决了目前人机协作异常行为识别难、精确度低、反应速度慢的问题。
[0005]本专利技术提供了一种人机协作中的异常行为识别与风险管控的方法，其特征在于，所述方法包括：
[0006]在人机协作过程开始前，采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果；
>[0007]在人机协作过程开始后，采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果；
[0008]对所述初始状态异常行为识别结果和实时状态异常行为识别结果进行风险管控，获取风险管控结果，并生成人机协作控制指令；
[0009]基于所述人机协作控制指令对人机协作过程进行控制。
[0010]进一步的，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果包括：
[0011]基于采集设备采集操作人员的穿戴行为图像信息，并将所述穿戴行为图像信息发送到服务器；
[0012]预设穿戴行为规范，基于所述穿戴行为规范建立穿戴行为规范检测数据集；
[0013]以所述穿戴行为规范检测数据集作为训练集，采用目标检测算法对所述穿戴行为规范检测模型进行训练优化，构建穿戴行为规范检测模型；
[0014]将所述穿戴行为规范检测模型的模型框架转换为AI模型框架，并部署在服务器
上；
[0015]基于所述穿戴行为规范检测数据集对所述穿戴行为图像信息进行初始状态异常行为识别，获取第一初始状态异常行为识别结果。
[0016]进一步的，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果还包括：
[0017]服务器向机器人发送初始状态信息获取指令；
[0018]机器人接收所述初始状态信息获取指令后，获取机器人初始状态信息，并发送至服务器；
[0019]预设机器人初始状态规范，基于所述机器人初始状态规范建立机器人初始状态规范检测数据集；
[0020]基于所述机器人初始状态规范检测数据集构建机器人初始状态规范检测模型；
[0021]将所述机器人初始状态规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；
[0022]基于所述机器人初始状态规范检测模型对所述机器人初始状态信息进行初始状态异常行为识别，获取第二初始状态异常行为识别结果。
[0023]进一步的，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果还包括：
[0024]当所述第一初始状态异常行为识别结果和所述第二初始状态异常行为识别结果均为正常，则所述初始状态异常行为识别结果为正常；
[0025]当所述第一初始状态异常行为识别结果或所述第二初始状态异常行为识别结果为异常，则所述初始状态异常行为识别结果为异常。
[0026]进一步的，所述采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果包括：
[0027]基于采集设备采集操作人员在人机协作过程中的实时图像信息，并将所述操作人员在人机协作过程中的实时图像信息发送到服务器；
[0028]预设人机协作过程中操作人员的操作异常行为规范，基于所述操作异常行为规范建立操作异常行为规范检测数据集；
[0029]以所述操作异常行为规范检测数据集作为训练集，采用区域多人姿态识别算法和时空图卷积网络算法结合的融合算法对所述操作异常行为规范检测数据集进行训练优化，构建操作异常行为规范检测模型；
[0030]将所述操作异常行为规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；
[0031]基于所述操作异常行为规范检测模型对所述操作人员在人机协作过程中的实时图像信息进行实时状态异常行为识别，获取第一实时状态异常行为识别结果。
[0032]进一步的，所述采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果还包括：
[0033]基于采集设备采集机器人在人机协作过程中的实时图像信息，并将所述机器人在人机协作过程中的实时图像信息发送到服务器；
[0034]预设人机协作过程中机器人的运行异常行为规范，基于所述运行异常行为规范建
立运行异常行为规范检测数据集；
[0035]以所述运行异常行为规范检测数据集作为训练集，采用区域多人姿态识别算法和时空图卷积网络算法结合的融合算法对所述运行异常行为规范检测数据集进行训练优化，构建运行异常行为规范检测模型；
[0036]将所述运行异常行为规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；
[0037]基于所述运行异常行为规范检测模型对所述机器人在人机协作过程中的实时图像信息进行实时状态异常行为识别，获取第二实时状态异常行为识别结果。
[0038]进一步的，所述采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果还包括：
[0039]基于采集设备分别采集操作人员和机器人在人机协作过程中的实时图像信息，并将所述操作人员和机器人在人机协作过程中的实时图像信息发送到服务器；
[0040]提取所述操作人员和机器人在人机协作过程中的实时图像信息中的关键部位姿态信息，基于所述关键部位姿态信息建立人机关键部位姿态信息数据集；
[0041]以所述人机关键部位姿态信息数据集作为训练集，采用目标检测算法对所述人机关键部位姿态信息数据集进行训练优化，构建人机关键部位检测模型；
[0042]将所述人机关键部位检测模型的模型框架转换为AI模型框架，并部署在服务器上；
[0043]基于所述人机关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机协作中的异常行为识别与风险管控的方法，其特征在于，所述方法包括：在人机协作过程开始前，采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果；在人机协作过程开始后，采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果；对所述初始状态异常行为识别结果和实时状态异常行为识别结果进行风险管控，获取风险管控结果，并生成人机协作控制指令；基于所述人机协作控制指令对人机协作过程进行控制。2.如权利要求1所述的人机协作中的异常行为识别与风险管控的方法，其特征在于，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果包括：基于采集设备采集操作人员的穿戴行为图像信息，并将所述穿戴行为图像信息发送到服务器；预设穿戴行为规范，基于所述穿戴行为规范建立穿戴行为规范检测数据集；以所述穿戴行为规范检测数据集作为训练集，采用目标检测算法对所述穿戴行为规范检测数据集进行训练优化，构建穿戴行为规范检测模型；将所述穿戴行为规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；基于所述穿戴行为规范检测模型对所述穿戴行为图像信息进行初始状态异常行为识别，获取第一初始状态异常行为识别结果。3.如权利要求2所述的人机协作中的异常行为识别与风险管控的方法，其特征在于，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果还包括：服务器向机器人发送初始状态信息获取指令；机器人接收所述初始状态信息获取指令后，获取机器人初始状态信息，并发送至服务器；预设机器人初始状态规范，基于所述机器人初始状态规范建立机器人初始状态规范检测数据集；基于所述机器人初始状态规范检测数据集构建机器人初始状态规范检测模型；将所述机器人初始状态规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；基于所述机器人初始状态规范检测模型对所述机器人初始状态信息进行初始状态异常行为识别，获取第二初始状态异常行为识别结果。4.如权利要求3所述的人机协作中的异常行为识别与风险管控的方法，其特征在于，所述采集初始状态信息，并对所述初始状态信息进行初始状态异常行为识别，获取初始状态异常行为识别结果还包括：当所述第一初始状态异常行为识别结果和所述第二初始状态异常行为识别结果均为正常，则所述初始状态异常行为识别结果为正常；当所述第一初始状态异常行为识别结果或所述第二初始状态异常行为识别结果为异常，则所述初始状态异常行为识别结果为异常。
5.如权利要求1所述的人机协作中的异常行为识别与风险管控的方法，其特征在于，所述采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果包括：基于采集设备采集操作人员在人机协作过程中的实时图像信息，并将所述操作人员在人机协作过程中的实时图像信息发送到服务器；预设人机协作过程中操作人员的操作异常行为规范，基于所述操作异常行为规范建立操作异常行为规范检测数据集；以所述操作异常行为规范检测数据集作为训练集，采用区域多人姿态识别算法和时空图卷积网络算法结合的融合算法对所述操作异常行为规范检测数据集进行训练优化，构建操作异常行为规范检测模型；将所述操作异常行为规范检测模型的模型框架转换为AI模型框架，并部署在服务器上；基于所述操作异常行为规范检测模型对所述操作人员在人机协作过程中的实时图像信息进行实时状态异常行为识别，获取第一实时状态异常行为识别结果。6.如权利要求5所述的人机协作中的异常行为识别与风险管控的方法，其特征在于，所述采集实时状态信息，并对所述实时状态信息进行实时状态异常行为识别，获取实时状态异常行为识别结果还包括：基于采集设备采集机器人在人机协作过程中的实时图像信息，并将所述机器人在人机协作过程中的实时图像信息发送到服务器；预设人机协作过程中机器...

【专利技术属性】
技术研发人员：钟震宇，黄天仑，周松斌，
申请(专利权)人：广东省科学院智能制造研究所，
类型：发明
国别省市：