基于图像处理的设备操作安全检测方法、系统及相关设备技术方案

本发明专利技术公开了一种基于图像处理的设备操作安全检测方法、系统及相关设备，方法包括：获取语音指导信息，根据上述语音指导信息获取目标操作信息，并根据上述目标操作信息获取操作安全条件；向被监测对象输出上述语音指导信息，获取上述被监测对象对应的操作等待时间和操作图像；根据上述待执行操作、上述操作等待时间和上述操作图像获取上述被监测对象对应的实际操作信息和安全判断信息；根据上述目标操作信息、上述操作安全条件、上述实际操作信息和上述安全判断信息对上述被监测对象进行设备操作安全检测，获得安全检测结果。本发明专利技术方案有利于提高设备操作安全检测的准确性和效率。效率。效率。

【技术实现步骤摘要】
基于图像处理的设备操作安全检测方法、系统及相关设备


[0001]本专利技术涉及图像处理
，尤其涉及的是一种基于图像处理的设备操作安全检测方法、系统及相关设备。

技术介绍

[0002]随着科学技术的发展，各个领域所应用的设备越来越多。例如，在模块化建筑生产领域，需要使用到激光切合机械臂、焊接机械臂、翻转设备等。在其它领域也有其它对应的生产设备。其中，部分设备在使用过程中需要操作人员根据指导信息进行手动操作或调整，而对于操作人员的操作过程需要进行安全检测，以免出现操作不当引起的安全事故。
[0003]现有技术中，通常需要配备安全员对操作人员的设备操作过程进行安全检测，以在操作人员操作失误时及时提醒或制止。现有技术的问题在于，通过人工进行操作安全检测时需要消耗大量的人力资源。且安全员需要实时关注指导信息，根据指导信息判断操作人员是否操作错误，而安全员难以持续准确的获知指导信息和操作人员的操作动作并进行安全检测，例如当一个安全员需要检测多个设备和多个操作人员的操作时难以同时确定所有设备的指导信息和所有操作人员的操作动作并进行判断，且人工判断的准确性有限，不利于提高设备操作安全检测的准确性，从而不利于提高设备操作的安全性。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于图像处理的设备操作安全检测方法、系统及相关设备，旨在解决现有技术中通过人工进行操作安全检测的方案需要消耗大量的人力资源，且不利于提高设备操作安全检测的准确性和设备操作的安全性的问题。
[0006]为了实现上述目的，本专利技术第一方面提供一种基于图像处理的设备操作安全检测方法，其中，上述基于图像处理的设备操作安全检测方法包括：获取语音指导信息，根据上述语音指导信息获取目标操作信息，并根据上述目标操作信息获取操作安全条件，其中，上述目标操作信息包括目标设备和待执行操作，上述操作安全条件包括距离安全条件和反应灵敏度条件；向被监测对象输出上述语音指导信息，获取上述被监测对象对应的操作等待时间和操作图像；根据上述待执行操作、上述操作等待时间和上述操作图像获取上述被监测对象对应的实际操作信息和安全判断信息，其中，上述实际操作信息包括实际操作设备和实际执行操作，上述安全判断信息包括距离判断数据和反应灵敏度判断数据，上述反应灵敏度判断数据根据上述待执行操作和上述操作等待时间确定；根据上述目标操作信息、上述操作安全条件、上述实际操作信息和上述安全判断信息对上述被监测对象进行设备操作安全检测，获得安全检测结果。
[0007]可选的，上述获取语音指导信息，根据上述语音指导信息获取目标操作信息，包
括：获取语音指导信息，对上述语音指导信息进行语音文字转换，获取指导文本；通过已训练的文本校准模型对上述指导文本进行校准并获得校准文本；通过已训练的标准词替换模型对上述校准文本进行标准词替换处理并获得标准化文本；根据上述标准化文本，通过已训练的操作信息识别模型进行操作识别获得目标操作信息。
[0008]可选的，上述操作信息识别模型根据如下步骤进行训练：将操作训练数据中的训练标准化文本输入上述操作信息识别模型，通过上述操作信息识别模型进行操作识别获得训练目标操作信息，其中，上述操作训练数据包括多组操作训练信息组，每一组操作训练信息组包括训练标准化文本和标注目标操作信息；根据上述训练目标操作信息和上述标注目标操作信息，对上述操作信息识别模型的模型参数进行调整，并继续执行上述将操作训练数据中的训练标准化文本输入上述操作信息识别模型的步骤，直至满足第一预设训练条件，以得到已训练的操作信息识别模型。
[0009]可选的，上述操作等待时间是从向上述被监测对象输出上述语音指导信息开始到监测到上述被监测对象开始操作的等待时间，上述操作安全条件还包括温度安全条件，上述安全判断信息还包括温度判断数据，上述操作图像包括深度图像、RGB图像和热力分布图像。
[0010]可选的，上述根据上述待执行操作、上述操作等待时间和上述操作图像获取上述被监测对象对应的实际操作信息，包括：根据上述RGB图像和上述深度图像，通过已训练的图像特征识别模型获取上述被监测对象对应的实际操作信息；根据上述深度图像获取上述距离判断数据；获取上述待执行操作对应的预设标准时间范围，根据上述预设标准时间范围和上述操作等待时间计算获得上述反应灵敏度判断数据；根据上述热力分布图像获取上述温度判断数据。
[0011]可选的，上述图像特征识别模型根据如下步骤进行训练：将图像训练数据中的训练RGB图像和训练深度图像输入上述图像特征识别模型，通过上述图像特征识别模型进行特征识别获得训练实际操作信息，其中，上述图像训练数据包括多组图像训练信息组，每一组图像训练信息组包括训练RGB图像、训练深度图像和标注实际操作信息；根据上述训练实际操作信息和上述标注实际操作信息，对上述图像特征识别模型的模型参数进行调整，并继续执行上述将图像训练数据中的训练RGB图像和训练深度图像输入上述图像特征识别模型的步骤，直至满足第二预设训练条件，以得到已训练的图像特征识别模型。
[0012]可选的，上述根据上述目标操作信息、上述操作安全条件、上述实际操作信息和上述安全判断信息对上述被监测对象进行设备操作安全检测，获得安全检测结果，包括：当上述实际操作设备与上述目标设备不同或上述实际执行操作与上述待执行操作不同时，将操作有误作为上述安全检测结果并输出告警信息；
当上述实际操作设备与上述目标设备相同且上述实际执行操作与上述待执行操作相同时，若上述安全判断信息满足上述操作安全条件，则将操作安全作为上述安全检测结果，若上述安全判断信息不满足上述操作安全条件，则将存在操作风险作为上述安全检测结果。
[0013]本专利技术第二方面提供一种基于图像处理的设备操作安全检测系统，其中，上述基于图像处理的设备操作安全检测系统包括：语音处理模块，用于获取语音指导信息，根据上述语音指导信息获取目标操作信息，并根据上述目标操作信息获取操作安全条件，其中，上述目标操作信息包括目标设备和待执行操作，上述操作安全条件包括距离安全条件和反应灵敏度条件；数据获取模块，用于向被监测对象输出上述语音指导信息，获取上述被监测对象对应的操作等待时间和操作图像；数据处理模块，用于根据上述待执行操作、上述操作等待时间和上述操作图像获取上述被监测对象对应的实际操作信息和安全判断信息，其中，上述实际操作信息包括实际操作设备和实际执行操作，上述安全判断信息包括距离判断数据和反应灵敏度判断数据，上述反应灵敏度判断数据根据上述待执行操作和上述操作等待时间确定；安全检测模块，用于根据上述目标操作信息、上述操作安全条件、上述实际操作信息和上述安全判断信息对上述被监测对象进行设备操作安全检测，获得安全检测结果。
[0014]本专利技术第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于图像处理的设备操作安全检测程序，上述基于图像处理的设备操作安全检测程序被上述处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理的设备操作安全检测方法，其特征在于，所述方法包括：获取语音指导信息，根据所述语音指导信息获取目标操作信息，并根据所述目标操作信息获取操作安全条件，其中，所述目标操作信息包括目标设备和待执行操作，所述操作安全条件包括距离安全条件和反应灵敏度条件；向被监测对象输出所述语音指导信息，获取所述被监测对象对应的操作等待时间和操作图像；根据所述待执行操作、所述操作等待时间和所述操作图像获取所述被监测对象对应的实际操作信息和安全判断信息，其中，所述实际操作信息包括实际操作设备和实际执行操作，所述安全判断信息包括距离判断数据和反应灵敏度判断数据，所述反应灵敏度判断数据根据所述待执行操作和所述操作等待时间确定；根据所述目标操作信息、所述操作安全条件、所述实际操作信息和所述安全判断信息对所述被监测对象进行设备操作安全检测，获得安全检测结果。2.根据权利要求1所述的基于图像处理的设备操作安全检测方法，其特征在于，所述获取语音指导信息，根据所述语音指导信息获取目标操作信息，包括：获取语音指导信息，对所述语音指导信息进行语音文字转换，获取指导文本；通过已训练的文本校准模型对所述指导文本进行校准并获得校准文本；通过已训练的标准词替换模型对所述校准文本进行标准词替换处理并获得标准化文本；根据所述标准化文本，通过已训练的操作信息识别模型进行操作识别获得目标操作信息。3.根据权利要求2所述的基于图像处理的设备操作安全检测方法，其特征在于，所述操作信息识别模型根据如下步骤进行训练：将操作训练数据中的训练标准化文本输入所述操作信息识别模型，通过所述操作信息识别模型进行操作识别获得训练目标操作信息，其中，所述操作训练数据包括多组操作训练信息组，每一组操作训练信息组包括训练标准化文本和标注目标操作信息；根据所述训练目标操作信息和所述标注目标操作信息，对所述操作信息识别模型的模型参数进行调整，并继续执行所述将操作训练数据中的训练标准化文本输入所述操作信息识别模型的步骤，直至满足第一预设训练条件，以得到已训练的操作信息识别模型。4.根据权利要求1所述的基于图像处理的设备操作安全检测方法，其特征在于，所述操作等待时间是从向所述被监测对象输出所述语音指导信息开始到监测到所述被监测对象开始操作的等待时间，所述操作安全条件还包括温度安全条件，所述安全判断信息还包括温度判断数据，所述操作图像包括深度图像、RGB图像和热力分布图像。5.根据权利要求4所述的基于图像处理的设备操作安全检测方法，其特征在于，所述根据所述待执行操作、所述操作等待时间和所述操作图像获取所述被监测对象对应的实际操作信息，包括：根据所述RGB图像和所述深度图像，通过已训练的图像特征识别模型获取所述被监测对象对应的实际操作信息；根据所述深度图像获取所述距离判断数据；获取所述待执行操作对应的预设标准时间范围，根据所述预设标准时间范围和所述操
作等待时间计算获得所述反应灵敏度判断数据；根据所述热力分布图像获取所述温度判断数据。6.根据权利要求5所述的基于图像处理的设备操作安全检测方...

【专利技术属性】
技术研发人员：苏世龙，樊则森，雷俊，黄欣莹，戴雨卉，张高峰，方舟，田璐璐，卜磊，刘峻佑，曹哲，曹秀伟，
申请(专利权)人：中建科技集团有限公司，
类型：发明
国别省市：