基于物联网的气瓶充装环节违规行为识别方法及系统技术方案

本发明专利技术公开了一种基于物联网的气瓶充装环节违规行为识别方法及系统，涉及行为识别技术领域。该方法具体包括：对气瓶充装现场视频剪辑得到气瓶图像；对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；若管路连接正常，则将行为图像输入行为检测模型进行行为分类，将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。本发明专利技术将管路连接状态、标签录取情况以及操作人员动作进行综合分析，得到准确的违规行为识别结果，避免了操作人员主观的作弊行为，能够保障气瓶充装环节的安全。保障气瓶充装环节的安全。保障气瓶充装环节的安全。

【技术实现步骤摘要】
基于物联网的气瓶充装环节违规行为识别方法及系统


[0001]本专利技术涉及行为识别
，尤其涉及一种基于物联网的气瓶充装环节违规行为识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]气瓶作为城市能源的载体，有着运输方便、密封性强等优点。随着气瓶使用的逐渐普及，各类气瓶遍布餐厅、家庭和其他公共场所。而部分气瓶从业者安全意识不强,在气瓶充装环节违规充装，由此造成很多安全隐患。
[0004]目前各类气瓶如车载气瓶、工业用气瓶、液化石油气气瓶、氢气瓶等，在出厂环节、充装环节按照《气瓶安全技术规程》中相关要求，瓶体已经加装或固定相关气瓶电子识读标识（二维码、电子RFID芯片等信息载体）。
[0005]按照气瓶充装要求及规范，气瓶在充装时需要对瓶体的电子识读标识进行验证，验证气瓶信息合格后，方可进行充装作业；由于部分充装人员在充装现场未按照充装规程要求的流程充装，采取不扫描气瓶电子信息标识、或者扫描未加装在气瓶瓶体上的电子信息标识进行充装作业等作弊行为，逃避监管，增加安全隐患；同时存在不按照求佩戴安全帽、不穿着工装、吸烟、打电话、未在规定区域进行充装、充装管路未按规定要求连接以及其他违规作业等充装行为，在充装环节造成安全隐患。目前无有效手段去监管气瓶充装环节的违规操作且无法进行取证留痕。
[0006]现有的违规行为识别技术主要集中于采用射频识别的方式读取RFID标签内的数据来判断是否合规充装，无法避免扫描未加装在气瓶瓶体上的RFID标签进行充装作业的作弊行为。即现有的气瓶充装环境违规行为识别过程仅从是否录入标签信息判断是否违规，无法结合扫描动作和管路连接状态进行作弊行为识别，造成了极大地安全隐患。

技术实现思路

[0007]针对现有技术存在的不足，本专利技术的目的是提供一种基于物联网的气瓶充装环节违规行为识别方法及系统，基于物联网通过AI进行违规行为识别，具体采用模型将目标视频中的气瓶状态和充装行为进行标注分类，将管路连接状态、标签录取情况以及操作人员动作进行综合分析，得到准确的违规行为识别结果，避免了操作人员主观的作弊行为，能够保障气瓶充装环节的安全。
[0008]为了实现上述目的，本专利技术是通过如下的技术方案来实现：本专利技术第一方面提供了一种基于物联网的气瓶充装环节违规行为识别方法，包括以下步骤：获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连
接情况的管路图像；根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。
[0009]进一步的，对气瓶充装现场视频进行剪辑的具体步骤包括：对气瓶充装现场视频采用帧差最大值帧间差法提取关键帧，得到气瓶图像。
[0010]进一步的，根据图像内容，将拍摄到管路连接状况的图像标注为管路图像，将拍摄到目标人物动作的行为图像标注为行为图像。
[0011]进一步的，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型具体步骤为：采集历史管路图像形成历史管路图像数据集，对利用历史管路图像数据集中图片进行图像增强处理；将处理过的历史管路图像数据集分为训练集、验证集和测试集，采用YOLO V8网络进行训练，生成管路连接状态检测模型。
[0012]更进一步的，采用YOLO V8网络进行训练，生成管路连接状态检测模型得具体步骤为：根据需求配置管路连接状态检测模型的训练参数，调用YOLO训练命令开始训练；根据每次训练结果，对模型进行验证，选取最优拟合的模型，作为管路连接状态检测模型。
[0013]进一步的，行为分类分为两类：扫描瓶身标签动作和开阀动作。
[0014]进一步的，利用历史行为图像数据集进行模型训练，得到行为检测模型，具体步骤为：采集历史行为图像形成历史行为图像数据集，数据集建立后，采用YOLO V8 + SlowFast网络进行训练，生成行为检测模型。
[0015]进一步的，将行为图像输入行为检测模型进行行为分类的具体步骤为：采用目标检测算法实现目标检测，确定目标初始坐标；基于目标初始坐标对目标进行跟踪，持续标注目标坐标。
[0016]基于目标坐标移动轨迹对目标进行动作识别；用检测框框持续框住目标，并将动作识别结果以及置信度显示在框上。
[0017]进一步的，将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规的具体步骤为：在识别管路连接正常的前提下，确认中继器是否收到RFID的标签信息，若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息直到中继器收到RFID的标签信息；当中继器收到RFID的标签信息时，确认目标是否有扫描瓶身标签动作，若有，则中继器判断标签内容，决定是否充装；若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息。
[0018]本专利技术第二方面提供了一种基于物联网的气瓶充装环节违规行为识别系统，包括：图像获取模块，被配置为获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；图像标注模块，被配置为根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；管路连接状态识别模块，被配置为根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；图像分类模块，被配置为若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；违规行为判断模块，被配置为将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。
[0019]以上一个或多个技术方案存在以下有益效果：本专利技术公开了一种基于物联网的气瓶充装环节违规行为识别方法及系统，通过AI识别气瓶充装环节的违规行为，并对违规行为进行实时报警，具体通过对现场视频的剪辑和标注，分别建立模型用于检测管路连接状况和行为动作违规情况，根据气瓶充装管路连接情况、扫描气瓶标签动作与开阀行为，结合读取到的RFID信息，得到准确的违规行为识别结果，避免了操作人员主观的作弊行为，能够保障气瓶充装环节的安全。
附图说明
[0020]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。...

【技术保护点】

【技术特征摘要】
1.基于物联网的气瓶充装环节违规行为识别方法，其特征在于，包括以下步骤：获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。2.如权利要求1所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，对气瓶充装现场视频进行剪辑的具体步骤包括：对气瓶充装现场视频采用帧差最大值帧间差法提取关键帧，得到气瓶图像。3.如权利要求1所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，根据图像内容，将拍摄到管路连接状况的图像标注为管路图像，将拍摄到目标人物动作的行为图像标注为行为图像。4.如权利要求1所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型具体步骤为：采集历史管路图像形成历史管路图像数据集，对利用历史管路图像数据集中图片进行图像增强处理；将处理过的历史管路图像数据集分为训练集、验证集和测试集，采用YOLO V8网络进行训练，生成管路连接状态检测模型。5.如权利要求4所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，采用YOLO V8网络进行训练，生成管路连接状态检测模型得具体步骤为：根据需求配置管路连接状态检测模型的训练参数，调用YOLO训练命令开始训练；根据每次训练结果，对模型进行验证，选取最优拟合的模型，作为管路连接状态检测模型。6.如权利要求1所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，行为分类分为两类：扫描瓶身标签动作和开阀动作。7.如权利要求6所述的基于物联网的气瓶充装环节违规行为识别方法，其特征在于，利用历史行为图像数据...

【专利技术属性】
技术研发人员：高俊，李美云，高永清，张利权，刘岗，张世东，李佳木，王永春，王玉臣，
申请(专利权)人：山东特联信息科技有限公司，
类型：发明
国别省市：