一种基于SENet与时空图卷积的服务流程监控的方法技术

本发明专利技术涉及信息处理领域，公开了一种基于SENet与时空图卷积的加油服务流程监控的方法，包括深度学习对视频数据进行分级识别，其中SENet模型的输入是RGB图像，模型提取到人物的纹理、颜色等特征，并基于时空图卷积的模型输入是行人的关键点对，学习到人物的动作的空间特征和时间维度的特征，优化配置轻量级网络Se

【技术实现步骤摘要】
一种基于SENet与时空图卷积的服务流程监控的方法


[0001]本专利技术涉及信息处理领域，具体涉及一种基于SENet与时空图卷积的加油服务流程监控的方法。

技术介绍

[0002]服务的规范化是现实企业的需求，尤其是对于连锁行业，诸如加油站等，是提升竞争力和用户服务体验关键所在。加油站服务流程标准化，是指加油站对员工服饰、配饰、身体姿态、基本礼仪、加油操作、收银操作都做了标准的要求，通过标准化可以让顾客在每一次消费中获得服务品质体验的一致性和优质性，因此不断提高加油站服务流程标准化一直是加油站管理部门的重点。
[0003]由于加油站服务流程比较规范，过程可以被拆解成若干动作，而且每一步顺序都具有规定。包括但不限于加油操作标准的站立迎候、引导车辆、开启车门、微笑招呼、开启油箱、归零预置、提枪加油、收枪复位、简易擦车、提示付款、礼貌送行、盘整清洁，以及收银操作标准微笑迎接、查验凭证、收款找零、开具发票、推荐商品、礼貌送行等操作。可能由于现场匆忙或者员工偷懒这些客观或者主观的原因将某些操作步骤遗漏，导致客户对加油站的印象不好从而流失客户，因此，有必要对员工的服务流程进行视频监控。
[0004]目前视频智能化分析技术已经被广泛应用于各行各业，其中加油站也已经实现了很多应用，其应用原理是基于已有的摄像头进行图像、视频、音频等相关数据的分析，并得出客户需要的结果。一般情况下,智能安防技术主要包括视频监控、智能分析、平台预警三部分，这三部分通过网络传输联系起来,构成了完备的智能安防视频分析系统。
[0005]虽然视频智能化分析技术已经达到了一定应用的水平,但是在加油站服务流程监测中仍存在很多缺陷，主要表现为以下方面：
[0006](1)目前市场上通过摄像头采集视频进行AI分析，大部分厂家支持的算法包括安全帽、烟火、工作服、打电话等识别，这些算法都是单场景对单一目标进行识别，无法构建成服务行为分析的软件。
[0007](2)没有一个有效的自助完善能力，目前我们很多智能化工程中所说的智能，只是一种反应式的智能，没有真正的达到智能的地步，都需要根据输入的条件进行自动的判断，这种智能没有什么成长能力。真正意义上的人工智能应该是在时间的沉淀下，以及群体间的经验分享能力，这样才能在智能化工程中不断完善，使得智能能力更强，更高效。
[0008](3)深度学习大模型消耗算力过大，导致处理延迟过长，这种情况一旦发生将会失去实时报警作用，而且将导致在突发事件发生之后不能提供有力证据。
[0009](4)当前视频行为分类的模型较少，传统的基于图像帧的光流法分类模型参数太多，模型难以训练。
[0010](5)加油站服务类行为的动作有站立、归零手势、擦车、送行，而同一动作在实际中也会有很多精细的差别，因此加油站服务动作的规范识别存在类间方差大，类内方差小。

技术实现思路

[0011]为解决上述技术问题至少之一，本专利技术提出了一种SENet与时空图卷积加油服务流程监控的方法，其特征在于，所述方法包括：
[0012]步骤1.获取加油现场的视频数据；
[0013]步骤2.监测并跟踪所述视频监控数据中的行人；
[0014]步骤3.对行人进行截取并送入SENet中进行动作识别；
[0015]步骤4.对行人进行人体关键点检测；
[0016]步骤5.如果行人被跟踪的时间超过指定时间，则将行人的关键点对送入ST
‑
GCN模型中进行动作识别；
[0017]步骤6.将SENet和ST
‑
GCN模型预测的结果按照一定比例进行联合判断，其中ST
‑
GCN设置为70％的比例，SENet设置为30％的比例，将两者的输出结果按照比例进行融合后，输出行为动作判断的结果；
[0018]步骤7.对员工的加油服务流程进行判断和打分，并对加油人员做人脸识别，将获取的与加油服务相关信息发送到平台中进行后续操作。
[0019]进一步，所述步骤7中的所述加油服务相关信息至少包括：服务流程的完成度和得分、当前时间、当前地点、当前加油机号、截图、短视频、加油人员的人脸信息和车辆信息。
[0020]进一步，所述方法还包括：步骤8.加油站管理员在平台或者线上APP上收到加油服务规范的检测结果后，对SENet和ST
‑
GCN模型识别错误的结果进行申诉和评价，为SENet和ST
‑
GCN模型不断优化提供数据源。
[0021]进一步，步骤2中使用的检测模型是通过采集现场加油人员的视频数据，并对数据中的行人进行标注，最终使用yolov5模型进行训练，其中跟踪模型为deepsort，检测模型替换成了训练好的yolov5模型。
[0022]进一步，步骤8中还包括：经过管理员处理好的数据会被当作训练数据放到SENet和ST
‑
GCN模型中进行迁移学习。
[0023]进一步，所述SENet模型的构建包括优化ResNet18卷积神经网络：将ResNet18卷积神经网络中的第一层conv1的卷积核层数由64改为32，conv2_x不进行改动，接着依次将conv3_x、conv4_x、conv5_x中的卷积核层数改为64，将输入为人形的裁剪框设置为高256宽192，使用全连接+Softmax的方式实现最终的分类。
[0024]进一步，SENet模型构建的参数设置还包括将SE模块和优化后的ResNet18卷积神经网络进行结合，构建新的轻量级卷积神经网络模型，即SE
‑
ResNet18模型，所述SE
‑
ResNet18模型由残差模块、批标准化(BN)、最大池化层、SE模块、平均池化层和全连接层堆叠而成。
[0025]进一步，使用训练集，训练所述步骤建立的SE
‑
ResNet18模型，并保存训练好的SE
‑
ResNet18模型。
[0026]进一步，训练集、测试集和验证集的比例为7:2:1。
[0027]进一步，将SE模块添加在残差模块中。
[0028]本专利技术提供一种基于SENet与时空图卷积的加油服务流程监控的方法，基于深度学习对视频数据进行分级识别，系统开发了模型自训练模式，从而在使用中不断降低漏判、误判，从而实现利用加油站现有摄像头设备对员工服务流程进行监测和打分的系统。其中
为了提升识别的精度和速度分别设计了，基于SENet和基于时空图卷积网络的动作识别模型。其中SENet模型的输入是RGB图像，模型可以提取到人物的纹理、颜色等特征。另外一个基于时空图卷积的模型输入是行人的关键点对，模型可以学习到人物的动作的空间特征和时间维度的特征。
[0029]通过本专利技术去解决目前视频监测中的五大缺陷中的至少之一：首先系统方面不再是单场景对单一目标进行识别，可以通过组合算法构建成服务行为分析的软件。其次系统集成的模型自训练模式，使得模型可以在时间的沉淀下，不断积累经验和完善识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SENet与时空图卷积加油服务流程监控的方法，其特征在于，所述方法包括：步骤1.获取加油现场的视频数据；步骤2.监测并跟踪所述视频监控数据中的行人；步骤3.对行人进行截取并送入SENet中进行动作识别；步骤4.对行人进行人体关键点检测；步骤5.如果行人被跟踪的时间超过指定时间，则将行人的关键点对送入ST
‑
GCN模型中进行动作识别；步骤6.将SENet和ST
‑
GCN模型预测的结果按照一定比例进行联合判断，其中 ST
‑
GCN设置为70%的比例，SENet设置为30%的比例，将两者的输出结果按照比例进行融合后，输出行为动作判断的结果；步骤7.对员工的加油服务流程进行判断和打分，并对加油人员做人脸识别，将获取的与加油服务相关信息发送到平台中进行后续操作。2.如权利要求1所述的方法，其特征还在于，所述步骤7中的所述加油服务相关信息至少包括：服务流程的完成度和得分、当前时间、当前地点、当前加油机号、截图、短视频、加油人员的人脸信息和车辆信息。3.如权利要求2所述的方法，其特征还在于，所述方法还包括：步骤8.加油站管理员在平台或者线上APP上收到加油服务规范的检测结果后，对SENet和ST
‑
GCN模型识别错误的结果进行申诉和评价，为SENet和ST
‑
GCN模型不断优化提供数据源。4.如权利要求3所述的方法，其特征还在于：步骤2中使用的检测模型是通过采集现场加油人员的视频数据，并对数据中的行人进行标注，最终使用yolov...

【专利技术属性】
技术研发人员：陆彬，孟思宏，姜德田，李琳，范以云，
申请(专利权)人：行为科技北京有限公司，
类型：发明
国别省市：