基于深度学习多模型融合的用户接打手机行为检测方法技术

本发明专利技术公开了一种基于深度学习多模型融合的用户接打手机行为检测方法，得到人员抬手动作概率、手机位于人体头部的概率；将人员抬手动作判别器和手机判别器结果输入人员接打判别器，根据人员抬手动作概率和手机位于人体头部的概率最终确定目标视频流中是否有人接打手机。本发明专利技术综合了手机检测模型、人体关键点检测模型的预测结果，当任意一个模型的计算公式预测概率大于设定的值时，直接判定有人员接打手机，这样可以避免单一模漏检造成降低接打手机检测召回率下降，即使当两个模型的计算公式预测概率都较低时，也可以融合两个模型的检测结果，从而提高整个算法的召回率。从而提高整个算法的召回率。从而提高整个算法的召回率。

【技术实现步骤摘要】
基于深度学习多模型融合的用户接打手机行为检测方法


[0001]本专利技术涉及油气田作业
，尤其涉及一种基于深度学习多模型融合的用户接打手机行为检测方法。

技术介绍

[0002]接打电话是油气田作业现场非常危险的行为，其严重威胁着油气田生产作业的安全。随着油气田的快速高效开发，油气田的生产施工井站越来越多，监控区域及规模日益扩大。同时对生产及施工现场的安全管控也提出了更高的要求，对实时掌握生产现场、施工场所、管道线路等重点区域的接打手机等不安全行为及状态的需求也越来越迫切。
[0003]传统方法中一部分是通过人工远程调看的方式实现对监控点位视频的实时调看和录像回看，存在监控效率低、监督任务重、管理难度大等困难。
[0004]还有的传统方法中是通过单模型和单帧检测接打电话，这种方式是依靠单模型和单帧的检测结果，在复杂的作业现场有可能出现误报和漏报情况，可靠性较低。
[0005]因此需要研发出一种基于深度学习多模型融合的用户接打手机行为检测方法来解决上述问题。

技术实现思路

[0006]本专利技术的目的就在于为了解决上述问题设计了一种基于深度学习多模型融合的用户接打手机行为检测方法。
[0007]本专利技术通过以下技术方案来实现上述目的：
[0008]基于深度学习多模型融合的用户接打手机行为检测方法，包括步骤：
[0009]S1、根据历史图片建立人员、手机和人体关键点检测模型；
[0010]S2、将图像输入人员检测模型进行检测；
[0011]S3、在检测出图像中存在人员时，计算出所有目标的最大外接矩形，并在原图像中截取最大外接矩形区域，生成人员区域图像；
[0012]S4、将人员区域图像输入手机检测模型和人体关键点检测模型，用于确定人员区域图像中是否存在手机以及检测该区域人员的关键点；分别进入步骤S5和S6；
[0013]S5、将手机检测模型和人体关键点检测模型检测结果输入人员抬手动作判别器，得到人员抬手动作概率；进入步骤S7；
[0014]S6、将手机检测模型和人体关键点检测模型检测结果输入手机判别器，得到是手机位于人体头部的概率；进入步骤S7；
[0015]S7、将人员抬手动作判别器和手机判别器结果输入人员接打判别器，根据人员抬手动作概率和手机位于人体头部的概率最终确定目标视频流中是否有人接打手机。
[0016]本专利技术的有益效果在于：
[0017]综合了手机检测模型、人体关键点检测模型的预测结果，当任意一个模型的计算公式预测概率大于设定的值时，直接判定有人员接打手机，这样可以避免单一模漏检造成
降低接打手机检测召回率下降，即使当两个模型的计算公式预测概率都较低时，也可以融合两个模型的检测结果，从而提高整个算法的召回率。
附图说明
[0018]图1是本申请的方法流程图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0020]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0022]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0023]此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0024]在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。
[0025]下面结合附图，对本专利技术的具体实施方式进行详细说明。
[0026]如图1所示，基于深度学习多模型融合的用户接打手机行为检测方法，包括步骤：
[0027]S1、根据历史图片建立人员、手机和人体关键点检测模型；
[0028]S2、将图像输入人员检测模型进行检测；
[0029]S3、在检测出图像中存在人员时，计算出所有目标的最大外接矩形，并在原图像中截取最大外接矩形区域，生成人员区域图像；在人员区域图像中，目标的占比相比于原图有比较大的提高，这样能提高手机检测模型和人体关键点检测模型的检测准确度。
[0030]S4、将人员区域图像输入手机检测模型和人体关键点检测模型，用于确定人员区域图像中是否存在手机以及检测该区域人员的关键点；分别进入步骤S5和S6；
[0031]S5、将手机检测模型和人体关键点检测模型检测结果输入人员抬手动作判别器，
得到人员抬手动作概率；进入步骤S7；
[0032]S6、将手机检测模型和人体关键点检测模型检测结果输入手机判别器，得到是手机位于人体头部的概率；进入步骤S7；
[0033]S7、将人员抬手动作判别器和手机判别器结果输入人员接打判别器，根据人员抬手动作概率和手机位于人体头部的概率最终确定目标视频流中是否有人接打手机。
[0034]在一些实施例中，历史图片包括油气作业现场的不同时间段的各个场景的图片。各个场景为井口、装置区、工艺区、阀室、净化厂等，各个时间段为早晨、中午、傍晚等。这样建立的模型才保证在不同场景下识别的准确率。
[0035]在一些实施例中，步骤S5中，包括构建一个人员抬手动作判别器，该判别器用于判断人员是否有抬手动作，其中人员抬手动作概率的计算公式如下：
[0036][0037][0038]其中，PI
keypoint
表示在连续的n帧中，人员抬手动作概率，n一般取视频帧率的3倍；
i
表示第i帧中，手腕关键点坐标在高度方向是否高于脖子关键点，如果是则为1，否则为0；和为在第i帧中，人体关键点检测模型预测的脖子和手腕关键点的高度方向的坐标；和为在第i帧中，人体关键点检测模型预测的脖子和手腕关键点的概率。该计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习多模型融合的用户接打手机行为检测方法，其特征在于，包括步骤：S1、根据历史图片建立人员、手机和人体关键点检测模型；S2、将图像输入人员检测模型进行检测；S3、在检测出图像中存在人员时，计算出所有目标的最大外接矩形，并在原图像中截取最大外接矩形区域，生成人员区域图像；S4、将人员区域图像输入手机检测模型和人体关键点检测模型，用于确定人员区域图像中是否存在手机以及检测该区域人员的关键点；分别进入步骤S5和S6；S5、将手机检测模型和人体关键点检测模型检测结果输入人员抬手动作判别器，得到人员抬手动作概率；进入步骤S7；S6、将手机检测模型和人体关键点检测模型检测结果输入手机判别器，得到是手机位于人体头部的概率；进入步骤S7；S7、将人员抬手动作判别器和手机判别器结果输入人员接打判别器，根据人员抬手动作概率和手机位于人体头部的概率最终确定目标视频流中是否有人接打手机。2.根据权利要求1所述的基于深度学习多模型融合的用户接打手机行为检测方法，其特征在于，历史图片包括油气作业现场的不同时间段的各个场景的图片。3.根据权利要求1所述的基于深度学习多模型融合的用户接打手机行为检测方法，其特征在于，步骤S5中人员抬手动作概率的计算公式如下：特征在于，步骤S5中人员抬手动作概率的计算公式如下：其中，P
keypoint
表示在连续的n帧中，人员抬手动作概率，n一般取视频帧率的3倍；表示第i帧中，手腕关键点坐标在高度方向是否高于脖子关键点，如果是则为1，否则为0；和为在第i帧中，人体关键点检测模型预测的脖子和...

【专利技术属性】
技术研发人员：孙仕胜，杜强，张凯源，王艳辉，鲍自翔，冯庆华，朱君，郭钢，谢光华，杨云杰，伍星，赖文华，刘守会，罗倩云，苏爽，唐青，郑承新，
申请(专利权)人：中国石油天然气股份有限公司西南油气田分公司通信与信息技术中心成都川油瑞飞科技有限责任公司，
类型：发明
国别省市：