一种吊臂车作业场景下行人违规逗留的景深判别方法技术

本发明专利技术提供了一种吊臂车作业场景下行人违规逗留的景深判别方法，该方法包括：获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；将视频流输入到检测器可以得到人的坐标以及吊臂各部件的坐标；吊臂车各个组件在平面空间可以形成一个三角区域；首先，判断人是否在三角区域的水平位置上；然后，判断人检测框的底部和三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；最后，利用视频平滑性处理，必须连续出现违规行为才判定为异常行为。本发明专利技术实现了利用二维空间有限信息判定三维空间违规行为的需求。为的需求。为的需求。

【技术实现步骤摘要】
一种吊臂车作业场景下行人违规逗留的景深判别方法


[0001]本专利技术涉及电力作业安防领域，更具体地，涉及吊臂车作业场景下行人违规逗留的景深判别方法。

技术介绍

[0002]随着大型电网工程相继开工、建设、运行，电网建设规模不断扩大。然而现有的管理机制仍然不完善，存在相当多的安全隐患。例如一些施工现场存在安全技术不交底、重要作业风险未交待、劳务分包队伍失去监护等问题，施工作业点多面广，参与单位和现场作业人员众多，这些都对确保人身安全提出了更高的要求。但是部分员工安全意识淡薄，安全技能和业务素质不高，思想上心存侥幸，行动上凭习惯作业，违章现象屡禁不止。这些内外因素叠加起来，使得加强电力现场作业人员人身安全这一问题尤为重要。
[0003]在电力作业场景中，使用吊臂车作业的场景是非常普遍的。然而在吊臂车作业场景下，非常容易出现脱绳、脱钩、断绳等事故。常见的脱绳事故主要原因是捆绑重物的方法不当，亦或是重物重心选取不当、吊载遭到碰撞等。脱钩事故主要原因是吊钩钩口变形引起开口过大等原因所致。造成断绳事故的主要原因多为超载起吊拉断钢丝绳。因此，在吊装作业中，吊杆下，吊物下，斜拉吊钩方向等都十分危险，并且一旦危险发生，在吊臂车周围的人是非常不容易躲开的。但是，由于吊装作业施工场景大，施工天气条件存在不确定因素，施工人员多且在作业过程中由于日常惯性不规范操作，很容易出现危险情况。
[0004]所以针对电力吊臂车作业现场安全事故频发，监控视频人为处理耗时长，实时性差，应急响应不足等问题，研究一套能够基于视频处理的电力吊臂车作业场景下行人违规逗留异常行为检测的智能视频监控算法就变得非常有意义。

技术实现思路

[0005]为了解决上述问题，本专利技术提供了一种吊臂车作业场景下行人违规逗留的景深判别方法，该方法包括：
[0006]获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；
[0007]将视频流输入到检测器可以得到人的矩形框以及吊臂各部件的矩形框；
[0008]吊臂车各个组件在平面空间可以形成一个三角区域；
[0009]判断人是否在三角区域的水平位置上；
[0010]判断人检测框的底部和三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；
[0011]利用视频平滑性处理，必须连续出现违规行为才判定为异常行为。
[0012]获取包含吊臂车所有部件以及人的完整视频流，其中，所述完整视频流包括吊臂车和人两大主体。
[0013]吊臂车所有部件包括吊勾、吊臂、吊车，其中，吊勾、吊臂、吊车被视为吊臂车最重
要组成部件。
[0014]人包括单人及多人，其中，人这一主体的数量并不限制。
[0015]人的矩形框包括检测器返回所有人在空间上的具体坐标信息。
[0016]吊臂各部件的矩形框包括检测器返回吊勾、吊臂、吊车在空间上的具体坐标信息。
[0017]吊臂车各个组件即吊勾、吊臂、吊车通过检测器可以获取到空间上的具体坐标信息，通过这些坐标信息可以获取到覆盖吊臂车三大组件的最小矩形框的空间坐标，所形成的最小矩形框的下三角区域是判别景深的关键信息。
[0018]根据判断人坐标位置和三角区域坐标位置的相对关系，可以确定人是否有在吊臂车周围的可能性，如果人的坐标位置在三角区域坐标位置设定的阈值范围内，则该人在吊臂车危险区域范围内，需要进一步进行判断和吊臂车的景深位置关系。反之，该人所处区域无危险。
[0019]在判定人的坐标位置在三角区域坐标位置设定的阈值范围内的前提下，计算人的坐标位置底部和三角区域坐标底部的位置关系，如果在设定的阈值范围内，可断定这两者在景深上一致，即吊臂车下存在行人逗留，反之，说明该行人在距离吊臂车较远一段距离，所处区域为安全区域。
[0020]视频中对吊臂车作业场景下行人违规逗留的这一行为的判定使用了平滑处理，如果连续出现判定异常，则认为异常，更新为异常状态；如果出现异常后被判定为正常，必须连续判定为正常才确认是正常，更新为正常状态。
附图说明
[0021]图1示出了吊臂车作业场景下行人违规逗留的景深判别的流程图。
具体实施方式
[0022]下面的实施例可以使本领域技术人员更全面地理解本专利技术，但不以任何方式限制本专利技术。
[0023]为了当出现少量误检或漏检时，算法能够有效抑制误检和漏检带来的误判误报。引入了刚性因子。即当连续多帧判别为异常事件发生时，abnormal_factor异常标志符才会被触发。
[0024]由于视频数据有着平滑特性，即视频相邻帧之间异常状态和正常状态变化不会太大，因此，在算法逻辑处理中引入了平滑因子。如果当前人没有在吊臂作业场景周围逗留，没有发生异常作业的行为。但是abnormal_factor异常标志符被触发，并且，平滑因子小于阈值。说明在检测视频帧异常的时候，当前帧出现了跳帧现象，即当前帧的异常没有被检测到，但是由于视频具有连续性，前后帧是有相关性的，异常行为转化为正常过程，中间是有一个平滑过渡的一个过程，所以当满足了这两个条件时，当前帧延续上一帧的异常状态，并记录当前帧的视频帧序号，以及上一帧发生异常行为的人的坐标位置。
[0025]在判别人在吊臂作业场景周围逗留，发生异常作业这一行为。首先人要在吊臂相关的矩形坐标位置范围之内，即在水平轴上确保两个位置是有重叠区域的。在保证水平位置上有重叠区域的前提下，通过控制人坐标位置下边界在吊臂相关坐标位置下边界阈值范围内，实现在二维图像上判别吊臂和人的景深关系。
[0026]下面结合具体的实例进行说明，以更好地理解本专利技术。
[0027]输入：首先将视频片段输入到目标检测算法，经检测，视频当中每帧相对应识别出的所有人的坐标位置存放在pers中，视频当中每帧相对应识别出的吊臂、吊臂车、吊钩的坐标位置存放在arm中。所有识别的目标物体均为规则的矩形框，相对应的坐标位置信息用左上角<x1,y1>，和右下角<x2,y2>所确定。
[0028]输出：abnorml_frame用于存放视频异常帧序号。abnorml_person用于存放视频异常帧相对应的发生违规逗留异常行为的所有人坐标位置。
[0029]初始化：abnorml_frame和abnorml_person均被初始化为空列表。abnormal_factor为异常标志符，标志当前帧是否为异常，初始化为布尔类型的False。rigid_factor为刚性因子,能够有效抑制少量误检或漏检时对视频检测结果带来的负面影响。soft_factor为平滑因子,用于异常帧在视频上平滑过渡。rigid_factor和soft_factor均被初始化为0。
[0030]遍历视频的每一帧，并判断当前帧是否检测到了人。如果没有检测到人，那么继续遍历下一帧，如果检测到人，那么继续进一步的判断。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种吊臂车作业场景下行人违规逗留的景深判别方法，其特征在于，所述方法包括：获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；将所述视频流输入到检测器可以得到人的矩形框以及吊臂车各部件的矩形框；所述吊臂车各个组件在平面空间可以形成一个三角区域；判断人是否在所述三角区域的水平位置上；判断所述人的矩形框的底部和所述三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；利用视频平滑性处理，必须连续出现违规行为才判定为异常行为。2.根据权利要求1所述的景深判别方法，其特征在于，所述人的矩形框包括检测器返回所有人在空间上的具体坐标信息，所述吊臂车各部件的矩形框包括检测器返回所述吊勾、所述吊臂、所述吊车在空间上的具体坐标信息。3.根据权利要求2所述的景深判别方法，其特征在于，通过检测器返回所述吊勾、所述吊臂、所述吊车在空间上的具体坐标信息获取覆盖吊臂车三大组件的最小矩形框的空间坐标，所形成的所述最小矩形框的下三角区域为所述三角区域。4.根据权利要求3所述的景深判别方法，其特征在于，所述判断人是否在所述三角区域的水平位置上，包括：所述人的坐标位置与所述三角区域的坐标位置在水平轴上是否有重叠区域。5.根据权利要求3所述的景深判别方法，其特征在于，所述判断人是否在所述三角区域的水平位...

【专利技术属性】
技术研发人员：朱鹏飞，王辉，李东，胡清华，
申请(专利权)人：天津大学，
类型：发明
国别省市：