打架行为的识别方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种打架行为的识别方法和装置、存储介质及电子装置。其中，该方法包括：根据目标视频中的第t‑1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定第t帧图像中是否存在打架行为的候选区域，t为大于1的正整数；在确定第t帧图像中存在候选区域的情况下，将第t帧图像中候选区域以及第t帧前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果；在识别结果确定候选区域中存在打架行为的情况下，发出预警信息，对视频中的打架行为进行预检操作，提取候选区域，然后将候选区域进行二次过滤，得到最终的打架区域，并反馈报警信息的目的，进而解决了现有技术中，打架行为识别准确性较低的技术问题。

【技术实现步骤摘要】
打架行为的识别方法和装置、存储介质及电子装置
本专利技术涉及图像处理领域，具体而言，涉及一种打架行为的识别方法和装置、存储介质及电子装置。
技术介绍
目前视频监控在社会各行各业中已经广泛的运用，伴随着视频监控的普及，其所需要的人力的坚守也越来越多，很多探头只是作为事后的后方工具，常常面临着监而不控的尴尬境地。打架斗殴等行为威胁公共安全，会带来极大的社会负面影响，需要极力避免，特别是在金融以及监所等对安全要求相对较高的场景，所以能够智能化的检测识别场景中存在的打架行为具有极大的意义。现有技术中，通过面部肤色的颜色与面积判断来确定是否出现打架行为，在监所、金融等实际运用场景中，由于打架目标的运动幅度大，易被其他人体或物体所遮挡，难以检测到面部信息造成漏检，同时打架的时候也不一定会存在打脸的情况，不符合实际。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种打架行为的识别方法和装置、存储介质及电子装置，以至少解决现有技术中，打架行为识别准确性较低的技术问题。根据本专利技术实施例的一个方面，提供了一种打架行为的识别方法，包括：根据目标视频中的第t-1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，所述t为大于1的正整数；在确定所述第t帧图像中存在所述候选区域的情况下，将所述第t帧图像中所述候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，其中，所述目标神经网络是通过样本视频中的图像序列集合进行训练得到的，所述样本图像序列集合中每个图像序列标注打架行为，将所述样本图像序列输入到预设神经网络，在所述预设神经网络满足预定条件的情况下，确定所述预设神经网络为所述目标神经网络，所述目标神经网络中包括三维空洞卷积层，所述L为大于等于1的正整数；在所述识别结果确定所述候选区域中存在打架行为的情况下，发出预警信息。根据本专利技术实施例的另一方面，还提供了一种打架行为的识别装置，包括：确定单元，用于根据目标视频中的第t-1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，所述t为大于1的正整数；输出单元，用于在确定所述第t帧图像中存在所述候选区域的情况下，将将所述第t帧图像中所述候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，其中，所述目标神经网络是通过样本视频中的图像序列集合进行训练得到的，所述样本图像序列集合中每个图像序列标注打架行为，将所述样本图像序列输入到预设神经网络，在所述预设神经网络满足预定条件的情况下，确定所述预设神经网络为所述目标神经网络，所述目标神经网络中包括三维空洞卷积层，所述L为大于等于1的正整数；预警单元，用于在所述识别结果确定所述候选区域中存在打架行为的情况下，发出预警信息。根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述打架行为的识别方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的打架行为的识别方法。在本专利技术实施例中，根据目标视频中的第t-1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定第t帧图像中是否存在打架行为的候选区域，t为大于1的正整数；在确定第t帧图像中存在候选区域的情况下，将第t帧图像中候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，其中，目标神经网络是通过样本视频中的图像序列集合进行训练得到的，样本图像序列集合中每个图像序列标注打架行为，将样本图像序列输入到预设神经网络，在预设神经网络满足预定条件的情况下，确定预设神经网络为目标神经网络，目标神经网络中包括三维空洞卷积层，L为大于等于1的正整数；在识别结果确定候选区域中存在打架行为的情况下，发出预警信息，实现了对视频中的打架行为进行预检操作，将视频监控中的候选区域寻找出来，提取候选区域，然后将候选区域进行二次过滤，得到最终的打架区域，并反馈报警信息的目的，进而解决了现有技术中，打架行为识别准确性较低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的打架行为的识别方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的打架行为的识别方法的应用环境的示意图；图3是根据本专利技术实施例的一种可选的基于不对称损失惩罚以及空洞卷积的打架行为识别方法的流程图；图4是根据本专利技术实施例的一种可选的打架预检的流程图；图5是根据本专利技术实施例的一种可选的打架行为的识别装置的结构示意图；图6是根据本专利技术实施例的一种可选的打架行为的识别方法电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例的一个方面，提供了一种打架行为识别方法，可选地，作为一种可选的实施方式，上述打架行为的识别方法可以但不限于应用于如图1所示的硬件环境中，其中，可以包括但不限于终端设备102、网络110及服务器112。其中，该终端设备102中运行有视频客户端，用于播放目标视频。其中，上述终端设备102中可以包括但不限于：人机交互屏幕104，处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取人机交互指令，还用于呈现目标视频画面；处理器106用于响应上述人机交互指令，获取目标视频中第t-1帧图像和第t帧图像。存储器108用于存储目标视频，及打架行为的候选区域等属性信息。这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116用于调用数据库114中存储的第t-1帧图像和第t帧图像，根据目标视频中的第t-1帧与第本文档来自技高网...

【技术保护点】
1.一种打架行为的识别方法，其特征在于，包括：/n根据目标视频中的第t-1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，所述t为大于1的正整数；/n在确定所述第t帧图像中存在所述候选区域的情况下，将所述第t帧图像中所述候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，其中，所述目标神经网络是通过样本视频中的图像序列集合进行训练得到的，所述样本图像序列集合中每个图像序列标注打架行为，将所述样本图像序列输入到预设神经网络，在所述预设神经网络满足预定条件的情况下，确定所述预设神经网络为所述目标神经网络，所述目标神经网络中包括三维空洞卷积层，所述L为大于等于1的正整数；/n在所述识别结果确定所述候选区域中存在打架行为的情况下，发出预警信息。/n

【技术特征摘要】
1.一种打架行为的识别方法，其特征在于，包括：
根据目标视频中的第t-1帧与第t帧图像计算光流数据，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，所述t为大于1的正整数；
在确定所述第t帧图像中存在所述候选区域的情况下，将所述第t帧图像中所述候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，其中，所述目标神经网络是通过样本视频中的图像序列集合进行训练得到的，所述样本图像序列集合中每个图像序列标注打架行为，将所述样本图像序列输入到预设神经网络，在所述预设神经网络满足预定条件的情况下，确定所述预设神经网络为所述目标神经网络，所述目标神经网络中包括三维空洞卷积层，所述L为大于等于1的正整数；
在所述识别结果确定所述候选区域中存在打架行为的情况下，发出预警信息。


2.根据权利要求1所述的方法，其特征在于，根据目标视频中的第t-1帧与第t帧图像计算光流信息，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，包括：
获取所述候选区域中存在的头肩个数，其中，目标对象包括对应的头肩，所述头肩个数表示所述候选区域中存在的目标对象的个数；
在所述候选区域中存在多个头肩的情况下，将所述多个头肩所在区域的最大外接正方形形成的区域确定为所述候选区域；
在所述候选区域中仅存在一个头肩的情况下，以所述头肩区域中心为原点，以头肩区域的最大边长的N倍为半径画圆确定目标区域，其中，所述N为大于1的正整；
在所述目标区域内存在其他头肩的中心，确定所述目标区域为所述候选区域。


3.根据权利要求2所述的方法，其特征在于，在所述候选区域中仅存在一个头肩的情况下，包括：
在所述目标区域内不存在其他头肩的中心，取消所述目标区域为所述候选区域。


4.根据权利要求1所述的方法，其特征在于，将所述第t帧图像中所述候选区域以及所述第t帧图像前L帧图像的相同区域的图像序列输入到目标神经网络中，输出识别结果，包括：
对所述样本视频中包括的图像进行光流检测，确定出存在打架行为样本图像，并对所述样本图像中的打架区域进行标注；
将所述样本图像序列输入到包括三维空洞卷积层的所述预设神经网络中进行迭代运算；
在所述预设神经网络预测打架行为的概率大于预定阈值的情况下，确定所述预设神经网络满足预设条件，得到所述目标神经网络。


5.根据权利要求1所述的方法，其特征在于，根据目标视频中的第t-1帧与第t帧图像计算光流信息，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域，包括：
在所述光流数据大于或等于预定阈值的情况下，确定所述第t帧图像存在打架行为的候选区域。


6.根据权利要求1所述的方法，其特征在于，根据目标视频中的第t-1帧与第t帧图像计算光流信息，并利用头肩检测跟踪数据确定所述第t帧图像中是否存在打架行为的候选区域之前，所述方法包括：
根据预设采样率对所述目标视频进行采样，得到所述第t-1帧图像和所述第t帧图像。


7.一种打架行为的识别装置，其特征在于，包括：
确定单元，用于根据目标视频中的第t-1帧与第t帧图像计算光流信息，...

【专利技术属性】
技术研发人员：赵雷，魏乃科，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33