一种用于暴力行为识别的视频图像增强方法技术

本发明专利技术提供了一种基于光流判断与人员分布概率的暴力行为检测训练数据集数据增强方法。首先，获取一定量的视频帧，利用稠密光流对视频帧中的高危暴力区域进行提取。然后，利用CSR‑Net人群计数网络，得到视频帧中的人员分布。最后，综合判断视频帧中最可能发生暴力行为的区域，对视频帧进行截取并重新输出为新的视频。该方法对用于暴力行为识别训练的视频数据集进行优化，提取神经网络的ROI，将暴力行为仅出现在监控画面的角落，或是出现在较远距离，导致需关注的重点目标过小的视频训练集数据进行增强，能够有效提升神经网络的训练效果。

【技术实现步骤摘要】
一种用于暴力行为识别的视频图像增强方法
本专利技术设计数据增强技术，更具体的说，是一种用于暴力行为识别神经网络训练数据的数据增强技术，属于视频图像处理技术。
技术介绍
在人工智能领域飞速发展的背景下，数据集的重要程度日益凸显。高危暴力行为检测，是智能视频监控的重要任务，在监控摄像头视角下的采集到的视频数据，由于监控摄像头视角固定，可能导致暴力行为仅出现在监控画面的角落，或是出现在较远距离，导致需关注的重点目标过小。而神经网络在应用中能取得的效果，很大程度上取决于训练数据集的质量，诸如上述问题，会严重影响到神经网络的训练效果。现有的数据集除了搭建场景自行构建外，更多地是基于大数据技术在互联网上进行真实的数据采集，但采集到的数据集质量良莠不齐，需要人工对采集到的数据集进行截取增强，以提升训练效果。考虑到训练神经网络所需训练集数量庞大，本专利设计了一种能够自动截取监控视频中高危区域的数据集增强技术。根据目前已研究，可以通过稠密光流法计算图像中运动物体的光流强度，获取物体的结构与运动关系，从而量化高危暴力行为发生的可能性。仅采用本文档来自技高网...

【技术保护点】
1.一种用于视频中暴力行为检测的训练数据增强方法，该方法包括以下步骤：/nS1：利用现有暴力行为公开数据集，或从互联网上采集包含暴力行为的视频；/nS2：使用光流法对视频连续N帧图像进行光流检测；/n使用光流法对视频帧进行光流检测的具体步骤包括：/nS21：去除每帧图像中强度小于光流幅度阈值T1的光流矢量；/nS22：将连续N帧图像的光流信息叠加，得到光流强度信息图；/nS23：使用图连通性算法，获取图像的光流强度连通子图；/nS3：使用预训练的CSR-Net人群计数网络，提取视频中连续N帧的人员分布概率信息；/n提取视频中连续N帧的人员分布概率信息的具体步骤包括：/nS31：抑制每帧图像中分...

【技术特征摘要】
1.一种用于视频中暴力行为检测的训练数据增强方法，该方法包括以下步骤：
S1：利用现有暴力行为公开数据集，或从互联网上采集包含暴力行为的视频；
S2：使用光流法对视频连续N帧图像进行光流检测；
使用光流法对视频帧进行光流检测的具体步骤包括：
S21：去除每帧图像中强度小于光流幅度阈值T1的光流矢量；
S22：将连续N帧图像的光流信息叠加，得到光流强度信息图；
S23：使用图连通性算法，获取图像的光流强度连通子图；
S3：使用预训练的CSR-Net人群计数网络，提取视频中连续N帧的人员分布概率信息；
提取视频中连续N帧的人员分布概率信息的具体步骤包括：
S31：抑制每帧图像中分布概率积分值小于预设阈值T2的图像区域；
S32：将连续N帧的概率信息叠加，得到人员分布概率信息；
S4：联合光流强度图与人员分布概率图，获取视频中最可能发生暴力行为的区域；
S5：对视频疑似暴力行为区域进行截取并输出，形成增强后的训练视频数据集。


2.根据权利要求1所述的视频中暴力行为检测的训练数据增强方法，其特征在于，步骤S2使用图像金字塔匹配的全局性稠密光流算法计算运动信息；假设某个强度为I(x,y,t)的对象在连续两帧之间强度恒定，当它以一个单位的时间移动dx与dy的距离时，其具有新的强度I(x+dx,y+dy,t+dt)，即满足以下公式：
I(x,y,t)＝I(x+dx,y+dy,t+dt)
x，y是点的坐标，t是当前时刻；对等式右侧进行泰勒近似，可得



其中是图像沿水平轴的梯度，是图像沿垂直轴的梯度，是沿时间的图像；求解方式基于GunnarFarneback的稠密光流算法，检测两帧之间所有点的像素强度变化，即可得到其光流信息(u,v).本专利具体算法中，其每层金字塔间的上下两层尺度关系系数pyr_scale＝0.5，金字塔层数levels＝3，均值窗口大小winsize＝15，每张图进行3次迭代，像素邻域大小poly_n＝5，高斯标准差poly_sigm...

【专利技术属性】
技术研发人员：易军，庞一然，郑福建，郭鑫，宋光磊，周伟，雷友峰，张秀才，邓建华，杨利平，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：重庆;50