一种基于因果时间关系模块的视频异常检测方法技术

本发明专利技术公开了一种基于因果时间关系模块的视频异常检测方法，该方法包括：首先收集视频数据作为训练集与测试，将其并划分为不重叠的片段，将视频视为包、片段视为示例；将视频示例输入至特征提取网络I3D中来提取其原始特征；利用因果时间关系模块来提取包含时间依赖关系的增强特征，将其输入到全连接层得到示例的异常得分，再通过设计的损失函数来训练模型；测试阶段将视频示例的原始特征输入最优的异常检测模型中，将预测结果与测试集的标签比对得到异常检测的准确率。本方法基于视频级标签，仅使用当前和历史的帧信息通过因果时间关系模块来提取时间相关性，有利于异常的在线检测，提升了异常检测的精度。提升了异常检测的精度。提升了异常检测的精度。

【技术实现步骤摘要】
一种基于因果时间关系模块的视频异常检测方法


[0001]本专利技术涉及视频异常检测
，尤其涉及一种基于因果时间关系模块的视频异常检测方法。

技术介绍

[0002]近年来，随着人们安全意识的增强和安防知识的普及，基于智能监控视频的异常检测技术也逐渐受到关注。与此同时，人工异常检测的任务越来越艰巨，因此基于计算机视觉的视频异常检测技术应运而生。
[0003]视频异常行为检测任务的目标是通过各种计算机视觉方法来识别和定位监控视频中的反常目标物体或者反常的行为，例如马路上逆行的车辆、广场上突然发生的抢劫事件等等。和行人重识别、自然语言处理等经典的目标检测任务相比，视频异常检测任务具备以下这些特别之处：(1)异常的概念是抽象的，其定义不够具体(即“违反常规的情况”)，异常样本和正常样本之间缺乏足够清晰的分界线。(2)异常事件的定义存在一定的相对性。同一事件是否为异常事件取决于其所处的场景，比如在军队里的军人训练枪械是正常事件，而在公园里如果有人持枪则属于异常事件。(3)异常事件的稀有性。现实中异常事件发生的频率要远低于正常情况，因此数据的采集可能很艰难，且可用的数据存在正常异常两类别的不平衡性。(4)现实环境复杂多变，因此异常事件也种类繁多，无法一一列举。以上这些独特之处都让视频异常事件检测成为一个极具挑战性的任务。
[0004]在现有技术手段中，视频异常行为的检测存在逐帧标注成本太高、识别精度低、视频中重要的时序关系被忽略等问题。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种基于因果时间关系模块的视频异常检测方法，首先利用I3D网络分别提取视频的RGB特征和光流特征并拼接两者得到视频的原始特征，再输入到一个因果时间关系模块中捕获到视频片段的局部时间依赖关系，再由多个损失共同指导学习示例的异常得分，实现了弱监督下的异常检测，解决了现有检测方法中标注成本高、识别精度低、视频中重要的时序关系被忽略等问题，达到了在降低人工标注成本的同时提高了异常事件检测的准确率的目的。
[0006]为实现上述目的，本专利技术提供了一种基于因果时间关系模块的视频异常检测方法，包括以下步骤：
[0007]S1：首先收集视频数据，按照3:1的比例将其划分为训练集和测试集，再将每个视频划分为一个个互不重叠、帧数相同的片段，将每个视频视为一个包，异常视频和正常视频分别被定义为正包和负包，将片段视为一个个示例；
[0008]S2：再分别将训练集和测试集视频实例的RGB图像和光流图像输入到膨胀卷积网络I3D中得到其视觉特征与光流特征，对二者进行拼接可以得到该视频示例的原始特征；
[0009]S3：将S2中得到的原始特征输入到因果时间卷积模块中，利用当前示例和之前的
示例特征来增强当前帧信息与历史帧信息之间的交互，进而获得视频的前后时间依赖关系，得到包含时间信息的增强特征；
[0010]S4：将S3中得到的增强特征输入到全连接层网络中，得到每个示例的异常得分，分数值越大意味着是异常片段的可能性越大；
[0011]S5：选择每个视频包中异常得分最大的k个示例(本方法里k的取值统一设置为4)，利用分类损失、平滑损失和稀疏损失来训练S3、S4中的视频异常检测模型，得到一组最优的模型参数；
[0012]S6：将得到的每个示例的异常得分，与设定的阈值作比较，比阈值大则判定为异常，反之判定为正常；测试集标签为帧级的，将预测结果与真实标签比对得到视频异常检测的准确率。
[0013]进一步地，所述步骤S2中，提取视频特征的步骤具体包括：
[0014]S2
‑
1：膨胀卷积网络I3D包含两个并行的3D卷积模块，将每个视频全部示例的RGB图像输入到I3D的其中一个分支，提取每个示例的视觉特征；
[0015]S2
‑
2：将视频示例的光流图像输入到I3D的另外一个3D卷积分支中，提取视频的运动特征；
[0016]S2
‑
3：将RGB特征和运动特征进行拼接，得到视频的原始特征。
[0017]进一步地，所述步骤S3中，视频的原始特征经过因果时间关系模块得到增强特征的方法具体包括：
[0018]S3
‑
1：因果时间关系模块旨在通过时间注意力机制从历史信息和当前特征中聚合有用的信息，与普通的自注意力机制的不同之处在于只利用此刻帧以及之前帧的信息而非全局信息来捕获局部范围内的时间依赖性，这更适用于在线任务。公式如下所示：
[0019][0020]其中，X
n,t
表示此刻的特征，X
n,t
‑
Δt:t
＝{X
n,t
‑
Δt
,X
n,t
‑
Δt+1
,...,X
n,t
}表示前Δt个示例的特征，Δt表示此区间中示例的数量。通过点积操作来计算此刻示例X
n,t
与前Δt个示例X
n,t
‑
Δt:t
的语义相似性，再通过softmax归一化计算得到最终的特征相似性矩阵；
[0021]S3
‑
2：R表示相对位置，即{
‑
Δt,...,
‑
1,0}，使用softmax归一化来计算最终的位置先验矩阵，这表明距离当前距离越远则信息的衰减就越多。位置先验矩阵是恒定的常数，不随输入特征而改变；
[0022]S3
‑
3：将语义相似性矩阵和位置先验矩阵拼接起来，再与该示例的特征进行元素相乘，得到包含视频局部时间依赖关系的增强特征。
[0023]进一步地，所述步骤S4中，异常得分获取的方法为：首先将步骤S3得到的包含时间信息的增强特征输入到全连接网络中，包含三个全连接层和一层sigmoid，每个示例会得到一个大小介于0和1之间的异常得分，得分值越大表示模型认为该片段为异常片段的可能性越大。
[0024]进一步地，所述步骤S5中，模型训练的方法具体包括：
[0025]S5
‑
1：步骤S4得到每个示例的异常得分，再从所有视频示例的异常得分中选出前k个结合视频级标签利用分类损失L
c
来训练模型；
[0026]S5
‑
2：提出了一个时间平滑损失L
sm
，使得异常视频中的相邻片段具有类似的异常
得分；
[0027]S5
‑
3：用稀疏损失L
sp
来约束异常视频的异常得分以及异常片段的数量；
[0028]S5
‑
4：将分类损失、平滑损失和稀疏损失相加得到模型的全局损失函数L＝L
c
+L
sm
+L
sp
，指导训练此视频异常检测模型，得到最优的模型参数。
[0029]进一步地，所述步骤S6中，测试的流程包括：测试集视频示例通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于因果时间关系模块的视频异常检测方法，其特征在于，包括以下步骤：S1：首先收集视频数据，将其划分为训练集和测试集，再将每个视频划分为一个个互不重叠、帧数相同的片段，将每个视频视为一个包，异常视频和正常视频分别被定义为正包和负包，将片段视为一个个示例；S2：再分别将训练集和测试集视频示例的RGB图像和光流图像输入到膨胀卷积网络I3D中得到其视觉特征与运动特征，对二者进行拼接操作即可以得到该视频的原始特征；S3：将S2中得到的原始特征输入到因果时间卷积模块中，利用当前示例和之前的示例特征来增强当前帧信息与历史帧信息之间的交互，进而获得视频的前后时间依赖关系，得到包含时间信息的增强特征；S4：将S3中得到的增强特征输入到全连接层网络中，得到每个示例的异常得分，分数值越大意味着是异常片段的可能性越大；S5：选择每个视频包中异常得分最大的k个示例(本方法中k统一设置为4)，利用分类损失、平滑损失和稀疏损失来训练S3、S4中的视频异常检测模型，得到一组最优的模型参数；S6：测试阶段，将得到的每个示例的异常得分，与设定的阈值作比较，比阈值大则判定为异常，反之判定为正常；测试集标签为帧级的，将预测结果与真实标签比对得到视频异常检测的准确率。2.根据权利要求1所述的基于因果时间关系模块的视频异常检测方法，其特征在于，所述步骤S2中，提取视频特征的步骤具体包括：S2
‑
1：膨胀卷积网络I3D包含两个并行的3D卷积模块，将每个视频全部示例的RGB图像输入到I3D的其中一个分支，提取每个示例的视觉特征；S2
‑
2：将视频示例的光流图像输入到I3D的另外一个3D卷积分支中，提取视频的运动特征；S2
‑
3：拼接视觉特征和运动特征，得到视频的原始特征。3.根据权利要求1所述的基于因果时间关系模块的视频异常检测方法，其特征在于，原始特征经过因果时间关系模块得到增强特征具体包括：S3
‑
1：因果时间关系模块旨在通过时间注意力机制从历史信息和当前特征中聚合有用的信息，公式如下所示：其中，X
n,t
表示此刻的特征，X
n,t
‑
Δt:t
＝{X
n,t
...

【专利技术属性】
技术研发人员：唐俊，李燕，王科，段章领，
申请(专利权)人：安徽大学，
类型：发明
国别省市：