一种基于时序正常行为持续记忆的异常行为检测方法技术

本发明专利技术公开一种基于时序正常行为持续记忆的异常行为检测方法，基于卷积自编码器的卷积神经网络模型，神经网络模型包括编码器、记忆模块和解码器，包括以下步骤：S1.对视频进行打包拆分，将每五帧连续的图片作为一个样本；S2.训练时在编码器中输入时间上连续四帧的图片，将输出图像与第五帧图片进行对比，构造损失函数，计算重构误差；S3.利用随机梯度下降法对损失函数进行优化，得到训练好的卷积神经网络模型；S4.测试时，设定一个阈值来判断每张图片是否是异常的，从而防止记忆模块在测试的时候被异常行为的特征更新。候被异常行为的特征更新。候被异常行为的特征更新。

【技术实现步骤摘要】
一种基于时序正常行为持续记忆的异常行为检测方法


[0001]本专利技术涉及面向视频异常行为检测的基础研究领域，提出了一种基于时序正常行为持续记忆的无监督学习异常行为检测方法。

技术介绍

[0002]异常活动在公共安全领域备受关注，一直为计算机视觉和图像处理中的热点问题。由于异常活动的种类众多，随场景和目标变化多样，难以统一界定，对异常行为的定义主要兼顾周围环境，例如：汽车行驶在人行道上，公共场合发生打架事件，文物单位的可移动及不可移动文物保护，古墓葬保护，呈一定规律的人群中出现打破规律运动的人等。通常异常行为活动会伴随正常活动一起进行，因此对正常和异常活动进行分类就显得十分重要。
[0003]异常检测是一项对于很少出现或者在给定的训练集中不存在的样本的检测任务。是以训练数据为核心，寻找与训练样本不相似的样本。问题可归结为如下定义：给定一个训练集x1,x2,...x
n
，本专利技术要找到一个函数来检测输入x是否和训练集的数据属于同一类。
[0004]根据给出的训练集，当前研究对样本进行分类有如下三类。(1)有监督分类，即训练集中的每个样本都有正负标签(其中正类为正常行为，负类为异常行为)。在某些情况下，异常有一个很好的定义。此种情况下训练一个二分类分类器是非常直接的想法。虽然基于卷积神经网络的模型有着很好的表现，但由于训练数据中正常样本与异常样本数量差距过大，该深度模型对于异常样本没有很好的普适性或广泛性。因此由于异常样本的多样性，这种方法只能适用于有限的一些实际问题。(2)半监督分类，即训练集中有大量未标注的数据和一些已标注的数据，基于大量丰富的未标注数据和少量的正常和异常模型来训练网络。(3)无监督分类，即训练集全是未标注的数据。通常异常样本在训练集中极少次出现，把异常行为确定下来是非常花费时间和精力的，特别是对于那些没有对异常行为进行明确定义的问题。在无监督学习方法下，离群点可以通过其内在的特征被检测出来。
[0005]实际中很容易获得正训练集，但是负训练集通常无法准确地获取，因为这样的负样本在现实生活中非常多样化，无法一一穷举。而且很多情形下无法收集到足够多的负样本，因其在现实生活中出现的概率很低,比如刷卡行为，大多数情况都只是正常的交易行为，而盗刷这一类情况就少之又少，甚至没有。所以异常检测无法简化成二分类问题。且什么是异常往往需要行业专家界定，并且因人而异，因此，无监督方法更适合公共场所视频监控的异常行为检测。
[0006]国内外现存的一些方法有一定的缺陷。基于卷积神经网络的自动编码器的基本假设是异常样本不会被重构的很好。但由于训练数据中没有异常样本，故异常行为的重建结果无法预测，即无法从数学上确定异常样本一定不能被完好地重建；而且卷积神经网络超强的提取特征能力，在异常样本图片的大部分是正常的情况下，这张图片的重构误差很小。为了应对CNN表示能力过强这个问题，预测方法被提出用来最小化predicted future frame和ground truth之间的差距。但这种方法只是提取了一般的行为特征而不是正常行
为的特征，没有直接的进行异常行为检测。进而，Deep SVDD提出单分类的方法，只识别出正常的样本，其他的都认为是不正常的，但这种方法的缺陷在于没有考虑到正常行为的多样性。

技术实现思路

[0007]本专利技术的目的是为了克服现有技术中的不足，针对视频异常行为概念界定困难、无法穷举、负样本少且缺少标注等难点，提供一种基于时序正常行为持续记忆的无监督学习异常行为检测方法。
[0008]本专利技术的目的是通过以下技术方案实现的：
[0009]一种基于时序正常行为持续记忆的异常行为检测方法，基于卷积自编码器的卷积神经网络模型，神经网络模型包括编码器、记忆模块和解码器，包括以下步骤：
[0010]S1.对视频进行打包拆分，将每五帧连续的图片作为一个样本；
[0011]S2.训练时在编码器中输入时间上连续四帧的图片，将输出图像与第五帧图片进行对比，构造损失函数，计算重构误差；
[0012]S3.利用随机梯度下降法对损失函数进行优化，得到训练好的卷积神经网络模型；
[0013]S4.测试时，设定一个阈值来判断每张图片是否是异常的，从而防止记忆模块在测试的时候被异常行为的特征更新。
[0014]进一步的，编码器和解码器共同构成U
‑
net结构的自编码器，用于进行特征的提取，且省去编码器中最后一组的批标准化层和RELU激活函数层；使用I
t
和q
t
分别表示t时刻的视频中的图片和与其对应的特征；编码器将I
t
作为输入，输出的q
t
的大小为H
×
W
×
C；H、W、C分别指高度，宽度和通道数；用正常特征向量表示q
t
中的每一个大小为1
×
1C的分量，即：
[0015]其中K＝H
×
W
[0016]将正常特征向量送入到记忆模块中，对正常特征向量进行加工得到最后将和拼接在一起送入到解码器中，得到重建好的图片记为
[0017]进一步的，记忆模块包括M个记忆向量以表示正常行为的多样性，用p
m
∈R
C
，m＝1,....M表示记忆向量；通过和p
m
的内积表示两个向量的相似程度，表示p
m
的转置，两两计算p
m
与的内积再取指数，得到以下M
×
K的二维矩阵，并对此矩阵的列利用soft max函数进行归一化：
[0018][0019]其中矩阵第k行第m列的元素w
t
(k,m)由如下公式计算：
[0020]每一个正常特征向量对应一个特征定义如下：
[0021][0022]将K个新向量按照顺序拼在一起得到与q
t
对应的向量沿着图像的H、W、C三个通道中C维度将q
t
和连接在一起送入解码器，使解码器输出的图像更接近于正常样本。
[0023]进一步的，基于聚类的思想选取M个记忆向量，具体的，在利用随机梯度下降进行迭代之前，先对M个记忆向量进行初始化，最后要得到的M个记忆向量就是对所有正常行为特征聚类之后的聚类中心，并确保在梯度下降法每迭代一次后对记忆向量进行一次更新。
[0024]进一步的，对M个记忆向量进行初始化方式如下：将M个向量全都设为0，运用高斯混合模型，要得到的M个记忆向量就是每个高斯分布的均值。
[0025]进一步的，所述损失函数包括重构损失函数，特征紧凑损失函数和特征分散损失函数。
[0026]进一步的，在对卷积神经网络模型进行训练和测试时同时对记忆向量进行更新。
[0027]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于时序正常行为持续记忆的无监督本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序正常行为持续记忆的异常行为检测方法，其特征在于，基于卷积自编码器的卷积神经网络模型，神经网络模型包括编码器、记忆模块和解码器，包括以下步骤：S1.对视频进行打包拆分，将每五帧连续的图片作为一个样本；S2.训练时在编码器中输入时间上连续四帧的图片，将输出图像与第五帧图片进行对比，构造损失函数，计算重构误差；S3.利用随机梯度下降法对损失函数进行优化，得到训练好的卷积神经网络模型；S4.测试时，设定一个阈值来判断每张图片是否是异常的，从而防止记忆模块在测试的时候被异常行为的特征更新。2.根据权利要求1所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方法，其特征在于，编码器和解码器共同构成U
‑
net结构的自编码器，用于进行特征的提取，且省去编码器中最后一组的批标准化层和RELU激活函数层；使用I
t
和q
t
分别表示t时刻的视频中的图片和与其对应的特征；编码器将I
t
作为输入，输出的q
t
的大小为H
×
W
×
C；H、W、C分别指高度，宽度和通道数；用正常特征向量表示q
t
中的每一个大小为1
×1×
C的分量，即：其中K＝H
×
W将正常特征向量送入到记忆模块中，对正常特征向量进行加工得到最后将和拼接在一起送入到解码器中，得到重建好的图片记为3.根据权利要求2所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方法，其特征在于，记忆模块包括M个记忆向量以表示正常行为的多样性，用p
m
∈R
C
，m＝1,....M表示记忆向量；通过和p
m
的内积表示两个向量的相似程度，表示p
m
的转置，两两计算p
m...

【专利技术属性】
技术研发人员：宋占杰，王巍澄，孙晓晨，
申请(专利权)人：天津大学，
类型：发明
国别省市：