基于视频流数据的异常数据智能识别方法、装置以及设备制造方法及图纸

本发明专利技术涉及图像分类领域，揭露一种基于视频流数据的异常数据智能识别方法、装置以及设备，所述方法包括：采集视频流数据中的间隔视频流与连续视频流，对间隔视频流与连续视频流进行特征提取，得到间隔视频特征与连续视频特征；拼接间隔视频特征与连续视频特征，对拼接视频特征进行特征更新；融合连续视频特征与更新视频特征，分析视频流数据的模拟视频帧；查询模拟视频帧对应的真实视频帧，计算模拟视频帧与真实视频帧之间的异常数据指数，识别视频流数据的异常视频帧；对异常视频帧进行网格分割，识别帧分割网格中的异常分割网格，对异常分割网格进行异常网格拼接，识别视频流数据的异常数据。本发明专利技术可以提升视频流数据的异常数据识别准确率。据识别准确率。据识别准确率。

【技术实现步骤摘要】
基于视频流数据的异常数据智能识别方法、装置以及设备


[0001]本专利技术涉及图像分类领域，尤其涉及一种基于视频流数据的异常数据智能识别方法、装置以及设备。

技术介绍

[0002]视频流数据的异常数据识别的目标是在视频流数据中发现不寻常或不符合预期的视频帧。
[0003]目前，通常利用神经网络模型识别视频流数据中的异常行为特征，基于异常行为特征，来输出预测的异常类别概率，识别异常类别概率对应的异常行为，然而，视频流数据量较大，异常行为的种类较多，异常事件发生概率极小，且异常数据的标准难以定义，想要识别所有异常事件极为困难；由于异常数据的定义标准与正常数据的定义标准之间的界限不清晰，导致异常数据与正常数据之间的区分度不高；即便可以识别所述视频流数据的异常帧，但也不能识别异常帧中具体的异常数据出现的位置。因此，由于识别包含所有异常数据的异常帧较为困难、异常数据与正常数据之间的区分度不高、对于异常数据在异常帧中的出现情况并不明确，导致视频流数据的异常数据识别准确率较低。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于视频流数据的异常数据智能识别方法、装置以及设备，可以通过识别包含所有正常数据的正常帧、增加异常数据与正常数据之间的区分度、明确异常数据在异常帧中的出现情况，从而提升视频流数据的异常数据识别准确率。
[0005]第一方面，本专利技术提供了一种基于视频流数据的异常数据智能识别方法，包括：
[0006]获取视频流数据，采集所述视频流数据中的间隔视频流与连续视频流，对所述间隔视频流与所述连续视频流进行特征提取，得到间隔视频特征与连续视频特征；
[0007]拼接所述间隔视频特征与所述连续视频特征，得到拼接视频特征，对所述拼接视频特征进行特征更新，得到更新视频特征；
[0008]融合所述连续视频特征与所述更新视频特征，得到融合视频特征，基于所述间隔视频特征与所述融合视频特征，分析所述视频流数据的模拟视频帧；
[0009]从所述视频流数据中查询所述模拟视频帧对应的真实视频帧，计算所述模拟视频帧与所述真实视频帧之间的异常数据指数，根据所述异常数据指数，识别所述视频流数据中的异常视频帧；
[0010]对所述异常视频帧进行网格分割，得到帧分割网格，识别所述帧分割网格中的异常分割网格，对所述异常分割网格进行异常网格拼接，得到拼接异常网格，基于所述拼接异常网格，识别所述视频流数据的异常数据。
[0011]在第一方面的一种可能实现方式中，所述采集所述视频流数据中的间隔视频流与连续视频流，包括：
[0012]设置所述视频流数据的采集间隔与采集长度；
[0013]基于所述采集间隔，从所述视频流数据中间隔采集视频帧数目符合所述采集长度的视频流数据，得到所述间隔视频流；
[0014]对所述视频流数据进行视频帧连续采集，得到所述连续视频流。
[0015]在第一方面的一种可能实现方式中，所述对所述间隔视频流与所述连续视频流进行特征提取，得到间隔视频特征与连续视频特征，包括：
[0016]利用下述公式对所述间隔视频流进行初始特征提取，得到初始间隔特征：
[0017][0018]其中，y
BN
表示所述初始间隔特征，x
i
表示间隔视频帧中第i个像素点，b表示卷积层的偏差，w
i
表示卷积层的权重，i表示间隔视频帧中像素点的序号，N表示间隔视频帧中像素点的总数，μ
BN
表示归一化网络层即Batch Normalization层的均值，σ
BN
表示归一化网络层即Batch Normalization层的标准差，∈表示归一化网络层即Batch Normalization层的常数参数，γ作为归一化网络层即Batch Normalization层的权重，β作为归一化网络层即Batch Normalization层的偏置；
[0019]对所述初始间隔特征进行截断操作，得到所述间隔视频特征；
[0020]对所述连续视频流进行初始特征提取，得到初始连续特征；
[0021]利用下述公式对所述初始连续特征进行卷积操作，得到所述连续视频特征：
[0022][0023]其中，Y表示所述连续视频特征，X
j
表示连续视频流帧中第j个像素点，B表示卷积层的偏差，W
j
表示卷积层的权重，j表示连续视频流帧中像素点的序号，M表示连续视频流帧中像素点的总数。
[0024]在第一方面的一种可能实现方式中，所述对所述拼接视频特征进行特征更新，得到更新视频特征，包括：
[0025]对所述拼接视频特征进行特征展开，得到展开特征；
[0026]利用下述公式计算所述展开特征与预设的特征样本库中特征样本之间的特征相似度：
[0027][0028]其中，表示所述特征相似度，表示所述拼接视频特征X
l
对应的第p个展开特征，表示所述预设的特征样本库中第q个特征样本，Q表示所述预设的特征样本库中的特征样本的总数，exp表示指数函数；
[0029]基于所述特征相似度与所述预设的特征样本库，利用下述公式对所述展开特征进行特征更新，得到所述更新视频特征：
[0030][0031]其中，表示所述更新视频特征，表示对应的特征相似度，表示所述预设的特征样本库中第q个特征样本，表示所述拼接视频特征X
l
对应的第p个展开特征。
[0032]在第一方面的一种可能实现方式中，所述融合所述连续视频特征与所述更新视频特征，得到融合视频特征，包括：
[0033]对所述连续视频特征与所述更新视频特征进行第一特征提取截断，得到连续截断结果与更新截断结果；
[0034]对所述连续截断结果与所述更新截断结果进行第一特征融合，得到第一融合结果；
[0035]对所述第一融合结果与所述连续截断结果进行第二特征提取截断，得到融合截断结果与第二截断结果；
[0036]融合所述融合截断结果与所述第二截断结果，得到第二融合结果；
[0037]对所述第二融合结果进行卷积操作，得到卷积融合结果；
[0038]融合所述卷积融合结果与所述第二截断结果，得到第三融合结果；
[0039]拼接所述第三融合结果与所述卷积融合结果，得到拼接结果；
[0040]对所述拼接结果进行上采样，得到所述融合视频特征。
[0041]在第一方面的一种可能实现方式中，所述基于所述间隔视频特征与所述融合视频特征，分析所述视频流数据的模拟视频帧，包括：
[0042]提取所述融合视频特征对应的更新截断结果与融合截断结果；
[0043]将所述融合截断结果与所述融合视频特征进行特征组合，得到第一组合结果；
[0044]将所述第一组合结果与所述更新截断结果进行特征组合，得到第二组合结果；
[0045]将所述第二组合结果与所述间隔视频特征进行特征组合，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频流数据的异常数据智能识别方法，其特征在于，所述方法包括：获取视频流数据，采集所述视频流数据中的间隔视频流与连续视频流，对所述间隔视频流与所述连续视频流进行特征提取，得到间隔视频特征与连续视频特征；拼接所述间隔视频特征与所述连续视频特征，得到拼接视频特征，对所述拼接视频特征进行特征更新，得到更新视频特征；融合所述连续视频特征与所述更新视频特征，得到融合视频特征，基于所述间隔视频特征与所述融合视频特征，分析所述视频流数据的模拟视频帧；从所述视频流数据中查询所述模拟视频帧对应的真实视频帧，计算所述模拟视频帧与所述真实视频帧之间的异常数据指数，根据所述异常数据指数，识别所述视频流数据中的异常视频帧；对所述异常视频帧进行网格分割，得到帧分割网格，识别所述帧分割网格中的异常分割网格，对所述异常分割网格进行异常网格拼接，得到拼接异常网格，基于所述拼接异常网格，识别所述视频流数据的异常数据。2.根据权利要求1所述的方法，其特征在于，所述采集所述视频流数据中的间隔视频流与连续视频流，包括：设置所述视频流数据的采集间隔与采集长度；基于所述采集间隔，从所述视频流数据中间隔采集视频帧数目符合所述采集长度的视频流数据，得到所述间隔视频流；对所述视频流数据进行视频帧连续采集，得到所述连续视频流。3.根据权利要求1所述的方法，其特征在于，所述对所述间隔视频流与所述连续视频流进行特征提取，得到间隔视频特征与连续视频特征，包括：利用下述公式对所述间隔视频流进行初始特征提取，得到初始间隔特征：其中，y
BN
表示所述初始间隔特征，x
i
表示间隔视频帧中第i个像素点，b表示卷积层的偏差，w
i
表示卷积层的权重，i表示间隔视频帧中像素点的序号，N表示间隔视频帧中像素点的总数，μ
BN
表示归一化网络层即Batch Normalization层的均值，σ
BN
表示归一化网络层即Batch Normalization层的标准差，∈表示归一化网络层即Batch Normalization层的常数参数，γ作为归一化网络层即Batch Normalization层的权重，β作为归一化网络层即Batch Normalization层的偏置；对所述初始间隔特征进行截断操作，得到所述间隔视频特征；对所述连续视频流进行初始特征提取，得到初始连续特征；利用下述公式对所述初始连续特征进行卷积操作，得到所述连续视频特征：其中，Y表示所述连续视频特征，X
j
表示连续视频流帧中第j个像素点，B表示卷积层的偏
差，W
j
表示卷积层的权重，j表示连续视频流帧中像素点的序号，M表示连续视频流帧中像素点的总数。4.根据权利要求1所述的方法，其特征在于，所述对所述拼接视频特征进行特征更新，得到更新视频特征，包括：对所述拼接视频特征进行特征展开，得到展开特征；利用下述公式计算所述展开特征与预设的特征样本库中特征样本之间的特征相似度：其中，表示所述特征相似度，表示所述拼接视频特征X
l
对应的第p个展开特征，表示所述预设的特征样本库中第q个特征样本，Q表示所述预设的特征样本库中的特征样本的总数，exp表示指数函数；基于所述特征相似度与所述预设的特征样本库，利用下述公式对所述展开特征进行特征更新，得到所述更新视频特征：其中，表示所述更新视频特征，表示对应的特征相似度，表示所述预设的特征样本库中第q个特征样本，表示所述拼接视频特征X
l
对应的第p个展开特征。5.根据权利要求1所述的方法，其特征在于，所述融合所述连续视频特征与所述更新视频特征，得到融合视频特征，包括：对所述连续视频特征与所述更新视频特征进行第一特征提取截断，得到连续截断结果与更新截断结果；对所述连续截断结果与所述更新截断结果进行第一特征融合，得到第一融合结果；对所述第一融合结果与所述连续截断结果进行第二特征提取截断，得到融合截断结果与第二截断结果；融合所述融合截断结果与所述第二截断结果，得到第二融合结果；对所述第二融合结果进行卷积操...

【专利技术属性】
技术研发人员：刘云鹏，吕园园，陈一苇，项嘉乐，陈涵悦，李晨，李锦江，钟振麒，徐浩宇，丁俞呈，刘逸枫，田心怡，徐逸群，
申请(专利权)人：宁波工程学院，
类型：发明
国别省市：