一种基于视频文件全局分类的异常检测方法、设备及介质技术

本发明专利技术公开了一种基于视频文件全局分类的异常检测方法、设备及介质，属于视频异常检测技术领域，用于解决现有的视频异常检测方法中视频文件片段分类分数容易进行误判，难以保证视频异常检测的准确性，严重限制了视频文件分类的性能的技术问题。方法包括：对视频文件进行特征提取，得到视频片段特征；将第二片段特征进行样本特征划分，得到正常样本特征以及异常样本特征；并构建排序损失函数；将预设分类网络进行学习训练，得到优化分类网络；通过预设BERT模型，对第二片段特征进行特征训练，得到待分类视频全局特征；将待分类视频全局特征以及第一片段特征进行分类处理，得到第一片段特征的异常分数，以进行对视频文件片段的异常检测。常检测。常检测。

【技术实现步骤摘要】
一种基于视频文件全局分类的异常检测方法、设备及介质


[0001]本申请涉及视频异常检测领域，尤其涉及一种基于视频文件全局分类的异常检测方法、设备及介质。

技术介绍

[0002]视频异常检测是一类非常重要的视频监控技术。该视频监控技术大部分采用多实例学习方法(Multiple instance learning)或它们的变体。在这个方法中，一个视频文件被分成多个片段，在分类网络分别在他们的CNN特征上计算该片段是异常的分数。
[0003]现有的技术中，多实例学习方法中，学习的对象是实例，并且在实例中分数最大的一个片段被当成判断视频文件是否异常的依据，而这个判断方法中的分数会存在计算不准确，容易发生误判的情况，使多实例学习方法受限制，不能很好的进行视频的异常检测，降低了视频异常检测的性能。

技术实现思路

[0004]本申请实施例提供了一种基于视频文件全局分类的异常检测方法、设备及介质，用于解决如下技术问题：现有的视频异常检测方法中视频文件片段分类分数容易进行误判，难以保证视频异常检测的准确性，严重限制了视频文件分类的性能。
[0005]本申请实施例采用下述技术方案：
[0006]一方面，本申请实施例提供了一种基于视频文件全局分类的异常检测方法，所述方法包括：通过预设的三维卷积神经网络，对视频文件进行特征提取，得到视频片段特征；其中，所述视频片段特征包括第一片段特征以及第二片段特征；将所述第二片段特征进行样本特征划分，得到正常样本特征以及异常样本特征；根据所述正常样本特征以及异常样本特征，构建排序损失函数；并根据所述排序损失函数，将预设分类网络进行学习训练，得到优化分类网络；通过预设BERT模型，对所述第二片段特征进行特征训练，得到待分类视频全局特征；通过所述优化分类网络，将所述待分类视频全局特征以及所述第一片段特征进行分类处理，得到所述第一片段特征的异常分数，以进行对视频文件片段的异常检测。
[0007]本申请实施例通过对视频文件进行特征提取，构建出损失函数，并对分类网络进行训练，再通过BERT模型，进行显性的视频文件全局分类，然后分别得视频文件的待分类视频全局特征以及第一片段特征进行分类分数的计算，利用显性的视频分类监督，并结合使用的视频文件分类分数和视频片段分类分数，让视频文件的片段分类分数更加的准确，减少了误判情况的发生，更好对视频文件进行异常检测，提高了视频异常检测的性能以及视频异常检测的准确性。
[0008]在一种可行的实施方式中，通过预设的三维卷积神经网络，对视频文件进行特征提取，得到视频片段特征，具体包括：根据预设视频帧数，将所述视频文件中的视频片段进行等分切割，得到若干视频小片段；通过所述三维卷积神经网络，对每个视频小片段进行特征提取，得到第一片段特征；根据预设时间长度，将所述第一片段特征进行等分，得到第二
片段特征；其中，所述第一片段特征与所述第二片段特征共同组成视频片段特征。
[0009]在一种可行的实施方式中，根据所述正常样本特征以及异常样本特征，构建排序损失函数，具体包括：获取所述异常样本特征中任意一个实例特征，得到第一实例特征；根据所述第一实例特征，获取所述正常样本特征中与所述异常样本特征所对应的实例特征，得到第二实例特征；根据预设视频帧分类分数，对所述第一实例特征以及第二实例特征进行分类分数最大值计算，分别得到第一实例最大分类分数以及第二实例最大分类分数；将所述第一实例最大分类分数与所述第二实例最大分类分数进行相减，得到异常实例差值；对所述异常实例差值进行损失最大值计算，并根据结果进行损失值排序，得到所述排序损失函数。
[0010]本申请实施例通过对正常样本特征与异常样本特征中找到分数最大的片段，然后最大化这两个片段的分数差异，并构建是排序损失函数，有利于将正常样本特征与异常样本特征中的差异进行最大化体现，使两者之间的区分能力表现的更加明显。
[0011]在一种可行的实施方式中，根据所述排序损失函数，将预设分类网络进行学习训练，得到优化分类网络，具体包括：获取所述异常样本特征中第一实例最大分数以及所述正常样本特征中第二实例最大分类分数；根据所述排序损失函数，对所述第一实例最大分数与所述第二实例最大分类分数进行差异化处理，得到区分特征；通过所述区分特征，对所述预设分类网络进行分数区分训练，得到所述优化分类网络。
[0012]在一种可行的实施方式中，通过预设BERT模型，对所述第二片段特征进行特征训练，得到待分类视频全局特征，具体包括：将所述第二片段特征输入到所述预设BERT模型的前端，并进行信号的转换，得到待分类信息；根据所述预设BERT模型，将所述待分类信息进行深层双向语言表征分类，得到表征分类信息；将所述预设BERT模型增添额外的输出层，以进行对所述表征分类信息的微调；并根据微调后的表征分类信息进行特征训练，得到待分类视频全局特征。
[0013]本申请实施例通过预设BERT模型，来对视频文件分类信息进行强监督，使正常样本特征与异常样本特征中最大分数能够正确的代表视频的分类分数，通过分类分数定义的二进制交叉熵，让多实例学习法的检测性能得到大幅度的提升，更好对视频文件的进行异常检测，提高了视频异常检测的性能。
[0014]在一种可行的实施方式中，在通过所述优化分类网络，将所述待分类视频全局特征以及所述第一片段特征进行分类处理，得到所述第一片段特征的异常分数之前，所述方法还包括：将所述第一片段特征输入到预设MIL模型中；通过所述预设MIL模型，对所述第一片段特征进行视频片段异常动态评估，得到片段异常响应；根据所述预设MIL模型中的特征优化子网络，将所述片段异常响应进行特征的提取，得到待分类片段特征。
[0015]在一种可行的实施方式中，通过所述优化分类网络，将所述待分类视频全局特征以及所述第一片段特征进行分类处理，得到所述第一片段特征的异常分数，具体包括：通过所述优化分类网络中的全连接层，将所述第一片段特征中的待分类片段特征进行分类分数的计算，得到片段分类分数；通过所述优化分类网络中的全连接层，对所述待分类视频全局特征进行分类分数计算，得到视频文件全局分类分数；将所述片段分类分数与所述视频文件全局分类分数进行相乘，得到所述第一片段特征的异常分数；其中，所述第一片段特征的异常分数为第一片段特征中每个视频小片段的异常分数。
[0016]在一种可行的实施方式中，以进行对所述视频文件的异常检测，具体包括：将所述异常分数与第一预设阈值进行对比判断；若所述异常分数小于或者等于所述第一预设阈值，则所述视频文件的检测结果为正常视频文件；若所述异常分数大于所述第一预设阈值，则所述视频文件片段的检测结果为异常视频文件，并将所述异常视频文件中的连续异常视频片段定位为异常区域，以实现对视频文件进行异常检测的分类与定位。
[0017]本申请实施例通过第一预设阈值，与最终的异常分数进行判断，有利于准确的输出视频文件的检测结果，得出异常或者正常的判断，提高了视频异常检测的准确性。
[0018]第二方面，本申请实施例还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频文件全局分类的异常检测方法，其特征在于，所述方法包括：通过预设的三维卷积神经网络，对视频文件进行特征提取，得到视频片段特征；其中，所述视频片段特征包括第一片段特征以及第二片段特征；将所述第二片段特征进行样本特征划分，得到正常样本特征以及异常样本特征；根据所述正常样本特征以及异常样本特征，构建排序损失函数；并根据所述排序损失函数，将预设分类网络进行学习训练，得到优化分类网络；通过预设BERT模型，对所述第二片段特征进行特征训练，得到待分类视频全局特征；通过所述优化分类网络，将所述待分类视频全局特征以及所述第一片段特征进行分类处理，得到所述第一片段特征的异常分数，以进行对视频文件片段的异常检测。2.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法，其特征在于，通过预设的三维卷积神经网络，对视频文件进行特征提取，得到视频片段特征，具体包括：根据预设视频帧数，将所述视频文件中的视频片段进行等分切割，得到若干视频小片段；通过所述三维卷积神经网络，对每个视频小片段进行特征提取，得到第一片段特征；根据预设时间长度，将所述第一片段特征进行等分，得到第二片段特征；其中，所述第一片段特征与所述第二片段特征共同组成视频片段特征。3.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法，其特征在于，根据所述正常样本特征以及异常样本特征，构建排序损失函数，具体包括：获取所述异常样本特征中任意一个实例特征，得到第一实例特征；根据所述第一实例特征，获取所述正常样本特征中与所述异常样本特征所对应的实例特征，得到第二实例特征；根据预设视频帧分类分数，对所述第一实例特征与第二实例特征进行分类分数最大值计算，分别得到第一实例最大分类分数与第二实例最大分类分数；将所述第一实例最大分类分数与所述第二实例最大分类分数进行相减，得到异常实例差值；对所述异常实例差值进行损失最大值计算，并根据结果进行损失值排序，得到所述排序损失函数。4.根据权利要求3所述的一种基于视频文件全局分类的异常检测方法，其特征在于，根据所述排序损失函数，将预设分类网络进行学习训练，得到优化分类网络，具体包括：获取所述异常样本特征中第一实例最大分数以及所述正常样本特征中第二实例最大分类分数；根据所述排序损失函数，对所述第一实例最大分数与所述第二实例最大分类分数进行差异化处理，得到区分特征；通过所述区分特征，对所述预设分类网络进行分数区分训练，得到所述优化分类网络。5.根据权利要求1所述的一种基于视频文件全局分类的异常检测方法，其特征在于，通过预设BERT模型，对所述第二片段特征进行特征训练，得到待分类视频全局特征，具体包括：将所述第二片段特征输入到所述预设BERT模型的前端，并进行信号的转换，得到...

【专利技术属性】
技术研发人员：谭卫军，
申请(专利权)人：深圳中维神目科技有限公司，
类型：发明
国别省市：