视频检测方法、视频检测模型的训练方法及相关装置制造方法及图纸

本申请公开了一种视频检测方法、视频检测模型的训练方法及相关装置。所述视频检测方法包括：基于N种采样频率对目标视频进行采样，得到N个目标视频帧序列，其中，N个目标视频帧序列与N种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，N为大于1的整数；将所述N个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；其中，所述视频检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个目标视频帧序列以及N种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；预测网络用于基于所述N种视频特征，确定所述目标视频的检测结果。结果。结果。

【技术实现步骤摘要】
视频检测方法、视频检测模型的训练方法及相关装置


[0001]本申请涉及人工智能
，尤其涉及一种视频检测方法、视频检测模型的训练方法及相关装置。

技术介绍

[0002]随着视频监控技术以及基于深度学习的图像处理技术的日益成熟，基于图像处理的智能监控技术得到广泛应用，而输入的视频没有劣化，是智能监控技术的必要条件之一。为此，对输入的视频进行劣化检测，十分必要。
[0003]相关技术中的视频检测方法，主要是利用结构相似度算法衡量视频中各帧图像的结构梯度相似度，以判断各帧图像是否存在模糊，从而评价视频是否劣化。然而，对于在遮挡、视频采集设备抖动等情况下采集的视频，由于这类视频中的图像的结构梯度极为相似，利用结构相似度算法无法准确判断图像是否存在模糊，势必造成最终的视频检测结果不准确。因此，上述方法仅适用于部分场景下采集的视频，检测准确率低，通用性差。

技术实现思路

[0004]本申请实施例的目的是提供一种视频检测方法、视频检测模型的训练方法及相关装置，用于解决相关技术中的视频检测方法仅适用于部分场景下采集的视频而存在的检测准确率低和通用性差的问题。
[0005]为了实现上述目的，本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种视频检测方法，包括：
[0007]基于N种采样频率对目标视频进行采样，得到N个目标视频帧序列，其中，所述N个目标视频帧序列与所述N种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，N为大于1的整数；
[0008]将所述N个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；
[0009]其中，所述视频检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个目标视频帧序列以及N种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；所述预测网络用于基于所述N种视频特征，确定所述目标视频的检测结果。
[0010]可以看出，本申请实施例中，基于多种采样频率对目标视频进行采样，每种采样频率对应的目标视频帧序列包含的视频帧的稀疏程度不同，隐含的时域信息和空域信息的分布不同，因而得到的多种目标视频帧序列构成了时序金字塔，可以避免所得的目标视频帧序列中漏掉目标视频中的部分视频帧而丢失关键信息；采用包含预测网络和多个分支网络的视频检测模型，且多个分支网络与多种目标视频帧序列一一对应，由每个分支网络对自身对应的目标视频帧序列进行特征提取，得到对应的视频特征，由于每种目标视频帧序列中隐含的信息不同，每个分支网络所提取到的视频特征不同，因而得到的多种视频特征之间相互补充、相得益彰；再由预测网络基于多种视频特征对目标视频进行检测，可以充分利
用目标视频的多种关键信息，不仅可以提高检测准确率，还不受视频采集场景的限制，具有较好的通用性。
[0011]第二方面，本申请实施例提供一种视频检测模型的训练方法，包括：
[0012]获取样本视频集合和所述样本视频集合中每个样本视频对应的劣化标签；
[0013]基于N种采样频率对目标样本视频进行采样，得到所述目标样本视频对应的N个样本视频帧序列，其中，所述N个样本视频帧序列与所述N种采样频率一一对应，每个所述样本视频帧序列包括所述目标样本视频中的至少一个视频帧，N为大于1的整数；
[0014]将所述N个样本视频帧序列输入初始检测模型，得到所述目标样本视频的检测结果，其中，所述初始检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个样本视频帧序列以及N种视频特征一一对应，每个所述分支网络用于对所对应的样本视频帧序列进行特征提取，得到对应的视频特征，所述预测网络用于基于所述目标样本视频对应的N种视频特征，确定所述目标样本视频的检测结果；
[0015]基于所述样本视频集合中每个样本视频的检测结果和所述每个样本视频对应的劣化标签，对所述初始检测模型进行迭代训练，得到所述视频检测模型。
[0016]可以看出，本申请实施例中，基于多种采样频率对样本视频进行采样，每种采样频率对应的样本视频帧序列包含的视频帧的稀疏程度不同，隐含的时域信息和空域信息的分布不同，因而得到的多种样本视频帧序列构成了时序金字塔，可以避免所得的样本视频帧序列中漏掉样本视频中的部分视频帧而丢失关键信息；采用包含预测网络和多个分支网络的初始检测模型，且多个分支网络与多种样本视频帧序列一一对应，由每个分支网络对自身对应的样本视频帧序列进行特征提取，得到对应的视频特征，由于每种样本视频帧序列中隐含的信息不同，每个分支网络所提取到的视频特征不同，因而得到的多种视频特征之间相互补充、相得益彰；再由预测网络基于样本视频的多种视频特征对样本视频进行检测，而后基于样本视频集合中每个样本视频的检测结果和每个样本视频对应的劣化标签，对初始检测模型进行迭代训练，使得初始检测模型能够充分学习不同样本视频的多种关键信息，进而使得训练所得的视频检测模型具有较高的检测准确率和通用性，从而有利于提高基于该视频检测模型的视频检测的准确率和通用性。
[0017]第三方面，本申请实施例提供一种视频检测装置，包括：
[0018]第一采样单元，用于基于N种采样频率对目标视频进行采样，得到N个目标视频帧序列，其中，所述N个目标视频帧序列与所述N种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，N为大于1的整数；
[0019]第一检测单元，用于将所述N个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；
[0020]其中，所述视频检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个目标视频帧序列以及N种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；所述预测网络用于基于所述N种视频特征，确定所述目标视频的检测结果。
[0021]第四方面，本申请实施例提供一种视频检测模型的训练装置，包括：
[0022]样本获取单元，用于获取样本视频集合和所述样本视频集合中每个样本视频对应的劣化标签；
[0023]第二采样单元，用于基于N种采样频率对目标样本视频进行采样，得到所述目标样本视频对应的N个样本视频帧序列，其中，所述N个样本视频帧序列与所述N种采样频率一一对应，每个所述样本视频帧序列包括所述目标样本视频中的至少一个视频帧，N为大于1的整数；
[0024]第二检测单元，用于将所述N个样本视频帧序列输入初始检测模型，得到所述目标样本视频的检测结果，其中，所述初始检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个样本视频帧序列以及N种视频特征一一对应，每个所述分支网络用于对所对应的样本视频帧序列进行特征提取，得到对应的视频特征，所述预测网络用于基于所述目标样本视频对应的N种视频特征，确定所述目标样本视频的检测结果；
[0025]训练单元，用于基于所述样本视频集合中每个样本视频的检测结果和所述每个样本视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频检测方法，其特征在于，包括：基于N种采样频率对目标视频进行采样，得到N个目标视频帧序列，其中，所述N个目标视频帧序列与所述N种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，N为大于1的整数；将所述N个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；其中，所述视频检测模型包括预测网络和N个分支网络，所述N个分支网络、所述N个目标视频帧序列以及N种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；所述预测网络用于基于所述N种视频特征，确定所述目标视频的检测结果。2.根据权利要求1所述的方法，其特征在于，每个所述分支网络包括卷积层和M级残差层，M为正整数；所述N个分支网络中的每一个分支网络的卷积层，用于对所述卷积层所属的分支网络对应的目标视频帧序列进行特征提取，得到所述卷积层所属的分支网络对应的候选视频特征；所述N个分支网络中的每一个分支网络的第1级残差层，用于对所述第1级残差层所属的分支网络对应的候选视频特征进行特征提取，得到所述第1级残差层所属的分支网络对应的第1级中间视频特征；所述N个分支网络中的第i个分支网络的第j级残差层，用于对所述第i个分支网络对应的第j
‑
1级中间视频特征和第i+1个分支网络对应的第j
‑
1级中间视频特征进行融合处理，得到所述第i个分支网络对应的第j
‑
1级融合中间特征，以及对所述第i个分支网络对应的第j
‑
1级融合中间特征进行特征提取，得到所述第i个分支网络对应的第j级中间视频特征，其中，i为整数且1≤i＜N，j为整数，且2≤j＜M，所述第i+1个分支网络对应的采样频率高于所述第i个分支网络对应的采样频率；所述N个分支网络中的第N个分支网络的第j级残差层，用于对所述第N个分支网络对应的第j
‑
1级中间视频特征进行特征提取，得到所述第N个分支网络对应的第j
‑
1级中间视频特征；所述第i个分支网络的第M级残差层，用于对所述第i个分支网络对应的第M
‑
1级中间视频特征和所述第i+1个分支网络对应的第M
‑
1级中间视频特征进行融合处理，得到所述第i个分支网络对应的第M
‑
1级融合中间特征，以及对所述第i个分支网络对应的第M
‑
1级融合中间特征进行特征提取，得到第i种视频特征；所述第N个分支网络的第M级残差层，用于对所述第N个分支网络对应的第M
‑
1级中间视频特征进行特征提取，得到第N种视频特征。3.根据权利要求1所述的方法，其特征在于，所述基于N种采样频率对目标视频进行采样，得到N个目标视频帧序列，包括：重复执行下述处理，直至所述目标视频中的视频帧提取完毕：从所述目标视频中提取基于时序排列的多个第一候选视频帧至缓存区域；若所述缓存区域中的第一候选视频帧的数量达到预设数量阈值，则基于所述N种采样频率对所述缓存区域中的第一候选视频帧进行采样，得到当前的N个目标视频帧序列；在得到所述N个目标视频帧序列的情况下，清除所述缓存区域中的第一候选视频帧；
所述将所述N个目标...

【专利技术属性】
技术研发人员：郑侃，周迅溢，赵幸福，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：