视频检测方法、装置、存储介质及计算机设备制造方法及图纸

本申请实施例公开了一种视频检测方法、装置、存储介质及计算机设备，其中，该方法包括：从待检测视频中获取目标视频图像，然后检测目标视频图像的显著区域和显著区域对应的显著程度，并根据显著区域和显著区域对应的显著程度，提取目标视频图像的全局特征和细节特征，接着根据全局特征和所述细节特征，生成待检测视频的视频指纹特征，最后将视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配，可以有效识别具有边框、黑边、毛玻璃等复杂场景的视频以及背景相似而主体不同的视频，提升视频识别的准确率。

【技术实现步骤摘要】
视频检测方法、装置、存储介质及计算机设备
本申请涉及计算机
，具体涉及一种视频检测方法、装置、存储介质及计算机设备。
技术介绍
随着互联网计算的发展以及短视频业务飞速发展，视频生产者越来越多，导致视频的内容越来越复杂。而短视频中往往具有较多边框、黑边、毛玻璃的复杂场景，或者背景相似而主体不同的视频。在目前的视频识别技术中，大部分采用深度学习网络来进行视频识别，但是目前的网络模型对复杂场景或背景相似的短视频很难有效识别。
技术实现思路
本申请实施例提供一种视频检测方法、装置、存储介质及计算机设备，可以有效识别具有边框、黑边、毛玻璃等复杂场景的视频以及背景相似而主体不同的视频，提升视频识别的准确率率，降低视频库中的视频重复率，减少数据存储成本。本申请实施例提供了一种视频检测方法，所述方法包括：从待检测视频中获取目标视频图像；检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征；根据所述全局特征和所述细节特征，生成所述待检测视频的视频指纹特征；将所述视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配。本申请实施例还提供一种视频检测装置，所述装置包括：获取单元，用于从待检测视频中获取目标视频图像；检测单元，用于检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；提取单元，用于根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征；生成单元，用于根据所述全局特征和所述细节特征，生成所述待检测视频的视频指纹特征；处理单元，用于将所述视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配。在一些实施例中，所述检测单元，具体用于通过训练后的指纹提取模型中的显著区域检测模块，检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；所述提取单元，具体用于根据所述显著区域和所述显著区域对应的显著程度，通过训练后的指纹提取模型中的全局特征提取模块和细节特征提取模块，对应提取所述目标视频图像的全局特征和细节特征；其中，所述训练后的指纹提取模型为采用从训练样本集中获取的三元组样本图像进行训练后得到的模型，所述三元组样本图像包括类别相同的第一样本图像和第二样本图像，以及类别与所述第一样本图像不同的第三样本图像。在一些实施例中，所述检测单元，包括：第一训练子单元，用于将所述三元组样本图像输入所述显著区域检测模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的显著区域检测模块；检测子单元，用于通过所述训练后的显著区域检测模块，检测所述目标视频图像的显著区域；输出子单元，用于控制所述训练后的显著区域检测模块输出所述显著区域的权重矩阵，以得到所述显著区域对应的显著程度。在一些实施例中，所述第一训练子单元，还用于：根据裁剪处理、旋转处理和滤镜处理中的任一种或多种处理方式，随机对所述三元组样本图像进行图像处理；将处理后的所述三元组样本图像输入所述显著区域检测模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的显著区域检测模块。在一些实施例中，所述提取单元，包括：第一提取子单元，用于通过所述训练后的全局特征提取模块，提取所述目标视频图像的原始特征；加权子单元，用于通过所述训练后的全局特征提取模块，将所述显著区域对应的显著程度与所述原始特征进行加权，以得到所述目标视频图像的中间层特征；第二提取子单元，用于通过所述训练后的全局特征提取模块，从所述中间层特征中提取所述目标视频图像的全局特征；第三提取子单元，用于通过所述训练后的细节特征提取模块，从所述中间层特征和所述全局特征中提取所述目标视频图像的细节特征。在一些实施例中，所述加权子单元，用于将所述显著区域对应的显著程度与所述原始特征输入所述训练后的全局特征提取模块中进行加权，通过提高所述目标视频图像中所述显著区域对应的权重值，及降低所述目标视频图像中的非显著区域的权重值，得到所述目标视频图像的中间层特征，其中所述非显著区域为所述目标视频图像中所述显著区域之外的区域。在一些实施例中，所述第三提取子单元，用于采用自顶向下的连接方式，将所述全局特征输入所述训练后的细节特征提取模块的深层中进行处理，以及将所述中间层特征输入所述训练后的细节特征提取模块的浅层中进行处理，以提取所述目标视频图像的细节特征。在一些实施例中，所述第三提取子单元，用于：将所述三元组样本图像输入所述全局特征提取模块中进行处理，以得到所述三元组样本图像中每一所述样本图像的中间层特征和全局特征；将所述三元组样本图像中每一所述样本图像的中间层特征和全局特征输入所述细节特征提取模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的细节特征提取模块；根据所述训练后的细节特征提取模块，从所述目标视频图像的中间层特征和全局特征中提取所述目标视频图像的细节特征。在一些实施例中，所述第三提取子单元，用于所述将所述三元组样本图像中每一所述样本图像的中间层特征和全局特征输入所述细节特征提取模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的细节特征提取模块时，具体包括：基于所述三元组样本图像中每一所述样本图像的中间层特征和全局特征，训练所述细节特征提取模块中的三元损失函数，以更新所述细节特征提取模块的模块参数，生成训练后的细节特征提取模块。在一些实施例中，所述处理单元，包括：计算子单元，用于通过计算所述视频指纹特征与特征数据库中的模板指纹特征之间的欧式距离来进行相似度匹配；第一确定子单元，用于若所述欧式距离小于预设阈值，则确定所述目标视频图像为相似图像；第二确定子单元，用于若所述待检测视频中的相似图像的数量大于预设数量，则将所述待检测视频确定为相似视频。本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的视频检测方法中的步骤。本申请实施例还提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的视频检测方法中的步骤。本申请实施例通过从待检测视频中获取目标视频图像，然后检测所述目标视频图像的显著区域和所述显著区域对应的显著程度，并根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征，接着根据所述全局特征和所述细节特征，生成所述待检测视频的视频指纹特征，最后将所述视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配。本申请实施例通过结合图像的显著区域来提取待检测视频的全局特征和所述细节特征，然后与预设的模板指本文档来自技高网...

【技术保护点】
1.一种视频检测方法，其特征在于，所述方法包括：/n从待检测视频中获取目标视频图像；/n检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；/n根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征；/n根据所述全局特征和所述细节特征，生成所述待检测视频的视频指纹特征；/n将所述视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配。/n

【技术特征摘要】
1.一种视频检测方法，其特征在于，所述方法包括：
从待检测视频中获取目标视频图像；
检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；
根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征；
根据所述全局特征和所述细节特征，生成所述待检测视频的视频指纹特征；
将所述视频指纹特征与特征数据库中的模板指纹特征进行相似度匹配。


2.如权利要求1所述的视频检测方法，其特征在于，所述检测所述目标视频图像的显著区域和所述显著区域对应的显著程度，包括：
通过训练后的指纹提取模型中的显著区域检测模块，检测所述目标视频图像的显著区域和所述显著区域对应的显著程度；
所述根据所述显著区域和所述显著区域对应的显著程度，提取所述目标视频图像的全局特征和细节特征，包括：
根据所述显著区域和所述显著区域对应的显著程度，通过训练后的指纹提取模型中的全局特征提取模块和细节特征提取模块，对应提取所述目标视频图像的全局特征和细节特征；
其中，所述训练后的指纹提取模型为采用从训练样本集中获取的三元组样本图像进行训练后得到的模型，所述三元组样本图像包括类别相同的第一样本图像和第二样本图像，以及类别与所述第一样本图像不同的第三样本图像。


3.如权利要求2所述的视频检测方法，其特征在于，所述通过训练后的指纹提取模型中的显著区域检测模块，检测所述目标视频图像的显著区域和所述显著区域对应的显著程度，包括：
将所述三元组样本图像输入所述显著区域检测模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的显著区域检测模块；
通过所述训练后的显著区域检测模块，检测所述目标视频图像的显著区域；
控制所述训练后的显著区域检测模块输出所述显著区域的权重矩阵，以得到所述显著区域对应的显著程度。


4.如权利要求3所述的视频检测方法，其特征在于，所述将所述三元组样本图像输入所述显著区域检测模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的显著区域检测模块，包括：
根据裁剪处理、旋转处理和滤镜处理中的任一种或多种处理方式，随机对所述三元组样本图像进行图像处理；
将处理后的所述三元组样本图像输入所述显著区域检测模块中进行学习训练，以更新所述显著区域检测模块的模块参数，生成训练后的显著区域检测模块。


5.如权利要求2所述的视频检测方法，其特征在于，所述根据所述显著区域和所述显著区域对应的显著程度，通过训练后的指纹提取模型中的全局特征提取模块和细节特征提取模块，对应提取所述目标视频图像的全局特征和细节特征，包括：
通过所述训练后的全局特征提取模块，提取所述目标视频图像的原始特征；
通过所述训练后的全局特征提取模块，将所述显著区域对应的显著程度与所述原始特征进行加权，以得到所述目标视频图像的中间层特征；
通过所述训练后的全局特征提取模块，从所述中间层特征中提取所述目标视频图像的全局特征；
通过所述训练后的细节特征提取模块，从所述中间层特征和所述全局特征中提取所述目标视频图像的细节特征。


6.如权利要求5所述的视频检测方法，其特征在于，所述通过所述训练后的全局特征提取模块，将所述显著区域对应的显著程度与所述原始特征进行加权，以得到所述目标视频图像的中间层特征，包括：
将所述显著区域对应的显著程度与所述原始特征输入所述训练后的全局特征提取模块中进行加权，通过提高所述目标视频图像中所述显著区域对应的权重值，及降低所述目标视频图像中的非显著区域的权重值，得到所述目标视频图像的中间层特征，其中所述非显著区域为所述目标视频图像中所述显著区域之外的区域。


7.如权利要求5所述的视频检测方法，其特征在于，所述通过所述训练后的细节特征提取模块，从所述中间层特征和所述全局特征中提取所述目标视频图像的细节特征，包括：
采用自顶向下的连接方式，将所述全局特征输入所述训练后的细节特征提取模块的深层中进行处理，以及将所述中间层特征输入所述训练后的细节特征提取模块的浅层中进行处...

【专利技术属性】
技术研发人员：方杨，徐敘遠，杨喻茸，龚国平，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44