一种视频内容检索方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种视频内容检索方法、装置、设备以及存储介质，该方法包括：获取目标视频文件中各个帧视频图像的特征向量；基于目标视频文件的特征向量，对目标视频文件进行归类，得到多个视频帧集合；对每个视频帧集合中所有帧视频图像的特征向量进行计算，得到第一平均特征向量；根据第一平均特征向量进行求交集计算，确定目标视频文件对应的有害特征向量集合；根据有害特征向量集合和各个视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个视频帧集合中筛选出候选有害视频帧集合；从候选有害视频帧集合中各个帧视频图像中，确定出存在有害内容的目标帧视频图像。这样，既保证视频内容检索的准确性，又实现了快速定位有害内容。有害内容。有害内容。

【技术实现步骤摘要】
一种视频内容检索方法、装置、设备以及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种视频内容检索方法、装置、设备以及存储介质。

技术介绍

[0002]随着互联网技术的发展，视频已成为人们日常生活中学习、办公、娱乐等不可缺少的部分，且视频的传播速度很快，所以需要对视频进行严格的把控，以免有害视频的快速传播。然而，如果大量视频中存在少量的违规信息，监管方较难发现，且耗费大量人力，检出难度大，且一旦如有疏漏，造成的社会危害也会很大。

技术实现思路

[0003]本公开实施例至少提供一种视频内容检索方法、装置、设备以及存储介质。这样，既保证视频内容检索的准确性，又实现了快速定位有害内容。
[0004]本公开实施例提供了一种视频内容检索方法，所述方法包括：获取目标视频文件中各个帧视频图像的特征向量；基于所述目标视频文件中各个帧视频图像的特征向量，对所述目标视频文件的各个帧视频图像进行归类，得到多个视频帧集合；其中，所述视频帧集合中的任意相邻两帧视频图像分别对应的特征向量之间的相似度小于预设阈值；对每个所述视频帧集合中所有帧视频图像的特征向量进行特征向量平均值计算，得到每个所述视频帧集合对应的第一平均特征向量；将所述目标视频文件中每两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，确定所述目标视频文件对应的有害特征向量集合；根据所述目标视频文件对应的所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个所述视频帧集合中筛选出候选有害视频帧集合；基于所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合，确定存在有害内容的目标帧视频图像。
[0005]一种可选的实施方式中，根据以下步骤对所述目标视频文件的任一帧视频图像进行归类包括：计算所述目标视频文件中所述帧视频图像之前的任意相邻两帧视频图像对应的特征向量之间的第一内容距离；所述第一内容距离用于表征所述帧视频图像之前的任意相邻两帧视频图像之间的相似度；计算所述帧视频图像与前一帧视频图像分别对应的特征向量之间的第二内容距离；所述第二内容距离用于表征所述帧视频图像与前一帧视频图像分别对应的特征向量之间的相似度；计算第二平均特征向量和所述第二内容距离的内容距离差值；所述第二平均特征
向量为所述目标视频文件中所述帧视频图像之前的所有任意相邻两帧视频图像对应的第一内容距离的平均值；检测所述内容距离差值和预设阈值的大小；若所述内容距离差值大于预设阈值，则将所述帧视频图像归类到第一目标视频帧集合；所述第一目标视频帧集合为所述帧视频图像之前的多帧视频图像归类成的视频帧集合；若所述内容距离差值小于预设阈值，则将所述帧视频图像归类到第二目标视频帧集合；所述第二目标视频帧集合是以所述帧视频图像作为第一帧视频图像进行归类的视频帧集合。
[0006]一种可选的实施方式中，所述将所述目标视频文件中每两个所述视频帧集合分别对应的第一平均特征向量进行求交集计算，确定所述目标视频文件对应的有害特征向量集合，包括：将任意两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，得到一个交集结果；对所述目标视频文件对应的多个交集结果进行求并集计算，得到所述有害特征向量集合。
[0007]一种可选的实施方式中，所述根据所述目标视频文件对应的所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个所述视频帧集合中筛选出候选有害视频帧集合，包括：计算所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像对应的特征向量的第一编辑距离；所述第一编辑距离用于表征所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像之间的相似度；根据各个所述视频帧集合对应的所述第一编辑距离，对各个所述视频帧集合进行排序；根据各个所述视频帧集合的排序顺序，从多个所述视频帧集合中筛选出所述候选有害视频帧集合。
[0008]一种可选的实施方式中，所述基于所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合，确定存在有害内容的目标帧视频图像，包括：计算所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合的第二编辑距离；所述第二编辑距离用于表征所述候选有害视频帧集合中各个帧视频图像和所述有害特征向量集合之间的相似度；根据所述候选有害视频帧集合中各个帧视频图像对应的所述第二编辑距离，对所述候选有害视频帧集合中各个帧视频图像进行排序；根据所述候选有害视频帧集合中各个帧视频图像的排序顺序，从所述候选有害视频帧集合中各个帧视频图像中确定出存在有害内容的目标帧视频图像。
[0009]本公开实施例还提供一种视频内容检索装置，所述装置包括：获取模块，获取目标视频文件中各个帧视频图像的特征向量；归类模块，用于基于所述目标视频文件中各个帧视频图像的特征向量，对所述目标视频文件的各个帧视频图像进行归类，得到多个视频帧集合；其中，所述视频帧集合中的
任意相邻两帧视频图像分别对应的特征向量之间的相似度小于预设阈值；第一计算模块，用于对每个所述视频帧集合中所有帧视频图像的特征向量进行特征向量平均值计算，得到每个所述视频帧集合对应的第一平均特征向量；第二计算模块，用于将所述目标视频文件中每两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，确定所述目标视频文件对应的有害特征向量集合；筛选模块，用于根据所述目标视频文件对应的所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个所述视频帧集合中筛选出候选有害视频帧集合；确定模块，用于基于所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合，确定存在有害内容的目标帧视频图像。
[0010]一种可选的实施方式中，所述归类模块，用于根据以下步骤对所述目标视频文件的任一帧视频图像进行归类包括：计算所述目标视频文件中所述帧视频图像之前的任意相邻两帧视频图像对应的特征向量之间的第一内容距离；所述第一内容距离用于表征所述帧视频图像之前的任意相邻两帧视频图像之间的相似度；计算所述帧视频图像与前一帧视频图像分别对应的特征向量之间的第二内容距离；所述第二内容距离用于表征所述帧视频图像与前一帧视频图像分别对应的特征向量之间的相似度；计算第二平均特征向量和所述第二内容距离的内容距离差值；所述第二平均特征向量所述目标视频文件中所述帧视频图像之前的所有任意相邻两帧视频图像对应的第一内容距离的平均值；检测所述内容距离差值和预设阈值的大小；若所述内容距离差值大于预设阈值，则将所述帧视频图像归类到第一目标视频帧集合；所述第一目标视频帧集合为所述帧视频图像之前的多帧视频图像归类成的视频帧集合；若所述内容距离差值小于预设阈值，则将所述帧视频图像归类到第二目标视频帧集合；所述第二目标视频帧集合是以所述帧视频图像作为第一帧视频图像进行归类的视频帧集合。
[0011]一种可选的实施方式中，所述第二计算模块，具体用于：将任意两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，得到一个交集结果；对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频内容检索方法，其特征在于，所述方法包括：获取目标视频文件中各个帧视频图像的特征向量；基于所述目标视频文件中各个帧视频图像的特征向量，对所述目标视频文件的各个帧视频图像进行归类，得到多个视频帧集合；其中，所述视频帧集合中的任意相邻两帧视频图像分别对应的特征向量之间的相似度小于预设阈值；对每个所述视频帧集合中所有帧视频图像的特征向量进行特征向量平均值计算，得到每个所述视频帧集合对应的第一平均特征向量；将所述目标视频文件中每两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，确定所述目标视频文件对应的有害特征向量集合；根据所述目标视频文件对应的所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个所述视频帧集合中筛选出候选有害视频帧集合；基于所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合，确定存在有害内容的目标帧视频图像。2.根据权利要求1所述的方法，其特征在于，根据以下步骤对所述目标视频文件的任一帧视频图像进行归类包括：计算所述目标视频文件中所述帧视频图像之前的任意相邻两帧视频图像对应的特征向量之间的第一内容距离；所述第一内容距离用于表征所述帧视频图像之前的任意相邻两帧视频图像之间的相似度；计算所述帧视频图像与前一帧视频图像分别对应的特征向量之间的第二内容距离；所述第二内容距离用于表征所述帧视频图像与前一帧视频图像分别对应的特征向量之间的相似度；计算第二平均特征向量和所述第二内容距离的内容距离差值；所述第二平均特征向量为所述目标视频文件中所述帧视频图像之前的所有任意相邻两帧视频图像对应的第一内容距离的平均值；检测所述内容距离差值和预设阈值的大小；若所述内容距离差值大于预设阈值，则将所述帧视频图像归类到第一目标视频帧集合；所述第一目标视频帧集合为所述帧视频图像之前的多帧视频图像归类成的视频帧集合；若所述内容距离差值小于预设阈值，则将所述帧视频图像归类到第二目标视频帧集合；所述第二目标视频帧集合是以所述帧视频图像作为第一帧视频图像进行归类的视频帧集合。3.根据权利要求1所述的方法，其特征在于，所述将所述目标视频文件中每两个所述视频帧集合分别对应的第一平均特征向量进行求交集计算，确定所述目标视频文件对应的有害特征向量集合，包括：将任意两个所述视频帧集合分别对应的所述第一平均特征向量进行求交集计算，得到一个交集结果；对所述目标视频文件对应的多个交集结果进行求并集计算，得到所述有害特征向量集合。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频文件对应的所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像的特征向量之间的相似度，从多个所述视频帧集合中筛选出候选有害视频帧集合，包括：计算所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像对应的特征向量的第一编辑距离；所述第一编辑距离用于表征所述有害特征向量集合和各个所述视频帧集合中任一帧视频图像之间的相似度；根据各个所述视频帧集合对应的所述第一编辑距离，对各个所述视频帧集合进行排序；根据各个所述视频帧集合的排序顺序，从多个所述视频帧集合中筛选出所述候选有害视频帧集合。5.根据权利要求1所述的方法，其特征在于，所述基于所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量集合，确定存在有害内容的目标帧视频图像，包括：计算所述候选有害视频帧集合中各个帧视频图像的特征向量和所述有害特征向量...

【专利技术属性】
技术研发人员：白世杰，王楚涵，
申请(专利权)人：北京远鉴信息技术有限公司，
类型：发明
国别省市：