视频抽选方法、装置及存储介质制造方法及图纸

本公开涉及一种视频抽选方法、装置及存储介质。其中，所述方法包括获取视频集，包括多个视频片段；得到视频片段的第一代表帧图片以及多张第二代表帧图片；获取第一代表帧图片特征向量和各第二代表帧图片特征向量，基于第一代表帧图片特征向量和各第二代表帧图片特征向量确定视频片段特征向量；获取视频片段与其他各视频片段之间的特征向量距离，基于各特征向量距离，得到视频片段的综合特征向量距离；于视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，计算视频片段候选集中的候选视频片段的视频质量，并将视频质量最高的候选视频片段作为目标视频片段存入目标库。通过本公开的视频抽选方法，提高了采录目标人物的代表性。

Video sampling method, device and storage medium

【技术实现步骤摘要】
视频抽选方法、装置及存储介质
本公开涉及视频抽选
，具体是涉及一种视频抽选方法、装置及存储介质。
技术介绍
在计算机视觉针对人脸视频算法的训练中，需要采集大量人脸视频数据。在采集大批人脸数据过程中，难以避免地会出现人员重复采录的问题。在采录的不重复人员中，往往也会出现采录的人员在一定程度上存在相似特征的情况，使得采录的人员代表性不强。这将对后续的视频训练集制作以及视频模型训练造成干扰，降低训练效率。
技术实现思路
为了克服相关技术问题，本公开提供一种视频抽选方法、装置及存储介质。第一方面，本公开实施例提供一种视频抽选方法，其包括：获取视频集，视频集包括多个视频片段，视频片段中包括目标人物；基于视频片段，得到视频片段的第一代表帧图片，以及根据第一代表帧图片确定的多张第二代表帧图片；获取第一代表帧图片的特征向量和各第二代表帧图片的特征向量，并基于第一代表帧图片的特征向量和各第二代表帧图片的特征向量确定视频片段的特征向量；分别获取视频片段与其他各视频片段之间的特征向量距离，并基于各特征向量距离，得到视频片段的综合特征向量距离；于视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，第一数量个数的视频片段构成视频片段候选集，或于视频片段中选取候选视频片段构成视频片段候选集，其中，第一数量个数的视频片段的任一候选视频片段的综合特征向量距离均大于预设阈值；基于视频质量检测算法，计算视频片段候选集中的候选视频片段的视频质量，并将视频质量最高的候选视频片段作为目标视频片段存入目标库。一种实施方式中，视频抽选方法还包括：判断目标库中存储的目标视频片段的数量是否超过数量阈值；若目标库中存储的目标视频片段的数量未超过数量阈值，则基于视频集中剩余的视频片段，选取得到目标视频片段存入目标库。另一种实施方式中，基于视频集中剩余的视频片段，选取得到目标视频片段存入目标库，包括：分别获取视频集中剩余的视频片段与目标库中存储的各目标视频片段之间的特征向量距离，并基于视频集中剩余的视频片段与目标库存储的各目标视频片段之间的特征向量距离，得到视频集中剩余的视频片段的综合特征距离；选取第一数量个数的视频片段，其中，所述第一数量个数的视频片段的任一综合特征向量距离均大于其他所述视频集中剩余的视频片段的综合特征向量距离，所述第一数量个数的视频片段构成视频片段候选集于视频集中剩余的视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，或于视频集中剩余的视频片段中选取候选视频片段构成视频片段候选集，其中，所述第一数量个数的视频片段的任一候选视频片段的综合特征向量距离均大于预设阈值；基于视频质量检测算法，计算视频片段候选集中的候选视频片段的视频质量，并将视频质量最高的候选视频片段作为目标视频片段存入目标库。又一种实施方式中，基于视频片段，得到视频片段的第一代表帧图片，包括：基于视频片段，通过人脸检测，获取视频片段每帧视频帧画面的人脸信息；基于人脸信息，确定人脸面积最大的一帧视频帧画面，并将人脸面积最大的一帧视频帧画面作为第一代表帧图片；根据所述第一代表帧图片确定的多张第二代表帧图片，包括：基于第一代表帧图片，将人脸面积为第一代表帧图片中人脸面积的第一预设倍数的视频帧画面作为第二代表帧图片。又一种实施方式中，第二代表帧图片通过以下方式确定：第二代表帧图片中人脸的高度为第一代表帧图片中人脸的高度的0.6-0.8倍、第二代表帧图片中人脸的宽度为第一代表帧图片中人脸的宽度的0.9-1.1倍，或者，第二代表帧图片中人脸的高度为第一代表帧图片中人脸的高度的0.9-1.1倍、第二代表帧图片中人脸的宽度为第一代表帧图片中人脸的宽度的0.6-0.8倍。又一种实施方式中，基于第一代表帧图片的特征向量和各第二代表帧图片的特征向量确定视频片段的特征向量包括：将第一代表帧图片的特征向量和各第二代表帧图片的特征向量的加权平均值作为视频片段的特征向量，其中，第一代表帧图片的特征向量的权重大于第二代表帧图片的特征向量的权重。又一种实施方式中，第一代表帧图片的特征向量的权重与第二代表帧图片的特征向量的权重的比例关系和第一代表帧图片中人脸面积与第二代表帧图片中人脸面积的比例关系相对应。又一种实施方式中，基于各特征向量距离，得到视频片段的综合特征向量距离包括：将特征向量距离的平均值，作为视频片段的综合特征向量距离。又一种实施方式中，第一数量基于视频集中的视频片段的数量和目标库中可存储的目标视频片段的数量而确定。又一种实施方式中，视频抽选方法还包括：保存视频片段候选集中候选视频片段的综合特征向量距离，以及候选视频片段的视频质量。又一种实施方式中，在基于视频片段，得到视频片段的第一代表帧图片，以及根据第一代表帧图片确定的多张第二代表帧图片之前，视频抽选方法还包括：基于视频质量检测算法，计算并获取视频片段的视频质量；若视频片段的视频质量未超过视频质量阈值，则终止对视频片段进行抽选。第二方面，本公开实施例提供了一种视频抽选装置，该视频抽选装置具有实现上述第一方面或第一方面任意一种实施方式中所涉及的视频抽选方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。一种实施方式中，视频抽选装置包括：获取视频集模块，用于获取视频集，视频集包括多个视频片段，视频片段中包括目标人物；提取代表帧图片模块，用于基于视频片段，得到视频片段的第一代表帧图片，以及根据第一代表帧图片确定的多张第二代表帧图片；获取特征向量模块，用于获取第一代表帧图片的特征向量和各第二代表帧图片的特征向量，并基于第一代表帧图片的特征向量和各第二代表帧图片的特征向量确定视频片段的特征向量；获取综合特征向量模块，用于分别获取视频片段与其他各视频片段之间的特征向量距离，并基于各特征向量距离，得到视频片段的综合特征向量距离；获取视频片段候选集模块，用于于视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，或于视频片段中选取候选视频片段构成视频片段候选集，其中，任一候选视频片段的综合特征向量距离大于预设阈值；处理模块，用于基于视频质量检测算法，计算视频片段候选集中的候选视频片段的视频质量，并将视频质量最高的候选视频片段作为目标视频片段存入目标库。另一种实施方式中，处理模块还用于：判断目标库中存储的目标视频片段的数量是否超过数量阈值；若目标库中存储的目标视频片段的数量未超过数量阈值，则基于视频集中剩余的视频片段，选取得到目标视频片段存入目标库。又一种实施方式中，处理模块用于：分别获取视频集中剩余的视频片段与目标库中存储的各目标视频片段之间的特征向量距离，并基于视频集中剩余的视频片段与目标库存储的各目标视频片段之间的特征向量距离，得到本文档来自技高网...

【技术保护点】
1.一种视频抽选方法，其特征在于，所述视频抽选方法包括：/n获取视频集，所述视频集包括多个视频片段，所述视频片段中包括目标人物；/n基于所述视频片段，得到所述视频片段的第一代表帧图片，以及根据所述第一代表帧图片确定的多张第二代表帧图片；/n获取所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量，并基于所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量确定所述视频片段的特征向量；/n分别获取所述视频片段与其他各视频片段之间的特征向量距离，并基于各所述特征向量距离，得到所述视频片段的综合特征向量距离；/n于所述视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，或/n于所述视频片段中选取候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于预设阈值；/n基于视频质量检测算法，计算所述视频片段候选集中的所述候选视频片段的视频质量，并将所述视频质量最高的候选视频片段作为目标视频片段存入目标库。/n

【技术特征摘要】
1.一种视频抽选方法，其特征在于，所述视频抽选方法包括：
获取视频集，所述视频集包括多个视频片段，所述视频片段中包括目标人物；
基于所述视频片段，得到所述视频片段的第一代表帧图片，以及根据所述第一代表帧图片确定的多张第二代表帧图片；
获取所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量，并基于所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量确定所述视频片段的特征向量；
分别获取所述视频片段与其他各视频片段之间的特征向量距离，并基于各所述特征向量距离，得到所述视频片段的综合特征向量距离；
于所述视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，或
于所述视频片段中选取候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于预设阈值；
基于视频质量检测算法，计算所述视频片段候选集中的所述候选视频片段的视频质量，并将所述视频质量最高的候选视频片段作为目标视频片段存入目标库。


2.根据权利要求1所述的视频抽选方法，其特征在于，所述视频抽选方法还包括：
判断所述目标库中存储的目标视频片段的数量是否超过数量阈值；
若所述目标库中存储的目标视频片段的数量未超过数量阈值，则基于所述视频集中剩余的视频片段，选取得到目标视频片段存入目标库。


3.根据权利要求2所述的视频抽选方法，其特征在于，所述基于所述视频集中剩余的视频片段，选取得到目标视频片段存入目标库，包括：
分别获取所述视频集中剩余的视频片段与所述目标库中存储的各目标视频片段之间的特征向量距离，并基于所述视频集中剩余的视频片段与所述目标库存储的各目标视频片段之间的特征向量距离，得到所述视频集中剩余的视频片段的综合特征向量距离；
于所述视频集中剩余的视频片段中选取第一数量个数的候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于任一其他视频片段的综合特征向量距离，或
于所述视频集中剩余的视频片段中选取候选视频片段构成视频片段候选集，其中，任一所述候选视频片段的综合特征向量距离大于预设阈值；
基于视频质量检测算法，计算所述视频片段候选集中的所述候选视频片段的视频质量，并将所述视频质量最高的候选视频片段作为目标视频片段存入目标库。


4.根据权利要求1所述的视频抽选方法，其特征在于，
所述基于所述视频片段，得到所述视频片段的第一代表帧图片，包括：
基于所述视频片段，通过人脸检测，获取所述视频片段每帧视频帧画面的人脸信息；
基于所述人脸信息，确定所述人脸面积最大的一帧视频帧画面，并将所述人脸面积最大的一帧视频帧画面作为所述第一代表帧图片；
所述根据所述第一代表帧图片确定的多张第二代表帧图片，包括：
基于所述第一代表帧图片，将人脸面积为所述第一代表帧图片中人脸面积的第一预设倍数的视频帧画面作为所述第二代表帧图片。


5.根据权利要求4所述的视频抽选方法，其特征在于，所述第二代表帧图片通过以下方式确定：
所述第二代表帧图片中人脸的高度为所述第一代表帧图片中人脸的高度的0.6-0.8倍、所述第二代表帧图片中人脸的宽度为所述第一代表帧图片中人脸的宽度的0.9-1.1倍，或者
所述第二代表帧图片中人脸的高度为所述第一代表帧图片中人脸的高度的0.9-1.1倍、所述第二代表帧图片中人脸的宽度为所述第一代表帧图片中人脸的宽度的0.6-0.8倍。


6.根据权利要求1所述的视频抽选方法，其特征在于，所述基于所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量确定所述视频片段的特征向量包括：
将所述第一代表帧图片的特征向量和各所述第二代表帧图片的特征向量的加权平均值作为所述视频片段的特征向量，其中，所述第一代表帧图片的特征向量的权重大于所述第二代表帧图片的特征向量的权重。


7.根据权利要求6所述的视频抽选方法，其特征在于，
所述第一代表帧图片的特征向量的权重与所述第二代表帧图片的特征向量的权重的比例关系和所述第一代表帧图片中人脸面积与所述第二代表帧图片中人脸面积的比例关系相对应。


8.根据权利要求1所述的视频抽选方法，其特征在于，所述基于各所述特征向量距离，得到所述视频片段的综合特征向量距离包括：
将所述特征向量距离的平均值，作为所述视频片段的综合特征向量距离。


9.根据权利要求1所述的视频抽选方法，其特征在于，
所述第一数量基于所述视频集中的视频片段的数量和所述目标库中可存储的目标视频片段的数量而确定。


10.根据权利要求1所述的视频抽选方法，其特征在于，所述视频抽选方法还包括：
保存所述视频片段候选集中候选视频片段的综合特征向量距离，以及所述候选视频片段的视频质量。


11.根据权利要求1所述的视频抽选方法，其特征在于，在所述基于所述视频片段，得到所述视频片段的第一代表帧图片，以及根据所述第一代表帧图片确定的多张第二代表帧图片之前，所述视频抽选方法还包括：
基于视频质量检测算法，计算并获取所述视频片段的视频质量；
若所述视频片段的视频质量未超过视频质量阈值，则终止对所述视频片段进行抽选。


12.一种视频抽选装置，其特征在于，所述视频抽选装置包括：
获取视频集模...

【专利技术属性】
技术研发人员：刘杰辰，曹琼，郝玉峰，黄宇凯，李科，
申请(专利权)人：北京海天瑞声科技股份有限公司，
类型：发明
国别省市：北京;11