视频缩略图的提取方法及装置制造方法及图纸

本公开涉及一种视频缩略图的提取方法及装置，该方法包括：获取视频的多个待选缩略图；对各个待选缩略图进行目标检测，提取各个待选缩略图的图像特征；根据图像特征确定待选缩略图的置信度；根据置信度从多个待选缩略图中确定视频的推荐缩略图。本公开所提供的视频缩略图的提取方法及装置，计算量较小，能够快速地提取视频的缩略图，且所提取的视频缩略图包含视频的关键信息，能较好地表达视频的内容，有助于用户根据视频缩略图找到感兴趣的视频，提高用户体验。

Method and device for extracting video thumbnail

The present disclosure relates to a method and device for extracting video thumbnails, which includes acquiring multiple selected thumbnails of video, detecting targets of each selected thumbnail, extracting image features of each selected thumbnail, determining the confidence of the selected thumbnail according to image features, and extracting multiple selected thumbnails according to confidence. The recommended thumbnail for determining the video in the sketch. The method and device for extracting video thumbnails provided in the present disclosure have a small amount of computation, and can quickly extract video thumbnails. The extracted video thumbnails contain key information of video, can better express the content of video, help users find interested video according to video thumbnails, and improve the user's body. Test.

【技术实现步骤摘要】
视频缩略图的提取方法及装置
本公开涉及视频分析领域，尤其涉及一种视频缩略图的提取方法及装置。
技术介绍
视频封面，亦称视频缩略图，一般指最能代表整个视频的内容情节的图片。视频缩略图中可以包含该视频的主要人物、关键场景等信息。用户通过视频封面能够直观、快速地了解该视频的内容。相关技术中，采用人工方法或自动镜头检测方法确定视频缩略图。人工方法一般通过人工查看整个视频，筛选出最具有代表性的一个视频帧作为视频缩略图。或者，人工根据视频关键场景、主要人物拼接生成视频缩略图。人工确定视频缩略图的方法耗费较大人力和物力。自动镜头检测方法基于固定间隔采样，容易漏掉最佳图像。相关技术中的各种确定视频缩略图的方法均存在确定的视频缩略图不能准确地表明视频的关键场景的主要人物问题。
技术实现思路
有鉴于此，本公开提出了一种视频缩略图的提取方法及装置，以准确地提取视频的缩略图。根据本公开的第一方面，提供了一种视频缩略图的提取方法，包括：获取视频的多个待选缩略图；对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征；根据所述图像特征确定所述待选缩略图的置信度；根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图。在一种可能的实现方式中，获取视频的多个待选缩略图，包括：将所述视频的首个视频帧作为首个待选缩略图；从所述视频的第二个视频帧开始，计算所述视频帧与所述视频帧的上一个待选缩略图的相似度；在所述视频帧与所述视频帧的上一个待选缩略图的相似度小于第一阈值的情况下，将所述视频帧确定为所述待选缩略图。在一种可能的实现方式中，对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征之前，所述方法还包括：确定各个所述待选缩略图的清晰度，去除清晰度小于第二阈值的所述待选缩略图。在一种可能的实现方式中，对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征之前，所述方法还包括：计算各个所述待选缩略图之间的相似度，在第一待选缩略图与第二待选缩略图的相似度大于第三阈值，且所述第一待选缩略图的清晰度小于所述第二待选缩略图的清晰度的情况下，去除所述第一待选缩略图，其中，所述第一待选缩略图为任意一个待选缩略图，所述第二待选缩略图为所述的第一待选缩略图以外的任意一个待选缩略图。在一种可能的实现方式中，所述图像特征包括以下至少一种：纹理强度、尺度不变特征点的个数、关键图像的个数、关键图像的尺寸和关键图像的位置，其中，所述关键图像包括人脸图像和/或动物图像。在一种可能的实现方式中，所述方法还包括：确定各个所述待选缩略图中的各个所述关键图像之间的相似度；将相似度大于第四阈值的多个关键图像确定为同一关键图像类别；统计所有所述待选缩略图中出现各个关键图像类别的关键图像的个数；根据所有所述待选缩略图中出现各个关键图像类别的关键图像的个数，确定各个关键图像类别的分数。在一种可能的实现方式中，根据所述图像特征确定所述待选缩略图的置信度，包括：根据所述待选缩略图的各个图像特征以及各个图像特征对应的权重，确定所述待选缩略图的置信度。在一种可能的实现方式中，所述关键图像还包括景物图像；根据所述图像特征确定所述待选缩略图的置信度，包括：在所述待选缩略图的关键图像仅包含所述景物图像的情况下，根据所述待选缩略图的信息量确定所述待选缩略图的置信度。在一种可能的实现方式中，根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图，包括：将所述置信度最大的待选缩略图确定为所述推荐缩略图。在一种可能的实现方式中，根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图，还包括：按照所述置信度由大到小的顺序对所述待选缩略图进行排序；将所述排序在前的N个待选缩略图确定为备选缩略图，其中，N大于或等于2；根据各个所述备选缩略图对应的点击率确定所述推荐缩略图。根据本公开的第二方面，提供了一种视频缩略图的提取装置，包括：待选缩略图获取模块，用于获取视频的多个待选缩略图；特征检测模块，用于对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征；置信度确定模块，用于根据所述图像特征确定所述待选缩略图的置信度；推荐缩略图确定模块，用于根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图。在一种可能的实现方式中，所述待选缩略图获取模块包括：第一待选缩略图确定子模块，用于将所述视频的首个视频帧作为首个待选缩略图；相似度计算子模块，用于从所述视频的第二个视频帧开始，计算所述视频帧与所述视频帧的上一个待选缩略图的相似度；第二待选缩略图确定子模块，用于在所述视频帧与所述视频帧的上一个待选缩略图的相似度小于第一阈值的情况下，将所述视频帧确定为所述待选缩略图。在一种可能的实现方式中，所述装置还包括：清晰度筛选模块，用于确定各个所述待选缩略图的清晰度，去除清晰度小于第二阈值的所述待选缩略图。在一种可能的实现方式中，所述装置还包括：去重模块，用于计算各个所述待选缩略图之间的相似度，在第一待选缩略图与第二待选缩略图的相似度大于第三阈值，且所述第一待选缩略图的清晰度小于所述第二待选缩略图的清晰度的情况下，去除所述第一待选缩略图，其中，所述第一待选缩略图为任意一个待选缩略图，所述第二待选缩略图为所述的第一待选缩略图以外的任意一个待选缩略图。在一种可能的实现方式中，所述图像特征包括以下至少一种：纹理强度、尺度不变特征点的个数、关键图像的个数、关键图像的尺寸和关键图像的位置，其中，所述关键图像包括人脸图像和/或动物图像。在一种可能的实现方式中，所述装置还包括：第一相似度计算模块，用于确定各个所述待选缩略图中的各个所述关键图像之间的相似度；关键图像归类模块，用于将相似度大于第四阈值的多个关键图像确定为同一关键图像类别；个数统计模块，用于统计所有所述待选缩略图中出现各个关键图像类别的关键图像的个数；分数确定模块，用于根据所有所述待选缩略图中出现各个关键图像类别的关键图像的个数，确定各个关键图像类别的分数。在一种可能的实现方式中，所述置信度确定模块包括：第一置信度确定子模块，用于根据所述待选缩略图的各个图像特征以及各个图像特征对应的权重，确定所述待选缩略图的置信度。在一种可能的实现方式中，所述关键图像还包括景物图像；所述置信度确定模块包括：第二置信度确定子模块，用于在所述待选缩略图的关键图像仅包含所述景物图像的情况下，根据所述待选缩略图的信息量确定所述待选缩略图的置信度。在一种可能的实现方式中，所述推荐缩略图确定模块包括：第一推荐缩略图确定子模块，用于将所述置信度最大的待选缩略图确定为所述推荐缩略图。在一种可能的实现方式中，所述推荐缩略图确定模块包括：排序子模块，用于按照所述置信度由大到小的顺序对所述待选缩略图进行排序；备选缩略图确定子模块，用于将所述排序在前的N个待选缩略图确定为备选缩略图，其中，N大于或等于2；第二推荐缩略图确定子模块，用于根据各个所述备选缩略图对应的点击率确定所述推荐缩略图。根据本公开的第三方面，提供了一种视频缩略图的提取装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，当所述存储介质中的指令由终端和/或服务器的处理器执行时，使得终端和本文档来自技高网...

【技术保护点】
1.一种视频缩略图的提取方法，其特征在于，包括：获取视频的多个待选缩略图；对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征；根据所述图像特征确定所述待选缩略图的置信度；根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图。

【技术特征摘要】
1.一种视频缩略图的提取方法，其特征在于，包括：获取视频的多个待选缩略图；对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征；根据所述图像特征确定所述待选缩略图的置信度；根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图。2.根据权利要求1所述的方法，其特征在于，获取视频的多个待选缩略图，包括：将所述视频的首个视频帧作为首个待选缩略图；从所述视频的第二个视频帧开始，计算所述视频帧与所述视频帧的上一个待选缩略图的相似度；在所述视频帧与所述视频帧的上一个待选缩略图的相似度小于第一阈值的情况下，将所述视频帧确定为所述待选缩略图。3.根据权利要求1所述的方法，其特征在于，对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征之前，所述方法还包括：确定各个所述待选缩略图的清晰度，去除清晰度小于第二阈值的所述待选缩略图。4.根据权利要求1所述的方法，其特征在于，对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征之前，所述方法还包括：计算各个所述待选缩略图之间的相似度，在第一待选缩略图与第二待选缩略图的相似度大于第三阈值，且所述第一待选缩略图的清晰度小于所述第二待选缩略图的清晰度的情况下，去除所述第一待选缩略图，其中，所述第一待选缩略图为任意一个待选缩略图，所述第二待选缩略图为所述的第一待选缩略图以外的任意一个待选缩略图。5.根据权利要求1所述的方法，其特征在于，所述图像特征包括以下至少一种：纹理强度、尺度不变特征点的个数、关键图像的个数、关键图像的尺寸和关键图像的位置，其中，所述关键图像包括人脸图像和/或动物图像。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：确定各个所述待选缩略图中的各个所述关键图像之间的相似度；将相似度大于第四阈值的多个关键图像确定为同一关键图像类别；统计所有所述待选缩略图中出现各个关键图像类别的关键图像的个数；根据所有所述待选缩略图中出现各个关键图像类别的关键图像的个数，确定各个关键图像类别的分数。7.根据权利要求5或6所述的方法，其特征在于，根据所述图像特征确定所述待选缩略图的置信度，包括：根据所述待选缩略图的各个图像特征以及各个图像特征对应的权重，确定所述待选缩略图的置信度。8.根据权利要求5所述的方法，其特征在于，所述关键图像还包括景物图像；根据所述图像特征确定所述待选缩略图的置信度，包括：在所述待选缩略图的关键图像仅包含所述景物图像的情况下，根据所述待选缩略图的信息量确定所述待选缩略图的置信度。9.根据权利要求1所述的方法，其特征在于，根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图，包括：将所述置信度最大的待选缩略图确定为所述推荐缩略图。10.根据权利要求1所述的方法，其特征在于，根据所述置信度从多个所述待选缩略图中确定所述视频的推荐缩略图，还包括：按照所述置信度由大到小的顺序对所述待选缩略图进行排序；将所述排序在前的N个待选缩略图确定为备选缩略图，其中，N大于或等于2；根据各个所述备选缩略图对应的点击率确定所述推荐缩略图。11.一种视频缩略图的提取装置，其特征在于，包括：待选缩略图获取模块，用于获取视频的多个待选缩略图；特征检测模块，用于对各个所述待选缩略图进行目标检测，提取各个所述待选缩略图的图像特征；置信度确定模块，用于根据所述图像特征确定所述待选缩略图的置信度；推荐缩...

【专利技术属性】
技术研发人员：葛雷鸣，吴统帅，王建宇，潘柏宇，项青，
申请(专利权)人：合一信息技术北京有限公司，
类型：发明
国别省市：北京,11