一种基于内容分析的视频精选合集的自动生成方法技术

本发明专利技术公开了一种基于内容分析的视频精选合集的自动生成方法，包括：根据预设的筛选规则对原始视频进行初筛，获得多个原始视频片段；利用KTS算法将初筛后的视频内容划分为多个连续片段；利用fscn算法对各个连续片段进行视频精彩度分析，获得多个候选精彩连续片段；分别对各个候选精彩连续片段的图片质量、人脸检测与分析和年龄进行评分并分配权重，并结合视频内容鉴黄结果，对各个候选精彩连续片段进行最终打分；基于最终打分结果筛选出多个最终精彩连续片段；在各个最终精彩连续片段的衔接处添加特效及转场效果，生成视频精彩合集。本发明专利技术用户上传的原始视频内容进行整体分析、自动剪辑与合成，具有连贯性佳、呈现效果好的特点。点。点。

【技术实现步骤摘要】
一种基于内容分析的视频精选合集的自动生成方法


[0001]本专利技术涉及图像识别
，更具体的说是涉及一种基于内容分析的视频精选合集的自动生成方法。

技术介绍

[0002]现有的视频精选合集生成基本分为两种，一种是用户自己通过视频剪辑软件来选择自己喜欢的视频和转场等效果对视频进行生成；一种是通过深度学习等技术来对视频内容进行分析来智能选择视频片段进行生成。相对来说，第二种方案更能节省时间。
[0003]目前的智能视频精选合集生成方案主要存在以下缺陷：1、没有考虑到对于短视频的精彩片度提取的问题，一般短视频场景较为单一，使用多段视频进行合成会出现比较断节的问题；2、通常视频的精彩片段的选取从单个视频中截取，没考虑到多个视频之间的人物信息，以及使用多个视频进行合成的问题，一般视频精彩合集整体结果并不好。
[0004]因此，如何提供一种视频的连贯性好，且呈现效果佳的基于内容分析的视频精选合集的自动生成方法是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于内容分析的视频精选合集的自动生成方法，结合图片质量、人脸识别、年龄和视频内容对用户上传的原始视频内容进行自动剪辑与合成，具有连贯性佳、呈现效果好的特点。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于内容分析的视频精选合集的自动生成方法，包括：
[0008]根据预设的筛选规则对原始视频进行初筛，获得多个原始视频片段；
[0009]利用KTS算法对初筛后的视频内容进行频域分析，并基于频域分析结果分别将初筛后的多个所述原始视频片段划分为多个连续片段；
[0010]利用fscn算法对各个所述连续片段进行视频精彩度分析，获得多个候选精彩连续片段；
[0011]对各个所述候选精彩连续片段进行抽帧处理，并分别对所抽取的各个视频帧的图片质量、人脸检测与分析和年龄进行评分；
[0012]分别对各个所述候选精彩连续片段的图片质量、人脸检测与分析和年龄分配权重，并结合视频内容鉴黄结果，对各个所述候选精彩连续片段进行最终打分；
[0013]基于最终打分结果和预设的分数阈值，对各个所述候选精彩连续片段进行排序，并根据排名结果筛选出多个最终精彩连续片段；
[0014]在各个所述最终精彩连续片段的衔接处添加特效及转场效果，生成视频精彩合集。
[0015]优选的，所述根据预设的筛选规则对原始视频进行初筛，所述筛选规则为：拍摄时间跨度满足预设的时间区间范围，所选取的视频时长满足预设的时长区间范围。
[0016]优选的，利用KTS算法对初筛后的视频内容进行频域分析，并基于频域分析结果将初筛后的视频内容划分为多个连续片段，包括：
[0017]对初筛出的视频内容进行抽帧；
[0018]利用GoogLeNet提取所抽取的各个视频帧的频域特征；
[0019]基于各个视频帧的频域特征，利用KTS算法对各个所述原始视频片段进行截取，生成多个连续片段以及各个所述连续片段的起止时间。
[0020]优选的，利用fscn算法对各个所述连续片段进行视频精彩度分析，获得多个候选精彩连续片段，包括：
[0021]利用视频摘要算法对各个所述连续片段进行打分；
[0022]选取分数值大于预设值的多个所述连续片段作为候选精彩连续片段。
[0023]优选的，所述图片质量估计包括：
[0024]计算各个所述候选精彩连续片段中所抽取的视频帧图片的光照度和模糊度；
[0025]基于所述光照度和所述模糊度对所述视频帧图片进行打分，将得分结果作为该视频帧图片对应的所述候选精彩连续片段的视频质量分数；
[0026]确定图像质量阈值；
[0027]筛选出得分结果大于所述图像质量阈值的所述视频帧图片。
[0028]优选的，所述人脸检测与分析包括：
[0029]利用人脸检测模型确定人脸关键点信息；
[0030]基于所述人脸关键点信息，对各个所述候选精彩连续片段中所抽取的视频帧图片进行人脸检测，检测出人脸部分并进行裁剪；
[0031]利用人脸识别算法对裁剪的人脸部分进行特征提取；
[0032]根据提取的人脸特征确定人脸检测与分析；
[0033]将人脸检测与分析结果进行存储。
[0034]优选的，所述年龄估计包括：
[0035]将裁剪出的人脸部分与所述人脸关键点信息进行对齐操作；
[0036]利用年龄估计算法对对齐后的人脸部分进行年龄预测；
[0037]将年龄预测结果进行存储。
[0038]优选的，分别对各个所述候选精彩连续片段的图片质量、人脸检测与分析和年龄分配权重，并结合视频内容鉴别结果，对各个所述候选精彩连续片段进行最终打分，包括：
[0039]基于人脸检测与分析结果和年龄预测结果，对各个所述原始视频片段中的各个所述候选精彩连续片段所抽取的各个视频帧的人脸特征进行聚类分析；
[0040]根据聚类分析结果，确定标准比对特征；如果聚类分析结果中不存在用户的人脸特征，则选择样本中最多人脸特征的聚类中心作为所述标准比对特征，否则，选择用户的人脸特征作为所述标准比对特征；
[0041]分别计算每个所述候选精彩连续片段中的各个人脸特征与所述标准比对特征的余弦相似度；
[0042]计算各个所述候选精彩连续片段各个视频帧的所述余弦相似度的平均值，作为相似度评价分数；
[0043]根据所述相似度评价分数、所述视频质量分数、人脸检测与分析和年龄对各个所
述候选精彩连续片段进行打分，得到综合评价得分。
[0044]优选的，基于最终打分结果和预设的分数阈值，对各个所述候选精彩连续片段进行排序，并根据排名结果筛选出多个最终精彩连续片段，包括：
[0045]确定综合评价得分阈值；
[0046]筛选综合评价得分大于所述综合评价得分阈值的候选精彩连续片段；
[0047]按照所述相似度评价分数对筛选后的各个所述候选精彩连续片段进行排序，选择排名前n的视频片段作为最终精彩连续片段。
[0048]优选的，如果所述各个所述候选精彩连续片段的综合评价得分均小于所述综合评价得分阈值，则选择在下一时间区间范围再进行筛选；
[0049]如果所述候选精彩连续片段的个数小于n，则不生成所述视频精彩合集。
[0050]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于内容分析的视频精选合集的自动生成方法，本专利技术能够在用户拍摄视频较多，且没有时间进行整理时，对用户上传的视频进行整体分析，考虑到多个视频片段之间的人物关系，选取精彩部分视频片段，并结合视频质量、人脸检测与分析和人脸年龄给各个视频片段打分，最后在相衔接的两个视频片段之间加入特效及转场效果，获得精彩视频合集，视频集具有较佳的流畅度、连贯性和成效效果，且能大大节省用户时间。
附图说明
[0051本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内容分析的视频精选合集的自动生成方法，其特征在于，包括：根据预设的筛选规则对原始视频进行初筛，获得多个原始视频片段；利用KTS算法对初筛后的视频内容进行频域分析，并基于频域分析结果分别将初筛后的多个所述原始视频片段划分为多个连续片段；利用fscn算法对各个所述连续片段进行视频精彩度分析，获得多个候选精彩连续片段；对各个所述候选精彩连续片段进行抽帧处理，并分别对所抽取的各个视频帧的图片质量、人脸检测与分析和年龄进行评分；分别对各个所述候选精彩连续片段的图片质量、人脸检测与分析和年龄分配权重，并结合视频内容鉴黄结果，对各个所述候选精彩连续片段进行最终打分；基于最终打分结果和预设的分数阈值，对各个所述候选精彩连续片段进行排序，并根据排名结果筛选出多个最终精彩连续片段；在各个所述最终精彩连续片段的衔接处添加特效及转场效果，生成视频精彩合集。2.根据权利要求1所述的一种基于内容分析的视频精选合集的自动生成方法，其特征在于，所述根据预设的筛选规则对原始视频进行初筛，所述筛选规则为：拍摄时间跨度满足预设的时间区间范围，所选取的视频时长满足预设的时长区间范围。3.根据权利要求1所述的一种基于内容分析的视频精选合集的自动生成方法，其特征在于，利用KTS算法对初筛后的视频内容进行频域分析，并基于频域分析结果将初筛后的视频内容划分为多个连续片段，包括：对初筛出的视频内容进行抽帧；利用GoogLeNet提取所抽取的各个视频帧的频域特征；基于各个视频帧的频域特征，利用KTS算法对各个所述原始视频片段进行截取，生成多个连续片段以及各个所述连续片段的起止时间。4.根据权利要求1所述的一种基于内容分析的视频精选合集的自动生成方法，其特征在于，利用fscn算法对各个所述连续片段进行视频精彩度分析，获得多个候选精彩连续片段，包括：利用视频摘要算法对各个所述连续片段进行打分；选取分数值大于预设值的多个所述连续片段作为候选精彩连续片段。5.根据权利要求1所述的一种基于内容分析的视频精选合集的自动生成方法，其特征在于，所述图片质量估计包括：计算各个所述候选精彩连续片段中所抽取的视频帧图片的光照度和模糊度；基于所述光照度和所述模糊度对所述视频帧图片进行打分，将得分结果作为该视频帧图片对应的所述候选精彩连续片段的视频质量分数；确定图像质量阈值；筛选出得分结果大于所述图像质量阈值的所述视频帧图片。6.根据权利要求5所述的一种基于内容分析的...

【专利技术属性】
技术研发人员：熊杰，金炎芳，
申请(专利权)人：开望杭州科技有限公司，
类型：发明
国别省市：