基于视频模板的视频生成方法、系统、电子设备及介质技术方案

本发明专利技术公开了基于视频模板的视频生成方法和系统、电子设备及介质，包括：获取用户侧特征和视频模板侧特征，输入到双塔召回模型，得到多个第一视频模板；确定待合成图片组的图片标签向量和第一视频模板的模板标签向量，计算各第一视频模板与待合成图片组的标签相关系数；确定待合成图片组的图片比例向量和第一视频模板的模板比例向量，计算各第一视频模板与待合成图片组的比例相关系数；根据标签相关系数和比例相关系数确定各第一视频模板与待合成图片组的匹配度，根据匹配度选取出第二视频模板，根据待合成图片组和第二视频模板生成第一视频。本发明专利技术提高了视频的合成效率和用户的使用体验，使得视频生成的效果更好，可应用于视频合成技术领域。视频合成技术领域。视频合成技术领域。

【技术实现步骤摘要】
基于视频模板的视频生成方法、系统、电子设备及介质


[0001]本专利技术涉及视频合成
，尤其是一种基于视频模板的视频生成方法和系统、电子设备及介质。

技术介绍

[0002]视频内容制作在日常生活中随处可见，用户通过制作视频内容来记录生活、彰显个性以及输出价值。视频制作通常有两种方式，一是自行录制视频并剪辑完善；二是通过上传若干图片生成特定的模板视频。模板视频合成由于操作方便、效果丰富，是视频内容分享的主要方式，各大互联网巨头均有研究并提供相关的模板视频生成能力，如火山引擎、剪映等。
[0003]随着视频模板效果的丰富和类型的增加，基于视频模板完成视频制作分享的需求和场景会日益增多。目前的视频模板合成主要有两种操作方式：
[0004]1)用户自主选择模板。用户通过一些标签，找到相关主题的模板，逐个查询并逐个尝试模板合成，查看视频效果，最终选择合适的视频模板。这种方式操作复杂，效率低下，很多用户在使用过程中，需要多次的合成尝试，才能找到最合适的模板，影响了用户的使用体验。
[0005]2)通用模版一键合成。基于一批通用视频模板进行视频合成，用户上传图片后，找出满足指定数量的模板，图像比例不适配时通过自动裁切或高斯模糊化处理，完成通用模板的比例适配及合成处理。但采用通用视频模板进行合成，经常出现效果不匹配的情况，影响了视频生成的效果和用户的使用体验。

技术实现思路

[0006]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0007]为此，本专利技术实施例的一个目的在于提供一种基于视频模板的视频生成方法，该方法提高了视频的合成效率和用户的使用体验，使得视频生成的效果更好。
[0008]本专利技术实施例的另一个目的在于提供一种基于视频模板的视频生成系统。
[0009]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0010]第一方面，本专利技术实施例提供了一种基于视频模板的视频生成方法，包括以下步骤：
[0011]获取用户侧特征和视频模板侧特征，将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，得到多个召回的第一视频模板；
[0012]确定待合成图片组的图片标签向量和所述第一视频模板的模板标签向量，根据所述图片标签向量和所述模板标签向量计算各所述第一视频模板与所述待合成图片组的标签相关系数；
[0013]确定所述待合成图片组的图片比例向量和所述第一视频模板的模板比例向量，根据所述图片比例向量和所述模板比例向量计算各所述第一视频模板与所述待合成图片组
的比例相关系数；
[0014]根据所述标签相关系数和所述比例相关系数确定各所述第一视频模板与所述待合成图片组的匹配度，并根据所述匹配度选取出第二视频模板，进而根据所述待合成图片组和所述第二视频模板生成第一视频。
[0015]进一步地，在本专利技术的一个实施例中，所述获取用户侧特征和视频模板侧特征，将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，得到多个召回的第一视频模板这一步骤，其具体包括：
[0016]获取目标用户的模板使用时间、模板使用频率以及模板使用偏好，根据所述模板使用时间、所述模板使用频率以及所述模板使用偏好确定所述用户侧特征；
[0017]获取目标视频模板的模板风格、模板类型以及模板节奏，根据所述模板风格、所述模板类型以及所述模板节奏确定所述视频模板侧特征；
[0018]将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，输出得到各所述目标视频板的召回率；
[0019]确定召回率大于等于预设的第一阈值的所述目标视频模板为所述第一视频模板。
[0020]进一步地，在本专利技术的一个实施例中，所述确定待合成图片组的图片标签向量和所述第一视频模板的模板标签向量，根据所述图片标签向量和所述模板标签向量计算各所述第一视频模板与所述待合成图片组的标签相关系数这一步骤，其具体包括：
[0021]获取目标用户上传的待合成图片组，所述待合成图片组包括多个待合成图片；
[0022]通过卷积神经网络对各所述待合成图片进行标签分类，得到各所述待合成图片的第一图片标签，并根据所述第一图片标签生成所述图片标签向量；
[0023]通过ResNet残差网络对所述第一视频模板进行标签分类，得到所述第一视频模板的多个第一模板标签，并根据所述第一模板标签生成所述模板标签向量；
[0024]确定所述图片标签向量与所述模板标签向量的余弦相似度，根据所述余弦相似度确定所述各所述第一视频模板与所述待合成图片组的标签相关系数。
[0025]进一步地，在本专利技术的一个实施例中，所述确定所述待合成图片组的图片比例向量和所述第一视频模板的模板比例向量，根据所述图片比例向量和所述模板比例向量计算各所述第一视频模板与所述待合成图片组的比例相关系数这一步骤，其具体包括：
[0026]确定各所述待合成图片的第一图片比例，根据所述第一图片比例生成所述图片比例向量；
[0027]确定所述第一视频模板中各个模板区域的第一区域比例，根据所述第一区域比例生成所述模板比例向量；
[0028]将所述图片比例向量与所述模板比例向量进行向量维度比较，当两者的向量维度不一致，通过预设的填充向量对所述图片比例向量/所述模板比例向量进行填充处理，得到维度一致的图片比例向量和模板比例向量；
[0029]确定维度一致的图片比例向量与模板比例向量的归一化距离，根据所述归一化距离确定各所述第一视频模板与所述待合成图片组的比例相关系数。
[0030]进一步地，在本专利技术的一个实施例中，根据下式确定维度一致的图片比例向量与模板比例向量的归一化距离：
[0031][0032]其中，r
pic_k
表示图片比例向量V
pic
中第k个第一图片比例，r
video_k
表示模板比例向量V
video
中第k个第一区域比例，N表示图片比例向量V
pic
和模板比例向量V
video
的向量维度，D
pic_video
(V
pic
,V
video
)表示图片比例向量V
pic
与模板比例向量V
video
的归一化距离。
[0033]进一步地，在本专利技术的一个实施例中，所述根据所述标签相关系数和所述比例相关系数确定各所述第一视频模板与所述待合成图片组的匹配度这一步骤，其具体包括：
[0034]确定所述第一视频模板的内容属性权重和效果属性权重；
[0035]将所述内容属性权重作为所述标签相关系数的权重，将所述效果属性权重作为所述比例相关系数的权重，对所述标签相关系数和所述比例相关系数进行加权求和，得到所述第一视频模板与所述待合成图片组的匹配度。
[0036]进一步地，在本专利技术的一个实施例中，所述根据所述匹配度选取出第二视频模板，进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频模板的视频生成方法，其特征在于，包括以下步骤：获取用户侧特征和视频模板侧特征，将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，得到多个召回的第一视频模板；确定待合成图片组的图片标签向量和所述第一视频模板的模板标签向量，根据所述图片标签向量和所述模板标签向量计算各所述第一视频模板与所述待合成图片组的标签相关系数；确定所述待合成图片组的图片比例向量和所述第一视频模板的模板比例向量，根据所述图片比例向量和所述模板比例向量计算各所述第一视频模板与所述待合成图片组的比例相关系数；根据所述标签相关系数和所述比例相关系数确定各所述第一视频模板与所述待合成图片组的匹配度，并根据所述匹配度选取出第二视频模板，进而根据所述待合成图片组和所述第二视频模板生成第一视频。2.根据权利要求1所述的一种基于视频模板的视频生成方法，其特征在于，所述获取用户侧特征和视频模板侧特征，将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，得到多个召回的第一视频模板这一步骤，其具体包括：获取目标用户的模板使用时间、模板使用频率以及模板使用偏好，根据所述模板使用时间、所述模板使用频率以及所述模板使用偏好确定所述用户侧特征；获取目标视频模板的模板风格、模板类型以及模板节奏，根据所述模板风格、所述模板类型以及所述模板节奏确定所述视频模板侧特征；将所述用户侧特征和所述视频模板侧特征输入到双塔召回模型，输出得到各所述目标视频板的召回率；确定召回率大于等于预设的第一阈值的所述目标视频模板为所述第一视频模板。3.根据权利要求1所述的一种基于视频模板的视频生成方法，其特征在于，所述确定待合成图片组的图片标签向量和所述第一视频模板的模板标签向量，根据所述图片标签向量和所述模板标签向量计算各所述第一视频模板与所述待合成图片组的标签相关系数这一步骤，其具体包括：获取目标用户上传的待合成图片组，所述待合成图片组包括多个待合成图片；通过卷积神经网络对各所述待合成图片进行标签分类，得到各所述待合成图片的第一图片标签，并根据所述第一图片标签生成所述图片标签向量；通过ResNet残差网络对所述第一视频模板进行标签分类，得到所述第一视频模板的多个第一模板标签，并根据所述第一模板标签生成所述模板标签向量；确定所述图片标签向量与所述模板标签向量的余弦相似度，根据所述余弦相似度确定所述各所述第一视频模板与所述待合成图片组的标签相关系数。4.根据权利要求3所述的一种基于视频模板的视频生成方法，其特征在于，所述确定所述待合成图片组的图片比例向量和所述第一视频模板的模板比例向量，根据所述图片比例向量和所述模板比例向量计算各所述第一视频模板与所述待合成图片组的比例相关系数这一步骤，其具体包括：确定各所述待合成图片的第一图片比例，根据所述第一图片比例生成所述图片比例向量；
确定所述第一视频模板中各个模板区域的第一区域比例，根据所述第一区域比例生成所述模板比例向量；将所述图片比例向量与所述模板比例向量进行向量维度比较，当两者的向量维度不一致，通过预设的填充向量对所述图片比例向量/所述模板比例向量进行填充处理，得到维度一致的图片比例向量和模板比例向量；确定维度一致的图片比例向量与模板比例向量的归一化距离，根据所述归一化距离确定各所述第一视频模板与所述待合成图片组的比例相关系数。5.根据权利要求4所述的一种基于视频模板的视频生...

【专利技术属性】
技术研发人员：郝德禄，彭杰，吴伟芬，
申请(专利权)人：天翼爱音乐文化科技有限公司，
类型：发明
国别省市：