视频生成方法、装置、设备及介质制造方法及图纸

本申请提供一种视频生成方法、装置、设备及介质，该视频生成方法包括：响应于客户端的视频生成请求，获取与推荐对象相关的原始视频；对原始视频进行多模态特征识别，得到原始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段；根据图像识别信息和文本片段，对原始视频进行处理，得到至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合。从而，基于原始视频实现目标视频的自动提取，无需用户手动将原始视频剪辑成一个或多个目标视频，提高了视频生成效率，降低了视频生成成本，同时在目标视频的提取过程中利用了多模态特征识别得到的图像识别信息和文本片段，确保了视频生成质量。成质量。成质量。

【技术实现步骤摘要】
视频生成方法、装置、设备及介质


[0001]本申请涉及计算机
，尤其涉及一种视频生成方法、装置、设备及介质。

技术介绍

[0002]近年来，随着移动互联网技术及相关基础建设的飞速发展，移动互联网用户越来越习惯于观看短视频，与短视频相关的应用程序占据了移动互联网用户上网冲浪的大部分时间。在此背景下，电商场景下与短视频相关的业务快速发展，短视频在线上为商家带来了大量的免费带货流量。
[0003]相关技术中，商家使用拍摄时长较长的原始视频，在剪辑工具中手动对长达数小时的原始视频进行复杂的剪辑操作，这个过程耗费剪辑人员大量时间，导致短视频的生产效率低且生产成本较高，进而使得部分商家受成本限制无法开展短视频运营业务或减少短视频运营业务。
[0004]因此，如何高效低成本地生产出优质的短视频，是目前亟需解决的问题。

技术实现思路

[0005]本申请提供一种视频生成方法、装置、设备及介质，用以解决如何高效低成本地生产出优质的短视频的问题。
[0006]第一方面，本申请实施例提供一种视频生成方法，应用于服务器，包括：响应于客户端的视频生成请求，获取与推荐对象相关的原始视频；对原始视频进行多模态特征识别，得到原始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段；根据图像识别信息和文本片段，对原始视频进行处理，得到至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合。
[0007]第二方面，本申请实施例提供一种视频生成方法，应用于客户端，包括：响应于用户针对与推荐对象相关的原始视频的交互操作，向服务器发送视频生成请求，以请求基于原始视频进行视频生成；接收服务器返回的至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合，目标视频基于原始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段对原始视频进行处理得到。
[0008]第三方面，本申请实施例提供一种视频生成装置，包括：获取单元，用于响应于客户端的视频生成请求，获取与推荐对象相关的原始视频；识别单元，用于对原始视频进行多模态特征识别，得到原始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段；提取单元，用于根据图像识别信息和文本片段，对原始视频进行处理，得到至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合。
[0009]第四方面，本申请实施例提供一种视频生成装置，包括：发送单元，用于响应于用户针对与推荐对象相关的原始视频的交互操作，向服务器发送视频生成请求，以请求基于原始视频进行视频生成；接收单元，用于接收服务器返回的至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合，目标视频基于所述原
始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段对原始视频进行处理得到。
[0010]第五方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使电子设备能够执行本申请第一方面和/或第二方面提供的视频生成方法。
[0011]第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请第一方面和/或第二方面提供的视频生成方法。
[0012]第七方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行本申请第一方面和/或第二方面提供的视频生成方法。
[0013]由上述技术方案可见，本申请实施例中，对与推荐对象相关的原始视频进行多模态特征识别，得到原始视频中图像帧的图像识别信息和原始视频中语音对应的文本片段，根据图像识别信息和文本片段，对原始视频进行处理，得到至少一个目标视频，目标视频为原始视频中的一个视频片段或者为原始视频中多个视频片段的组合。因此，本申请实施例实现了目标视频的自动提取，即实现了短视频的自动提取，提高了短视频生成效率，降低了短视频生成成本，而且基于多模态特征识别得到的图像信息和文本信息，能够从原始视频中提取出包含有效内容的短视频，提高了短视频的质量。
附图说明
[0014]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本申请实施例提供的一种视频生成方法的场景示意图；
[0016]图2为本申请实施例提供的视频生成方法的流程示意图一；
[0017]图3为本申请实施例提供的视频生成方法的流程示意图二；
[0018]图4为本申请实施例提供的视频生成方法的流程示意图三；
[0019]图5为本申请实施例提供的视频生成装置50的结构框图；
[0020]图6为本申请实施例提供的视频生成装置60的结构框图；
[0021]图7为本申请示例性实施例提供的一种云服务器的结构示意图。
[0022]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0023]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]本申请的说明书和权利要求及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0025]首先，对本申请实施例涉及的部分用语进行解释：
[0026]短视频：视频时长小于时长阈值(比如5分钟、10分钟)的视频，不同短视频应用程序对短视频规定的时长阈值可能不同。在电商领域，通过短视频为用户快速介绍商品，既节省用户时间，又能够突出商品特点。
[0027]在相关技术中，通过手动剪辑长达数小时的原始视频，生成短视频，导致短视频的生产效率较低，生产成本较高。如果是简单地将原始视频分割为多个短视频，又无法保证短视频的质量。
[0028]为解决上述问题，本申请实施例提供了一种视频生成方法、装置、设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，应用于服务器，其特征在于，包括：响应于客户端的视频生成请求，获取与推荐对象相关的原始视频；对所述原始视频进行多模态特征识别，得到所述原始视频中图像帧的图像识别信息和所述原始视频中语音对应的文本片段；根据所述图像识别信息和所述文本片段，对所述原始视频进行处理，得到至少一个目标视频，所述目标视频为所述原始视频中的一个视频片段或者为所述原始视频中多个视频片段的组合。2.根据权利要求1所述的视频生成方法，其特征在于，所述根据所述图像识别信息和所述文本片段，对所述原始视频进行处理，得到至少一个目标视频，包括：根据所述图像识别信息，对所述原始视频中的推荐对象进行类别预测，得到所述原始视频中的推荐对象所属的目标类别；根据所述文本片段和所述目标类别，对所述文本片段进行有效讲解信息的识别，得到包含有效讲解信息的候选文本片段；根据所述候选文本片段，对所述原始视频进行处理，得到所述目标视频。3.根据权利要求2所述的视频生成方法，其特征在于，预先构建知识图谱，所述知识图谱中包括至少一个类别下的推荐对象的图像，所述根据所述图像识别信息，对所述原始视频中的推荐对象进行类别预测，得到所述原始视频中的推荐对象所属的目标类别，包括：将所述知识图谱中至少一个类别下的推荐对象的图像与所述图像识别信息进行图像匹配，根据图像匹配结果，确定所述目标类别。4.根据权利要求3所述的视频生成方法，其特征在于，所述知识图谱中还包括至少一个类别下的推荐对象的属性，所述根据所述文本片段和所述目标类别，对所述文本片段进行有效讲解信息的识别，得到包含有效讲解信息的候选文本片段，包括：在所述知识图谱中，获取所述目标类别下推荐对象的属性；将所述文本片段与所述目标类别下推荐对象的属性进行文本匹配，得到包含所述目标类别下推荐对象的属性的文本片段，确定所述候选文本片段为包含所述目标类别下推荐对象的属性的文本片段。5.根据权利要求2至4中任一项所述的视频生成方法，其特征在于，所述根据所述候选文本片段，对所述原始视频进行处理，得到所述目标视频，包括：根据内容质量要求，对所述候选文本片段进行筛选；根据筛选后的候选文本片段，对所述原始视频进行处理，得到所述目标视频。6.根据权利要求2至4中任一项所述的视频生成方法，其特征在于，所述候选文本片段标注有时间信息，所述根据所述候选文本片段，对所述原始视频进行处理，得到所述目标视频，包括：根据所述图像识别信息和所述候选文本片段上标注的时间信息...

【专利技术属性】
技术研发人员：贺欣，谢佳雯，陈建宇，吴春松，刘延朋，常小军，熊成，刘成，赵翊腾，姜永刚，李金，陈炳辉，包季真，黄博翔，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：