多媒体内容生成方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种多媒体内容生成方法、装置、设备及存储介质，本申请从用户创作需求中提取设定类型的标签信息。不同标签信息表征了用户不同的创作需求，而模型为了更好理解不同的创作需求需要依赖不同的知识提示信息，为此，本申请预先配置有prompt格式模板集合，其中包含与各不同类型标签所匹配的模板，模板中包含了与所匹配的类型标签相关的知识信息，可以根据提取的标签信息，从集合中选取匹配的目标模板并结合用户创作需求生成提示指令送入到大型人工智能模型，得到生成的多媒体内容。本申请生成的提示指令中包含了相关知识信息，便于模型能够基于该知识信息更好地理解用户的创作需求，进而生成符合用户创作需求的多媒体内容。体内容。体内容。

【技术实现步骤摘要】
多媒体内容生成方法、装置、设备及存储介质


[0001]本申请涉及大型人工智能模型
，更具体的说，是涉及一种多媒体内容生成方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，多媒体内容的传播数量、类型等也呈现井喷式的增长。多媒体内容的创作者可以搜集自己感兴趣的信息或者当前网络热点信息来创作多媒体内容，如文章、视频、海报图像等，进而发布到网络上供其它用户浏览。
[0003]然而，多媒体内容的创作者也会出现创作瓶颈，特别是对于新手期的创作者，经常会出现不知道如何创作内容或者缺乏参考素材的问题。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种多媒体内容生成方法、装置、设备及存储介质，以自动生成满足用户创作需求的多媒体内容，供用户参考使用。具体方案如下：
[0005]第一方面，提供了一种多媒体内容生成方法，包括：
[0006]获取用户的创作需求；
[0007]调用预配置的大型人工智能模型解析所述创作需求，并提取所述创作需求包含的设定类型的标签信息；
[0008]根据提取的各类型的标签信息，在预设的prompt格式模板集合中选取匹配的目标prompt格式模板，其中，所述prompt格式模板集合中包含与各不同类型标签所匹配的prompt格式模板，prompt格式模板中包含与所匹配的类型标签相关的知识信息；
[0009]基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt，并输入大型人工智能模型，得到模型生成的符合用户的创作需求的多媒体内容。
[0010]优选地，用户的创作需求包括对文章、图像、视频脚本中的任意一种类型内容的创作需求，对应的，大型人工智能模型生成的多媒体内容包括文章、图像、视频脚本中的任意一种类型的内容。
[0011]优选地，当大型人工智能模型生成的符合用户的创作需求的多媒体内容为视频脚本时，该方法还包括：
[0012]渲染所述视频脚本，并输出。
[0013]优选地，调用预配置的大型人工智能模型解析所述创作需求，并提取所述创作需求包含的设定类型的标签信息，包括：
[0014]获取预配置的第一prompt格式模板，所述第一prompt格式模板包括用户创作需求槽，所述第一prompt格式模板用于指示大型人工智能模型理解所述用户创作需求槽内的用户创作需求，并输出其中包含的各设定类型的标签；
[0015]将获取的所述用户的创作需求填充至所述用户创作需求槽中，得到编辑后的第一提示指令prompt，送入大型人工智能模型，得到模型输出的所述创作需求包含的设定类型
的标签信息。
[0016]优选地，预设的prompt格式模板集合包括与不同内容类型分别对应的prompt格式模板子集合，子集合中的prompt格式模板用于指示大型人工智能模型生成子集合所对应的内容类型的多媒体内容；
[0017]根据提取的各类型的标签信息，在预设的prompt格式模板集合中选取匹配的目标prompt格式模板，包括：
[0018]将提取的各类型的标签进行组合，得到标签组；
[0019]在与用户的创作需求所要创作内容的类型对应的prompt格式模板子集合中，选取与所述标签组匹配的目标prompt格式模板，其中，所述prompt格式模板子集合中包含与不同标签组所匹配的prompt格式模板。
[0020]优选地，基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt，包括：
[0021]将所述目标prompt格式模板及所述用户的创作需求拼接为提示指令prompt。
[0022]优选地，在基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt之前，该方法还包括：
[0023]对于所述用户的创作需求中所缺失的指定类型的标签，结合所述用户在多媒体平台上的账号信息及行为数据预测所述指定类型的标签；
[0024]则基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt的过程，包括：
[0025]将所述目标prompt格式模板、所述用户的创作需求及预测的所述指定类型的标签拼接为提示指令prompt。
[0026]优选地，在基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt之前，该方法还包括：
[0027]获取与用户的创作需求相关的场景知识信息；
[0028]则基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt的过程，包括：
[0029]将所述目标prompt格式模板、所述用户的创作需求及所述场景知识信息拼接为提示指令prompt。
[0030]优选地，所述用户的创作需求包括：创作内容所属的平台、内容类型、主题以及用户感兴趣的关键词中的至少一种。
[0031]第二方面，提供了一种多媒体内容生成装置，包括：
[0032]创作需求获取单元，用于获取用户的创作需求；
[0033]创作需求解析单元，用于调用预配置的大型人工智能模型解析所述创作需求，并提取所述创作需求包含的设定类型的标签信息；
[0034]模板匹配单元，用于根据提取的各类型的标签信息，在预设的prompt格式模板集合中选取匹配的目标prompt格式模板，其中，所述prompt格式模板集合中包含与各不同类型标签所匹配的prompt格式模板，prompt格式模板中包含与所匹配的类型标签相关的知识信息；
[0035]模型调用生成单元，用于基于所述目标prompt格式模板及所述用户的创作需求生
成提示指令prompt，并输入大型人工智能模型，得到模型生成的符合用户的创作需求的多媒体内容。
[0036]第三方面，提供了一种多媒体内容生成设备，包括：存储器和处理器；
[0037]所述存储器，用于存储程序；
[0038]所述处理器，用于执行所述程序，实现如前所述的多媒体内容生成方法的各个步骤。
[0039]第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的多媒体内容生成方法的各个步骤。
[0040]借由上述技术方案，本申请通过调用大型人工智能模型来生成用户创作需求所对应的多媒体内容，支持用户提出自己的创作需求，进而可以调用预配置的大型人工智能模型对用户创作需求进行解析，提取创作需求包含的设定类型的标签信息，如创作平台为小红书、微信等，创作内容类型为产品介绍、品牌推广等。考虑到不同的标签信息表征了用户不同的创作需求，而大型人工智能模型在理解不同的创作需求时可能需要依赖不同的知识提示信息才能够更好的进行理解，进而生成符合用户创作需求的多媒体内容，为此，本申请预先配置有prompt格式模板集合，其中包含与各不同类型标签所匹配的prompt格式模板，该prompt格式模板中包含了与所匹配的类型标签相关的知识信息，在此基础上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体内容生成方法，其特征在于，包括：获取用户的创作需求；调用预配置的大型人工智能模型解析所述创作需求，并提取所述创作需求包含的设定类型的标签信息；根据提取的各类型的标签信息，在预设的prompt格式模板集合中选取匹配的目标prompt格式模板，其中，所述prompt格式模板集合中包含与各不同类型标签所匹配的prompt格式模板，prompt格式模板中包含与所匹配的类型标签相关的知识信息；基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt，并输入大型人工智能模型，得到模型生成的符合用户的创作需求的多媒体内容。2.根据权利要求1所述的方法，其特征在于，用户的创作需求包括对文章、图像、视频脚本中的任意一种类型内容的创作需求，对应的，大型人工智能模型生成的多媒体内容包括文章、图像、视频脚本中的任意一种类型的内容。3.根据权利要求2所述的方法，其特征在于，当大型人工智能模型生成的符合用户的创作需求的多媒体内容为视频脚本时，该方法还包括：渲染所述视频脚本，并输出。4.根据权利要求1所述的方法，其特征在于，调用预配置的大型人工智能模型解析所述创作需求，并提取所述创作需求包含的设定类型的标签信息，包括：获取预配置的第一prompt格式模板，所述第一prompt格式模板包括用户创作需求槽，所述第一prompt格式模板用于指示大型人工智能模型理解所述用户创作需求槽内的用户创作需求，并输出其中包含的各设定类型的标签；将获取的所述用户的创作需求填充至所述用户创作需求槽中，得到编辑后的第一提示指令prompt，送入大型人工智能模型，得到模型输出的所述创作需求包含的设定类型的标签信息。5.根据权利要求1所述的方法，其特征在于，预设的prompt格式模板集合包括与不同内容类型分别对应的prompt格式模板子集合，子集合中的prompt格式模板用于指示大型人工智能模型生成子集合所对应的内容类型的多媒体内容；根据提取的各类型的标签信息，在预设的prompt格式模板集合中选取匹配的目标prompt格式模板，包括：将提取的各类型的标签进行组合，得到标签组；在与用户的创作需求所要创作内容的类型对应的prompt格式模板子集合中，选取与所述标签组匹配的目标prompt格式模板，其中，所述prompt格式模板子集合中包含与不同标签组所匹配的prompt格式模板。6.根据权利要求1所述的方法，其特征在于，基于所述目标prompt格式模板及所述用户的创作需求生成提示指令prompt，包括：将所述目标pr...

【专利技术属性】
技术研发人员：熊世富，刘杰，于继栋，李兵，杨涵，林金城，邹灵犀，赵旨遒，金冰敏，孙洪山，汪佳，刘谢霞，胡国平，刘聪，王士进，魏思，刘权，马天宇，杨文亮，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：