【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种视频生成方法、设备、存储介质及计算机程序产品。
技术介绍
1、随着人工智能技术的发展与普及，用户可以随时借助生成式人工智能（artificial intelligence generated content，aigc）对图像进行分析与描述，即借助人工智能实现看图说话。
2、常规的看图说话技术局限于文字形式，止步于根据给定图像生成符合要求的文本描述，采用文字形式描述图像或讲述由图像衍生出的故事，并未真正实现“说话”的功能，应用场景相对单一且固定化，难以满足用户个性化的看图说话需求，导致用户的体验感较差。
3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是常规技术。
技术实现思路
1、本申请的主要目的在于提供一种视频生成方法、设备、存储介质及计算机程序产品，旨在提升用户体验感。
2、为实现上述目的，本申请实施例提出一种视频生成方法，所述视频生成方法包括：
3、根据获取到的原始图像，生成图像衍生文本；
4、根据所述图像衍生文本，生成文本朗读音频；
5、根据所述原始图像，生成虚拟角色；
6、根据所述虚拟角色和所述文本朗读音频，生成文本朗读视频。
7、在一实施例中，所述根据获取到的原始图像，生成图像衍生文本的步骤包括：
8、获取标注样本，其中，所述标注样本包括多个样本图像和用于描述各所述样本图像的描述文本；
9、利用所述标注样
10、应用所述微调后的多模态大型语言模型识别所述原始图像，生成图像衍生文本。
11、在一实施例中，所述根据所述原始图像，生成虚拟角色的步骤包括：
12、根据所述原始图像和所述图像衍生文本，生成虚拟角色的描述文本；
13、根据所述描述文本，生成所述虚拟角色。
14、在一实施例中，所述根据所述描述文本，生成虚拟角色的步骤包括：
15、提取所述描述文本的关键词，确定多个预设的角色图像各自对应的角色形象特征词；
16、将对应的角色形象特征词与所述关键词之间的相似度超过预设相似度阈值的角色图像，确定为候选图像；
17、评估各所述候选图像的图像细节的清晰度，将所述图像细节的清晰度最高的候选图像确定为目标图像；
18、根据所述描述文本和所述目标图像，生成虚拟角色。
19、在一实施例中，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
20、识别所述图像衍生文本的文字语义，提取所述文字语义中的环境语义词，确定与所述环境语义词相匹配的环境音效；
21、根据所述图像衍生文本和所述环境音效，生成所述文本朗读音频。
22、在一实施例中，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
23、识别所述图像衍生文本的文字语义，根据所述文字语义，确定用于朗读所述图像衍生文本的角色的声音特征；
24、获取与所述声音特征匹配的人声音频，根据所述人声音频和所述图像衍生文本，生成所述文本朗读音频。
25、在一实施例中，所述根据所述虚拟角色和所述文本朗读音频，生成文本朗读视频的步骤包括：
26、识别所述文本朗读音频的情感，得到第一情感标签；
27、提取预设的角色视频的第二情感标签，计算第一情感标签和第二情感标签之间的情感相似度；
28、选择所述情感相似度最大的第二情感标签的角色视频作为目标视频；
29、根据所述目标视频、所述虚拟角色和所述文本朗读音频，生成所述文本朗读视频。
30、此外，为实现上述目的，本申请实施例还提出一种视频生成装置，所述视频生成装置包括：
31、文本生成模块，用于根据获取到的原始图像，生成图像衍生文本；
32、音频生成模块，用于根据所述图像衍生文本，生成文本朗读音频；
33、图像生成模块，用于根据所述原始图像，生成虚拟角色；
34、视频生成模块，用于根据所述虚拟角色和所述文本朗读音频，生成文本朗读视频。
35、此外，为实现上述目的，本申请实施例还提出一种视频生成设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的视频生成方法的步骤。
36、此外，为实现上述目的，本申请实施例还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的视频生成方法的步骤。
37、此外，为实现上述目的，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的视频生成方法的步骤。
38、本申请提供了一种视频生成方法，本申请实施例首先通过根据获取到的原始图像，生成图像衍生文本，为后续的音频和视频生成提供了准确的文字脚本；根据所述图像衍生文本，生成文本朗读音频，将文字转化为语音，跨越了视觉的界限，从听觉维度丰富了图像的落地场景；根据所述原始图像，生成虚拟角色，为后续的视频生成提供素材；根据所述虚拟角色和所述文本朗读音频，生成文本朗读视频，完成了静态图像到动态视听内容的转变。本申请通过将图像转化为文本、音频和视频等多种信息类型，实现了图像的多维度、多模态呈现，丰富了图像信息的表现形式和应用场景，提升了用户的交互体验。
本文档来自技高网...【技术保护点】
1.一种视频生成方法，其特征在于，所述视频生成方法包括：
2.如权利要求1所述的视频生成方法，其特征在于，所述根据获取到的原始图像，生成图像衍生文本的步骤包括：
3.如权利要求1所述的视频生成方法，其特征在于，所述根据所述原始图像，生成虚拟角色的步骤包括：
4.如权利要求3所述的视频生成方法，其特征在于，所述根据所述描述文本，生成虚拟角色的步骤包括：
5.如权利要求1所述的视频生成方法，其特征在于，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
6.如权利要求1所述的视频生成方法，其特征在于，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
7.如权利要求1所述的视频生成方法，其特征在于，所述根据所述虚拟角色和所述文本朗读音频，生成文本朗读视频的步骤包括：
8.一种视频生成设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的视频生成方法的步骤。
9.一种存储介质，其特征
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频生成方法的步骤。
...【技术特征摘要】
1.一种视频生成方法，其特征在于，所述视频生成方法包括：
2.如权利要求1所述的视频生成方法，其特征在于，所述根据获取到的原始图像，生成图像衍生文本的步骤包括：
3.如权利要求1所述的视频生成方法，其特征在于，所述根据所述原始图像，生成虚拟角色的步骤包括：
4.如权利要求3所述的视频生成方法，其特征在于，所述根据所述描述文本，生成虚拟角色的步骤包括：
5.如权利要求1所述的视频生成方法，其特征在于，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
6.如权利要求1所述的视频生成方法，其特征在于，所述根据所述图像衍生文本，生成文本朗读音频的步骤包括：
7.如权利要求1所述的视...
【专利技术属性】
技术研发人员：张昕，张惠玲，黄嘉铉，陈晓锋，
申请(专利权)人：深圳市智慧城市科技发展集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。