本申请涉及多模态大模型技术领域，适用于金融科技及医疗健康养老领域，公开了一种幻灯片讲解视频生成方法、装置、计算机设备及存储介质。方法包括：获取幻灯片文件，对幻灯片文件进行处理，得到处理后的文件数据；将文件数据输入至多模态大模型，得到讲解脚本数据；将讲解脚本数据输入至多模态大模型，对齐并生成得到融合指令信息；根据视觉内容指令信息，调用视觉素材库，得到动画数据；将语音内容指令信息输入至文本转语音模型，得到配音数据；根据动画数据和配音数据，合成得到幻灯片讲解视频。本申请的讲解视频生成方法，能够解决相关工具视频生成效率过低、效果生硬、操作不便等问题，满足金融科技和医疗康养领域的知识传播和业务推广需求。
【技术实现步骤摘要】
本申请涉及多模态大模型，尤其涉及一种幻灯片讲解视频生成方法、装置、计算机设备及存储介质。
技术介绍
1、在金融科技和医疗康养领域，幻灯片讲解视频是重要的知识传播和业务推广工具。在金融科技领域，复杂的图表和数据需要精准解读，为了辅助理解还需要添加不同的视觉效果与设计独到的讲解层次结构。在医疗健康领域，专业术语和流程图需要清晰展示，特定的医学影像还需要专门标注解读。
2、然而，大部分的软件工具都是简单地基于固定模板和规则进行静态转换，缺少动态优化能力，有些仅仅按顺序拼接ppt页面，或者简单地将文本转为语音，需手动添加动画、配音及转场效果，效率低下，并且缺乏对内容的深度理解与解析，更奢谈设计改良讲解的层次结构、视听效果，无法满足专业领域的复杂需求。特别是，这些工具生成的视频中，语音与画面节奏不同步，文本摘要与视觉元素缺乏逻辑关联，导致视频呈现效果生硬。
3、因此，在金融科技和医疗康养领域，亟需一种能够深度理解ppt内容、动态适配多模态融合，并支持个性化与交互性的ppt转视频工具，以提升视频质量和用户体验。
/>技术本文档来自技高网...
【技术保护点】
1.一种幻灯片讲解视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述文件数据包括文本数据、图像数据和属性数据；所述对所述幻灯片文件进行处理，得到处理后的文件数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述文本数据、所述图像数据和所述属性数据输入至第一多模态大模型，得到讲解脚本数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述第一多模态大模型包括分析模型与综合模型；所述将所述文件数据输入至第一多模态大模型，得到讲解脚本数据，包括：
5.根据权利要求4所述的方法，其特征在于，所述上下文关...
【技术特征摘要】
1.一种幻灯片讲解视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述文件数据包括文本数据、图像数据和属性数据；所述对所述幻灯片文件进行处理，得到处理后的文件数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述文本数据、所述图像数据和所述属性数据输入至第一多模态大模型，得到讲解脚本数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述第一多模态大模型包括分析模型与综合模型；所述将所述文件数据输入至第一多模态大模型，得到讲解脚本数据，包括：
5.根据权利要求4所述的方法，其特征在于，所述上下文关系数据包括文本-文本关联数据与文本-视觉元素关联数据，所述文本-文本关联数据包括因果关系数据、对比关系数据或层次关系数据，所述文本-视觉元素关联数...
【专利技术属性】
技术研发人员：程国斌，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。