【技术实现步骤摘要】
本申请涉及计算机数据处理，特别是涉及一种视频生成方法、装置、设备和存储介质。
技术介绍
1、随着计算机技术的普及，视频成为日常生活中重要的媒体传播方式，现有的视频制作方式需要在编辑好视频所需的稿件后，由专人录制相应视频，由专人录制视频需要耗费较多的人力资源，使得录制视频的成本较高，且人工录制耗时较长，若出现差错，还需重新录制或制作。由此可见，现有方式的视频生成方式，效率低、成本高。
技术实现思路
1、本申请主要解决的技术问题是提供一种视频生成方法、装置、设备和存储介质，能够提高视频生成效率，降低视频生成成本。
2、为了解决上述技术问题，本申请第一方面提供了一种视频生成方法，包括：获取原始文稿和原始文稿的原始配图；获取响应于原始文稿和原始配图而分析得到且用于配音的参考数据；其中，参考数据包含文案文本、表征文案文本所蕴含情感信息的第一文本和至少表征文案文本需采用发音音色的第二文本；基于参考数据进行语音合成，得到视频配音；至少基于原始配图和视频配音，生成目标视频。
3、为了解决上述技术问题，本申请第二方面提供了一种视频生成装置，该视频生成装置包括获取模块、分析模块、合成模块和生成模块；其中，获取模块用于获取原始文稿和原始文稿的原始配图；分析模块用于获取响应于原始文稿和原始配图而分析得到且用于配音的参考数据；其中，参考数据包含文案文本、表征文案文本所蕴含情感信息的第一文本和至少表征文案文本需采用发音音色的第二文本；合成模块用于基于参考数据进行语音合成，得到视频配音；
4、为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面的视频生成方法。
5、为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的视频生成方法。
6、上述方案，获取原始文稿和原始文稿的原始配图后，进一步获取响应于原始文稿和原始配图而分析得到且用于配音的参考数据；其中，参考数据包含文案文本、表征文案文本所蕴含情感信息的第一文本和至少表征文案文本需采用发音音色的第二文本；基于参考数据进行语音合成，得到视频配音；至少基于原始配图和视频配音，生成目标视频。通过该方式，仅需提供用户需生成目标视频的原始文稿和原始文稿的原始配图，即可自动分析、生成目标视频。相较于人工制作视频，能够提高视频生成效率，降低视频生成成本。
7、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本文档来自技高网...【技术保护点】
1.一种视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述参考数据的获取步骤包括：
3.根据权利要求2所述的方法，其特征在于，所述参考数据基于图文理解网络对所述目标段落和所述目标段落所附所述原始配图进行分析得到，所述图文理解网络包括语义解码器和所述预训练的多模态编码器，所述语义解码器用于对所述多模态特征进行解码，且所述图文理解网络的训练步骤包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取响应于所述原始文稿和所述原始配图而分析得到且用于配音的参考数据之后，以及在所述至少基于所述原始配图和所述视频配音，生成目标视频之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述播报形象的获取步骤包括：
6.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取响应于所述原始文稿和所述原始配图而分析得到且用于配音的参考数据之后，以及在所述至少基于所述原始配图和所述视频配音，生成目标视频之前，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述
8.根据权利要求1至3任一项所述的方法，其特征在于，所述目标视频基于所述原始配图、所述视频配音以及由所述参考数据预测得到的图像数据生成得到，所述图像数据包括主播形象、新增配图中至少一者，且所述图像数据基于图像生成网络对所述参考数据进行预测得到，所述图像生成网络包括提示解码器和预训练的以文生图网络，所述提示解码器用于基于所述参考数据生成表征期望图像详情的描述文本，所述预训练的以文生图网络用于基于所述描述文本生成与所述期望图像相关的图像数据。
9.根据权利要求8所述的方法，其特征在于，所述图像生成网络的训练步骤包括：
10.根据权利要求1至3任一项所述的方法，其特征在于，所述目标视频中含有主播形象，在所述至少基于所述原始配图和所述视频配音，生成目标视频之后，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述预览页面的第三区域显示有所述文案文本以及所述文案文本中各个语句的配音标记，且所述配音标记表征音色、情感中至少一种配音属性；所述方法还包括：
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
13.根据权利要求10所述的方法，其特征在于，所述方法还包括：
14.一种视频生成装置，其特征在于，包括：
15.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至13任一项所述的视频生成方法。
16.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至13任一项所述的视频生成方法。
...【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述参考数据的获取步骤包括：
3.根据权利要求2所述的方法，其特征在于，所述参考数据基于图文理解网络对所述目标段落和所述目标段落所附所述原始配图进行分析得到，所述图文理解网络包括语义解码器和所述预训练的多模态编码器，所述语义解码器用于对所述多模态特征进行解码，且所述图文理解网络的训练步骤包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取响应于所述原始文稿和所述原始配图而分析得到且用于配音的参考数据之后，以及在所述至少基于所述原始配图和所述视频配音，生成目标视频之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述播报形象的获取步骤包括：
6.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取响应于所述原始文稿和所述原始配图而分析得到且用于配音的参考数据之后，以及在所述至少基于所述原始配图和所述视频配音，生成目标视频之前，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述原始文稿对应的文案文本包含：由所述原始文稿中的目标段落和与其所附所述原始配图分析所得的文案文本，所述新增配图的获取步骤包括：
8.根据权利要求1至3任一项所述的方法，其特征在于，所述目标视频基于所述原始配图、所述视频配音以及由所述参考数据预测得到的图像数据生成得到，所述图像数据包括主...
【专利技术属性】
技术研发人员：高建清，左童春，姚仕豪，何山，郜静文，杨硕，殷保才，殷兵，刘烨秋，付新勇，王雨露，张若楠，管广鹏，吕磊，陈付国，金左雨，董飞，胡国平，刘聪，魏思，王士进，刘权，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。