【技术实现步骤摘要】
基于文本的视频文件生成方法、装置、设备及存储介质
[0001]本专利技术涉及数据展示
,尤其涉及一种基于文本的视频文件生成方法、装置、设备及存储介质。
技术介绍
[0002]近年来,随着计算机视觉领域的飞速发展和生成对抗网络的提出,图像生成的研究受到了越来越广泛的关注,其在素材积累,数据集自动生成方面有非常积极的意义。视频相比于图像它更加生动,生成难度也更大,因此对于视频生成方面的探索更加有研究意义。同时,如果与大多数的图像生成方法一样随机地生成视频并不具有太多实用价值,用户更多地会想要基于编写的文本和体现该文本的意境来生成,比如,用户输入一个剧本及该剧本的背景图,期望得到与所输入剧本和背景图相匹配的视频片段,而不是一些随机的、脱离背景图的无意义的视频,导致对剧本的理解存在偏差,以及生成的视频不贴合,如此,传统的生成方法已经不能满足用户对于生成结果指向性的、匹配性的要求。
技术实现思路
[0003]本专利技术提供一种基于文本的视频文件生成方法、装置、计算机设备及存储介质,实现了自动更新测试环境配置文件, ...
【技术保护点】
【技术特征摘要】
1.一种基于文本的视频文件生成方法,其特征在于,包括:获取待处理文本和与所述待处理文本关联的素材图像;按照预设分句符,对所述待处理文本进行拆分,得到多个分句;通过关键词检测模型对各所述分句进行关键字识别,得到与各个分句对应的关键字结果,同时通过语音生成技术,对各所述分句进行语音生成,得到与各分句对应的分句音频;根据所有所述关键字结果,对所述素材图像进行图层分解,分解出元素图层集;根据所有所述分句和与所有所述分句音频,对所述元素图层集中的各个元素图层进行元素配置处理,得到与各所述元素图层关联的动画视频;据所有所述分句音频和所有所述动画视频,合成与待处理文本对应的视频文件。2.如权利要求1所述的基于文本的视频文件生成方法,其特征在于,所述通过关键词检测模型对各所述分句进行关键字识别,得到与各个分句对应的关键字结果,包括:通过所述关键词检测模型对各所述分句进行单元拆分,得到与各所述分句对应的多个单元词;通过所述关键词检测模型对与各所述分句对应的各所述单元词进行实体识别,得到与各所述分句对应的实体名;通过所述关键词检测模型对与各所述分句对应的所述实体名进行元素关键字特征提取,并根据提取的所述元素关键字特征识别出与各所述分句对应的关键字结果。3.如权利要求1所述的基于文本的视频文件生成方法,其特征在于,所述根据所有所述关键字结果,对所述素材图像进行图层分解,分解出元素图层集,包括:对所有所述关键字结果进行去重处理,得到首现关键字结果;所述首现关键字结果包括多个首现关键字;根据所述首现关键字结果,对所述素材图像进行图层分解,分解出与各所述首现关键字关联的元素图层;将所述素材图像中去除所有图层分解后的所述元素图层的图像记录为始末图像,对所述始末图像进行始末识别,得到始末识别结果;根据所述始末识别结果,将所述始末图像关联至与所述始末识别结果匹配的所述首现关键字关联的所述元素图层;将所有关联完的所述元素图层确定为所述元素清单。4.如权利要求3所述的基于文本的视频文件生成方法,其特征在于,所述根据所述首现关键字结果,对所述素材图像进行图层分解,分解出与各所述首现关键字关联的元素图层,包括:对所述素材图像进行元素识别,识别出元素结果;所述元素结果包括所述元素;根据所述元素结果对所述素材图像进行图层分解,得到与各个所述元素对应的元素图层。5.如权利要求1所述的基于文本的视频文件生成方法,其特征在于,所述根据所有所述分句和与所有所述分句音频,对所述元素图层集中的各个元素图层进行元素配置处理,得到与各所述元素图层关联的动画视频,包括:获取与所述元素图层关联的所述首现关键字对应的所述分句及所述分句音频中的音频帧数;
通过元素配置提取模型对获取的所述分句进行配置特征提取,根据提取的所述配置特征确定该分句的配置项结果;根据与所述元素图层相应的所述音...
【专利技术属性】
技术研发人员:胡向杰,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。