视频转译方法、装置、电子设备制造方法及图纸

技术编号:43333150 阅读:29 留言:0更新日期:2024-11-15 20:30
本申请实施例提供一种视频转译方法,包括:将原始视频分离成驱动视频和驱动音频;对所述驱动视频进行光影处理;对所述驱动音频进行翻译处理;和通过口型驱动模型对光影处理后的所述驱动视频和翻译处理后的所述驱动音频进行合成推理,形成合成视频。本申请实施例提供的视频转译方法,能够高效、准确且自然实现视频翻译。本申请实施例还提供一种视频转译装置和电子设备。

【技术实现步骤摘要】

本申请实施例涉及图像处理,具体而言,涉及一种视频转译方法、装置、电子设备


技术介绍

1、短视频的广泛传播和数字人技术的萌生,很好地帮助了内容生产者扩大受众、提高整个内容的生产效率问题,也有助于吸引全球本地化的群体,进一步提升内容影响力和商业潜力。

2、视频翻译是数字人技术的一种高阶应用,在知识跨境传播、影视剧海外制作、实时视频会议等方面,都有着较大的商业价值。在技术维度,视频多语言翻译技术是在stt(speechto text,语言文本转换)算法和tts(text to speech,文本语音转换)算法基础上,叠加声音克隆和唇形同步功能,支持真人出镜视频的翻译,还原视频真实性。目前口型驱动技术主要存在以下不足:视频直接翻译,无特定人物id微调;视频翻译面向开放环境,用户的输入视频环境复杂、视角多变、转场丰富、目标不唯一,对于算法的鲁棒性要求较高。


技术实现思路

1、针对上述现有技术中存在的问题,本申请实施例提供了一种视频转译方法、装置、电子设备,能够高效、准确且自然实现视频翻译。

2本文档来自技高网...

【技术保护点】

1.一种视频转译方法,其特征在于,包括:

2.根据权利要求1所述的视频转译方法,其特征在于,在所述对所述驱动视频进行光影处理之前,还包括:

3.根据权利要求2所述的视频转译方法,其特征在于,所述对所述驱动视频中的人脸进行识别并进行人脸处理,包括:

4.根据权利要求1所述的视频转译方法,其特征在于,在对所述驱动视频中的人脸进行识别并进行人脸处理之后,在所述对所述驱动视频进行光影处理之前,还包括:

5.根据权利要求1所述的视频转译方法,其特征在于,在所述通过口型驱动模型对光影处理后的所述驱动视频和翻译处理后的所述驱动音频进行合成推理,形成合成视...

【技术特征摘要】

1.一种视频转译方法,其特征在于,包括:

2.根据权利要求1所述的视频转译方法,其特征在于,在所述对所述驱动视频进行光影处理之前,还包括:

3.根据权利要求2所述的视频转译方法,其特征在于,所述对所述驱动视频中的人脸进行识别并进行人脸处理,包括:

4.根据权利要求1所述的视频转译方法,其特征在于,在对所述驱动视频中的人脸进行识别并进行人脸处理之后,在所述对所述驱动视频进行光影处理之前,还包括:

5.根据权利要求1所述的视频转译方法,其特征在于,在所述通过口型驱动模型对光影处理后的所述驱动视频和翻译处理后的所述驱动音频进行合成推理,形成合成视频之后,还包括:

6....

【专利技术属性】
技术研发人员:王成
申请(专利权)人:万兴科技湖南有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1