【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种视频翻译方法及系统、电子设备和存储介质。
技术介绍
1、视频翻译指的是给定目标人物视频以及目标语言类型，通过音色复刻、机器翻译生成符合目标人物说话语气及目标语言类型的翻译音频，并结合输入的目标人物视频中的目标人物形象及驱动模块完成嘴部动作渲染，最终得出目标语言类型下的翻译视频。视频翻译任务需要保证翻译音频内容的准确度，目标人物表情姿态的匹配度，以及嘴部动作的音画同步率。现有技术中的视频翻译任务，最终得到的翻译视频的音画同步率、视频帧间连续性可能较差，导致用户观看效果不佳。
技术实现思路
1、本公开提出了一种视频翻译方法及系统、电子设备和存储介质的技术方案。
2、根据本公开的一方面，提供了一种视频翻译方法，包括：对原始视频中的目标人物进行嘴部动作消除，得到目标闭嘴视频；对所述原始视频对应的原始音频进行音频翻译，得到翻译音频，其中，所述原始音频和所述翻译音频对应不同语言类型；利用目标渲染模型，基于所述翻译音频驱动所述目标闭嘴视频，得到人脸渲染视频，其中...
【技术保护点】
1.一种视频翻译方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对原始视频中的目标人物进行嘴部动作消除，得到目标闭嘴视频，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述原始视频中的所述目标人物进行嘴部动作消除，得到第一闭嘴视频，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一闭嘴视频和所述原始视频进行视频重建，得到第二闭嘴视频，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述第二闭嘴视频和所述原始视频进行融合，得到所述目标闭嘴视频，包括：
...
【技术特征摘要】
1.一种视频翻译方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对原始视频中的目标人物进行嘴部动作消除，得到目标闭嘴视频，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述原始视频中的所述目标人物进行嘴部动作消除，得到第一闭嘴视频，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一闭嘴视频和所述原始视频进行视频重建，得到第二闭嘴视频，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于所述第二闭嘴视频和所述原始视频进行融合，得到所述目标闭嘴视频，包括：
6.根据权利要求1所述的方法，其特征在于，所述利用目标渲染模型，基于所述翻译音频驱动所述目标闭嘴视频，得到人脸渲染视频，包括：
7.根据权利要求6所述的方法，其特征在于，所述参考视频中包括多个参考视频帧，所述待渲染视频中包括多个待渲染视频帧，每个待渲染视频帧中不包括所述目标人物的下半脸区域；
8.根据权利要求1所述的方法，其特征在于，所述目标渲染模型的训练数据包括：待渲染样本视频、参考样本视频、样本音频；
9.根据权利要求8所述的方法，其特征...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。