音视频合成的方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种音视频合成的方法、装置、电子设备及介质。其中，本申请中，获取针对第一用户的第一视频以及第一用户在第一视频中的第一语音数据进行文本转换而得到的第一语音文本，且获取针对第二用户的第二视频以及第二用户针对第一语音文本而生成的第二语音数据之后，即可以基于第一视频以及第二语音数据，生成目标视频。通过应用本申请的技术方案，可以在获取到老师的视频数据以及根据老师在视频中生成的语音文本后，将学生根据该语音文本进行朗读得到的语音数据与老师的视频数据进行合成，以得到目标视频。这也避免了相关技术中存在的学生仅能观看授课视频进行复习所导致的学习效率不高的问题。

Methods, devices, electronic equipment and media of audio and video synthesis

【技术实现步骤摘要】
音视频合成的方法、装置、电子设备及介质
本申请中涉及图像数据处理技术，尤其是一种音视频合成的方法、装置、电子设备及介质
技术介绍
随着社会的发展，越来越多的人会选择学习各种各样的知识来不断扩充自己。其中，由于传统的学生与教师面对面授课均需要双方在路上耗费大量的时间及精力。因此，随着通信时代的发展，网络授课已被广大的用户所接受。进一步的，在一般的远程授课视频中，通常由教师端和各个学生端通过使用自身的智能设备进行视频通信，以完成授课过程。这样的授课方式不仅可以避免线下授课带来的额外耗费时间精力的问题，还可以在授课结束后，学生随时观看授课时的回放视频，以便巩固所学知识。然而，相关技术中存在的在线授课方式比较单一，无法提高老师和学生的互动性，从而导致学生学习的效率不佳。
技术实现思路
本申请实施例提供一种音视频合成的方法、装置、电子设备及介质。其中，根据本申请实施例的一个方面，提供的一种音视频合成的方法，其特征在于，包括：获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第本文档来自技高网...

【技术保护点】
1.一种音视频合成的方法，其特征在于，包括：/n获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；/n获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；/n基于所述第一视频以及所述第二语音数据，生成目标视频。/n

【技术特征摘要】
1.一种音视频合成的方法，其特征在于，包括：
获取第一用户的第一视频以及第一语音文本，所述第一语音文本基于所述第一用户在所述第一视频中的第一语音数据通过文本转换而得到；
获取第二用户的第二视频以及对应的第二语音数据，所述第二语音数据为所述第二用户针对所述第一语音文本而生成的语音数据；
基于所述第一视频以及所述第二语音数据，生成目标视频。


2.如权利要求1所述的方法，其特征在于，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度；
当所述匹配度中存在低于预设阈值的目标匹配度时，确定所述目标匹配对应的第一语音数据中的第一目标片段以及所述第二语音数据中的第二目标片段，基于所述第一目标片段与所述第二目标片段的差异，生成提示信息；
基于所述第一视频、所述第二语音数据以及所述提示信息，生成所述目标视频。


3.如权利要求2所述的方法，其特征在于，在所述生成提示信息之后，还包括：
当检测到针对所述提示信息的查看指令时，显示差异内容，所述差异内容包括所述目标匹配度对应的第一目标片段和/或所述第二目标片段。


4.如权利要求2或3所述的方法，其特征在于，所述对所述第一语音数据中的至少一个第一片段与所述第二语音数据中的至少一个第二片段进行匹配计算，得到至少一个匹配度，包括：
计算所述第一片段所对应的第一音频特征与所述第二片段所对应的第二音频特征的音频特征相似度，和/或计算所述第一片段所对应的第一文本片段与所述第二片段所对应的第二文本片段的语义特征相似度；
基于所述音频特征相似度和/或所述语义特征相似度，计算所述匹配度。


5.如权利要求1所述的方法，其特征在于，所述基于所述第一视频以及所述第二语音数据，生成目标视频，包括：
将至少部分所述第二语音数据添加到...

【专利技术属性】
技术研发人员：骆曦，张特，王贺，张頔，徐放，
申请(专利权)人：北京大米未来科技有限公司，
类型：发明
国别省市：北京;11