【技术实现步骤摘要】
基于数字孪生技术的音频视频的同步方法及装置
[0001]本申请涉及音视频
，尤其涉及一种基于数字孪生技术的音频视频的同步方法及装置。
技术介绍
[0002]随着互联网技术的不断发展，数字孪生技术开始在产品设计、产品制造、医学分析以及金融等领域开始广泛应用。数字孪生技术指的是使用传感器收集相关实时状态，采集工作环境位置的数据并上传到基于云的系统，该云的系统接收并处理传感器收集的数据，根据现实业务和关联数据进行分析，分析结果通过虚拟仿真技术进行可视化呈现。
[0003]在一些场景下，在金融行业领域的在线客服的人机对话中，采用数字孪生技术将客服人物虚拟化、数字化后，得到数字化人物，对于数字化人物的动态尤其是口型和声音的同步是提高用户体验的关键因素。但是在实际应用的过程中，数字化人物的口型变化往往是固定的，对应不同的真人客服，数字化人物的口型和真人客服的口型和声音会出现不同步的情况，导致用户体验感较低。
技术实现思路
[0004]本申请实施例的目的是提供一种基于数字孪生技术的音频视频的同步方法及装置，以...
【技术保护点】
【技术特征摘要】
1.一种基于数字孪生技术的音频视频的同步方法，其特征在于，所述同步方法包括：获取目标用户的音频数据流和视频数据流；对所述音频数据流标记音频时间戳，对所述视频数据流标记视频时间戳，所述音频时间戳和所述视频时间戳相对应；将所述音频数据流和所述视频数据流输入至数字化人物模型，通过所述数字化人物模型按照所述音频时间戳的时序输出所述音频数据流，以所述音频数据流的时钟为参考时钟，通过所述数字化人物模型按照所述视频时间戳的时序同步控制所述视频数据流的播放速度，并根据所述视频数据流中目标用户的口型数据控制所述数字化人物模型的口型同步变化。2.根据权利要求1所述的基于数字孪生技术的音频视频的同步方法，其特征在于，所述对所述音频数据流标记音频时间戳，对所述视频数据流标记视频时间戳包括：根据当前时间的网络带宽确定音频标记时间间隔和视频标记时间间隔，其中，所述网络带宽与所述音频标记时间间隔和所述视频标记时间间隔呈正比；以本地时钟为参考，从所述音频数据流的起点开始，按照所述音频标记时间间隔对所述音频数据流标记音频时间戳，从所述视频数据流的起点开始，按照所述视频标记时间间隔对所述视频数据流标记视频时间戳。3.根据权利要求1所述的基于数字孪生技术的音频视频的同步方法，其特征在于，所述获取目标用户的音频数据流和视频数据流包括：获取所述目标用户的音频数据和视频数据，对所述音频数据和所述视频数据进行编码后，得到所述音频数据流和所述视频数据流；所述通过所述数字化人物模型按照所述音频时间戳的时序输出所述音频数据流包括：通过音频解码器解码所述音频数据流后，将解码后的音频数据流和音频数据流中各音频字节流对应的音频时间戳缓存至音频缓存区，按照所述音频时间戳的时序从所述音频缓存区中读取音频字节流并通过所述数字化人物模型播放；所述通过所述数字化人物模型按照所述视频时间戳的时序同步控制所述视频数据流的播放速度包括：通过视频解码器解码所述视频数据流，将解码后的视频数据流和视频数据流中各视频字节流对应的视频时间戳缓存至视频缓冲区，按照所述视频时间戳的时序从所述视频缓冲区中读取视频字节流并通过所述数字化人物模型同步控制所述视频字节流的播放速度。4.根据权利要求3所述的基于数字孪生技术的音频视频的同步方法，其特征在于，所述音频数据的第一采集时间间隔与音频标记时间间隔相对应，所述视频数据的第二采集时间间隔与视频标记时间间隔相对应。5.根据权利要求1
‑
4任意一项所述的基于数字孪生技术的音频视频的同步方法，其特征在于，所述以所述音频数据流的时钟为参考时钟，通过所述数字化人物模型按照所述视频时间戳的时序同步控制所述视频数据流的播放速度包括：以所述音频数据流的时钟为参考时钟，在所述视频数据流中当前播放的视频字节流的视频时间戳早于当前播放的音频字节流的音频时间戳的情况下，则跳转到当前播放的音频字节流的音频时间戳对应的视频时间戳的视频字节流并通过所述数字化人物模型播放，在所述视频数据流中当前播放的视频字节流的视频时间戳晚于当前播放的音频字节流的音
频时间戳的情况下，则暂停所述视频数据流中当前播放的视频字节流，并在音频...
【专利技术属性】
技术研发人员：张岩，彭小波，刘小叶，
申请(专利权)人：上海艾融软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。