一种跨设备和系统的音视频同步渲染的方法及系统技术方案

一种跨设备和系统的音视频同步渲染的方法及系统，码流分发服务器对接入的音视频解码渲染设备进行网络时间协议(NTP)授时，分发音视频码流到视频解码渲染设备，同时提取音频码流分发到音频解码渲染设备；视频解码渲染设备开始解码后生成渲染时间戳(RTS)通过码流分发服务器传递到音频解码渲染设备；以及音频解码渲染设备接收到渲染时间戳(RTS)后根据渲染时间戳(RTS)信息进行同步渲染。本发明专利技术在传输流音视频解码时间戳(DTS)和显示时间戳(PTS)基础上，增加渲染时间戳(RTS)参数，RTS参数通过网络视频渲染设备传递到音频渲染设备，音频渲染设备根据收到的视频RTS参数调整渲染时间，实现音视频在不同系统和设备中同步渲染。实现音视频在不同系统和设备中同步渲染。实现音视频在不同系统和设备中同步渲染。

【技术实现步骤摘要】
一种跨设备和系统的音视频同步渲染的方法及系统


[0001]本专利技术属于数字电视广播领域，针对数字电视和音频通过不同设备进行音频和视频渲染时，提供一种跨设备和系统的音视频同步渲染的方法和系统。

技术介绍

[0002]随着视听传播技术的发展与媒介生态的变化,观众对视频的清晰度和逼真性的要求越来越高,视频技术正经历从高清技术向4K/8K超高清技术的演进,随着超高清和互联网技术的发展，为更好地满足新的媒体生态下观众文化生活消费，需要更多的音视频呈现技术来满足观众多样化的需求。2021年2月，中央广播电视总台的8K直播试验，采用了不同以往的呈现技术和方式，在室内外公共大屏对超高清8K节目进行直播，获得了业界和观众的好评，目前总台在直播试验的基础上，正积极推进8K超高清技术研究，开展公共大屏服务平台的建设。
[0003]公共大屏位于开放空间，环境噪声比较复杂，大屏播放系统除了给观众带来视觉上的享受外，也需要为每个观众提供独立的声音呈现方式提升听觉上的体验，因此公共大屏的音频系统提供了手机接收同步广播音频功能。视频通过公共大屏呈现，音频通过互联网分发到手机或者其它专用音频渲染设备进行呈现。现有的家庭电视、影院和音响系统，音视频解码和渲染是在同一个设备或者本地互联的几个设备来完成，音视频同步的机制通过解码设备来完成。但是对于公共大屏系统采用异构独立的音视频渲染设备的方式，系统连接如图2所示，码流分发系统(服务器)对码流通过不同网络分别分发音视频流到视频解码器和音频解码器，音频解码器和视频解码器处于不同的网络，其中，RTSD表示渲染时间戳数据，NTP表示网络时间协议。目前的同步机制不能解决异构跨网络间的音视频同步技术要求，需要有新的方法来解决跨网络音视频同步问题，。
[0004]解决以上问题及缺陷的难度为：现有解码器的音视频同步机制根据码流的PTS进行同步，对于异构跨设备系统，因为音视频采用独立分发的方式，音视频设备间的PTS相互独立不能相互通信沟通，均采用独立自由解码方式进行解码和渲染，因此观众通过手机或者其它音频收听设备收听到的声音与大屏的画面会不同步。
[0005]解决以上问题及缺陷的意义为：可以给观众提供更好的音视频体验，呈现同步的音视频内容，需要专利技术一种跨设备和网络的音视频同步方法解决音视频同步问题

技术实现思路

[0006]本专利技术提供了一种跨设备和系统的音视频同步渲染的方法，在传输流音视频解码时间戳(DTS)和显示时间戳(PTS)基础上，增加渲染时间戳(RTS)参数，RTS参数通过网络视频渲染设备传递到音频渲染设备，音频渲染设备根据收到的视频RTS参数调整渲染时间，实现音视频在不同系统和设备中同步渲染。
[0007]本专利技术的技术方案如下：
[0008]根据本专利技术的一个专利技术，提供了一种跨设备和系统的音视频同步渲染的方法，包
括以下步骤：S1：码流分发服务器对接入的音频渲染设备和视频渲染设备授时；S2：视频渲染设备对分发的视频进行解码，解码数据放入渲染缓冲区，记录当前解码帧的显示时间戳(PTS)；S3：视频渲染设备每渲染一帧图像生成渲染时间戳(RTS)信息和渲染时间戳数据(RTSD)网络报文，并按照指定周期发送渲染时间戳数据(RTSD)网络报文；S4：码流分发服务器转发渲染时间戳数据(RTSD)网络报文到所有的音频渲染设备；S5：音频渲染设备每收到一个渲染时间戳数据(RTSD)网络报文，计算渲染时间戳数据(RTSD)网络报文中的渲染时间戳(RTS)和显示时间戳(PTS)的差值D
rts
并更新保存；S6：音频渲染设备开始解码后，对解码后的音频数据和对应的显示时间戳(PTS)进行缓存；S7：音频渲染设备根据D
rts
和本地时间戳计算需要渲染音频的渲染时间戳(RTS)，并在缓冲区中查询对应的音频数据进行渲染；以及S8：音频渲染设备根据最新的渲染时间戳数据(RTSD)更新本地D
rts
，并根据最新的D
rts
进行同步音频渲染。
[0009]优选地，在上述跨设备和系统的音视频同步渲染的方法中，在步骤S1中，授时采用网络时间协议，音视频渲染设备收到网络时间协议(NTP)时间后，解析网络时间协议(NTP)报文并根据网络时间协议(NTP)的时间信息更新本地时间。
[0010]优选地，在上述跨设备和系统的音视频同步渲染的方法中，在步骤S3中，视频渲染设备每渲染一帧图像，根据设备本地时间戳(LTS)信息生成渲染时间戳(RTS)，同时生成包含当前渲染帧的显示时间戳(PTS)和渲染时间戳(RTS)信息的渲染时间戳数据(RTSD)网络报文，视频渲染设备每隔一定时间周期对最近一帧图像的RTSD报文回传到码流分发服务器，
[0011]优选地，在上述跨设备和系统的音视频同步渲染的方法中，在步骤S3中，在步骤S3中，渲染时间戳(RTS)可采用显示时间戳(PTS)一样的数据格式和时间戳精度。
[0012]优选地，在上述跨设备和系统的音视频同步渲染的方法中，在步骤S3中，在步骤S8中，音频渲染设备每收到一个渲染时间戳数据(RTSD)网络报文时，执行一次S5步骤计算D
rts
，并与本地保存的D
rts
信息进行对比，当根据渲染时间戳数据(RTSD)计算的D
rts
与本地D
rts
超出指定的范围，则更新音频渲染设备的D
rts
信息，同时通知音频渲染设备重新执行步骤S6和S7
[0013]根据本专利技术的另一方面，提供了一种跨设备和系统的音视频同步渲染的应用系统，包括：码流分发服务器、视频解码渲染设备和音频解码渲染设备，其中，码流分发服务器对接入的音视频解码渲染设备进行网络时间协议(NTP)授时，分发音视频码流到视频解码渲染设备，同时提取音频码流分发到音频解码渲染设备；视频解码渲染设备开始解码后生成渲染时间戳(RTS)通过码流分发服务器传递到音频解码渲染设备；以及音频解码渲染设备接收到渲染时间戳(RTS)后根据渲染时间戳(RTS)信息进行同步渲染。
[0014]根据本专利技术的技术方案，产生的有益效果是：
[0015]本专利技术是针对同一音视频码流在不同网络上独立的音视频解码设备进行解码和渲染的使用场景，提供一种音视频同步渲染的方法，特别针对公共大屏音视频呈现场景，视频通过公共大屏呈现，音频通过手机或者其它音频接收设备呈现，通过本专利技术方法，可以实现音视频同步渲染呈现。
[0016]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0018]图1是本专利技术的跨设备和系统的音视频同步渲染的方法的详细流程图；
[0019]图2是本专利技术的的应用系统图。
具体实施方式
[0020]为使本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨设备和系统的音视频同步渲染的方法，其特征在于，包括以下步骤：S1：码流分发服务器对接入的音频渲染设备和视频渲染设备授时；S2：所述视频渲染设备对分发的视频进行解码，解码数据放入渲染缓冲区，记录当前解码帧的显示时间戳(PTS)；S3：所述视频渲染设备每渲染一帧图像生成渲染时间戳(RTS)信息和渲染时间戳数据(RTSD)网络报文，并按照指定周期发送所述渲染时间戳数据(RTSD)网络报文；S4：所述码流分发服务器转发所述渲染时间戳数据(RTSD)网络报文到所有的音频渲染设备；S5：所述音频渲染设备每收到一个渲染时间戳数据(RTSD)网络报文，计算渲染时间戳数据(RTSD)网络报文中的渲染时间戳(RTS)和显示时间戳(PTS)的差值D
rts
并更新保存；S6：所述音频渲染设备开始解码后，对解码后的音频数据和对应的显示时间戳(PTS)进行缓存；S7：所述音频渲染设备根据D
rts
和本地时间戳计算需要渲染音频的渲染时间戳(RTS)，并在缓冲区中查询对应的音频数据进行渲染；以及S8：所述音频渲染设备根据最新的渲染时间戳数据(RTSD)更新本地D
rts
，并根据最新的D
rts
进行同步音频渲染。2.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤S1中，授时采用网络时间协议，所述音视频渲染设备收到网络时间协议(NTP)时间后，解析网络时间协议(NTP)报文并根据网络时间协议(NTP)的时间信息更新本地时间。3.根据权利要求1所述的跨设备和系统的音视频同步渲染的方法，其特征在于，在步骤S3中，所述视频渲染设备每渲染一...

【专利技术属性】
技术研发人员：龙仕强，张伟民，肖铁军，陈智敏，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：