一种实时音视频传输系统、方法、装置及存储介质制造方法及图纸

技术编号:39418593 阅读:15 留言:0更新日期:2023-11-19 16:08
本申请实施例提供了一种实时音视频传输系统、方法、装置及存储介质,通过当视频观看端发送FIR包请求至媒体服务器时,媒体服务器判断FIR包转发时间间隔是否超过阈值,若超过才将该FIR包转发到视频生产端,以避免有大量观看端加入系统时,向视频生产端发送FIR包过于频繁,视频生产端会频繁生产关键帧并发送给所有观看端,导致视频数据量暴涨,影响视频传输质量。对于判断为不转发FIR包的请求,媒体服务器对缓存的数据进行标记,并将缓存数据以及视频生产端新生成的视频数据发送给新接入的视频观看端,该视频观看端基于接收的数据解码后,丢弃部分标记的数据再进行渲染显示,提高渲染速度,保证了观看端播放的实时性。保证了观看端播放的实时性。保证了观看端播放的实时性。

【技术实现步骤摘要】
一种实时音视频传输系统、方法、装置及存储介质


[0001]本申请实施例涉及音视频传输领域,特别是涉及一种实时音视频传输系统、方法、装置及存储介质。

技术介绍

[0002]实时音视频(Real

Time Communication,RTC),是一种给行业提供高并发、低延时、高清流畅、安全可靠的全场景、全互动、全实时的音视频服务的终端服务。随着移动互联网的普及和智能终端设备的广泛应用,实时音视频正逐渐成为主流互动方式。已在在线教育、社交娱乐、互动电商等热门领域得到广泛应用,也赋能于更多创新场景,如金融、政企服务、loT、医疗等,帮助人们享受更便捷和更人性化的生活服务。
[0003]在一个RTC的使用场景中,当同一时间有很多人加入RTC实时音视频系统的时候,每个观看者都会发送FIR关键帧请求,当视频生产端在短时间内收到很多FIR关键帧请求后,会立即产生很多视频关键帧数据。因为视频关键帧比普通的视频P帧数据量大很多,会导致短时间内需要发送的视频数据大幅度增加,很容易引起网络丢包问题,影响视频数据的正常传输,从而影响所有观看者的观看体验。

技术实现思路

[0004]本专利技术提供了一种实时音视频传输系统、方法、装置及存储介质,实现了实时音视频的快速传输,同时避免了视频生产端丢包,提升了视频观看端渲染速度,保证了观看用户的体验。
[0005]第一方面,本专利技术提供了一种实时音视频传输系统,包括:
[0006]媒体服务器、视频观看端和视频生产端,其中,所述视频观看端与所述视频生产端通过所述媒体服务器进行数据交互;
[0007]当存在新的视频观看端接入时,所述新的视频观看端用于生成关键帧请求信息并发送至所述媒体服务器;
[0008]所述媒体服务器用于获取所述关键帧请求信息的接收时间,并计算转发时间间隔,所述转发时间间隔通过获取上一次将所述关键帧请求信息转发至所述视频生产端的转发时间与当前所述关键帧请求信息的接收时间的差值获取;
[0009]若所述转发时间间隔超出预设转发时间阈值,则所述媒体服务器还用于将所述关键帧请求信息转发至所述视频生产端并记录所述转发时间;
[0010]所述视频生产端用于接收所述关键帧请求信息,并对视频关键帧重新编码后发送至所述媒体服务器;
[0011]所述媒体服务器用于将所述重新编码后的视频关键帧转发至全部所述视频观看端。
[0012]进一步地,若所述转发时间间隔未超出预设转发时间阈值,则所述媒体服务器还用于获取缓存视频关键帧大小及缓存视频帧序列集大小;
[0013]所述视频生产端用于发送视频数据丢包率至所述媒体服务器;
[0014]所述媒体服务器还用于计算所述缓存视频帧序列集大小与所述缓存视频关键帧大小之间的比值,若所述比值大于预设缓存阈值且所述视频数据丢包率小于预设丢包阈值,则将所述关键帧请求信息转发至所述视频生产端。
[0015]进一步地,若所述比值未大于预设缓存阈值或所述视频数据丢包率未小于预设丢包阈值,则所述媒体服务器还用于获取最新视频帧数据包并对所述缓存视频帧序列集的数据包进行标记;
[0016]所述媒体服务器用于将所述标记后的所述缓存视频帧序列集的数据包与所述最新视频帧数据包发送至所述新的视频观看端;
[0017]所述新的视频观看端用于将所述媒体服务器发送的全部数据包进行解码,对所述被标记的数据执行丢弃操作,并对保留的解码数据执行渲染显示操作。
[0018]进一步地,所述媒体服务器还用于获取所述视频生产端在T1时间段内发送视频数据的平均丢包率L、链路平均往返时延R;
[0019]所述媒体服务器还用于根据在T2时间段内接收到的关键帧请求信息总数N,并根据所述平均丢包率L、所述链路平均往返时延R和关键帧请求信息总数N计算所述转发时间阈值Tf,其中,所述转发时间阈值Tf与所述平均丢包率L、所述链路平均往返时延R和关键帧请求信息总数N的值均呈正相关。
[0020]第二方面,本专利技术还提供了一种实时音视频传输方法,应用于媒体服务器,具体包括如下步骤:
[0021]获取关键帧请求信息的接收时间,并计算转发时间间隔,其中,所述关键帧请求信息通过当新的视频观看端接入时由新加入的视频观看端生成并将其发送至所述媒体服务器的动作获取,所述转发时间间隔通过获取上一次将所述关键帧请求信息转发至所述视频生产端的转发时间与当前所述关键帧请求信息的接收时间的差值获取;
[0022]若所述转发时间间隔超出预设转发时间阈值,则将所述关键帧请求信息转发至视频生产端并记录所述转发时间;
[0023]接收所述视频生产端返回的重新编码后的视频关键帧,并转发至全部所述视频观看端。
[0024]进一步地,若所述转发时间间隔未超出预设转发时间阈值,则获取缓存视频关键帧大小及缓存视频帧序列集大小;
[0025]计算所述缓存视频帧序列集大小与所述缓存视频关键帧大小之间的比值,若所述比值大于预设缓存阈值且视频数据丢包率小于预设丢包阈值,则将所述关键帧请求信息转发至所述视频生产端,其中,所述视频数据丢包率基于所述视频生产端的发送操作获取。
[0026]进一步地,若所述比值未大于预设缓存阈值或所述视频数据丢包率未小于预设丢包阈值,则获取最新视频帧数据包并对所述缓存视频帧序列集的数据包进行标记;
[0027]将所述标记后的所述缓存视频帧序列集的数据包与所述最新视频帧数据包发送至所述新的视频观看端。
[0028]进一步地,获取所述视频生产端在T1时间段内发送视频数据的平均丢包率L、链路平均往返时延R;
[0029]根据在T2时间段内接收到的关键帧请求信息总数N,并根据所述平均丢包率L、所
述链路平均往返时延R和关键帧请求信息总数N计算所述转发时间阈值Tf,其中,所述转发时间阈值Tf与所述平均丢包率L、所述链路平均往返时延R和关键帧请求信息总数N的值均呈正相关。
[0030]第三方面,本专利技术提供一种实时音视频传输装置,包括:
[0031]转发时间间隔计算模块,用于获取关键帧请求信息的接收时间,并计算转发时间间隔,其中,所述关键帧请求信息通过当新的视频观看端接入时生成并发送至所述媒体服务器的动作获取,所述转发时间间隔通过获取上一次将所述关键帧请求信息转发至所述视频生产端的转发时间与当前所述关键帧请求信息的接收时间的差值获取;
[0032]请求转发及记录模块,用于若所述转发时间间隔超出预设转发时间阈值,则将所述关键帧请求信息转发至视频生产端并记录所述转发时间;
[0033]关键帧转发模块,用于接收所述视频生产端返回的重新编码后的视频关键帧,并转发至全部所述视频观看端。
[0034]第四方面,本专利技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第二方面所述的一种实时音视频传输方法的步骤。
[0035]本专利技术当存在新的视频观看端加入音视频传输系统时,该新的视频本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种实时音视频传输系统,其特征在于,包括:媒体服务器、视频观看端和视频生产端,其中,所述视频观看端与所述视频生产端通过所述媒体服务器进行数据交互;当存在新的视频观看端接入时,所述新的视频观看端用于生成关键帧请求信息并发送至所述媒体服务器;所述媒体服务器用于获取所述关键帧请求信息的接收时间,并计算转发时间间隔,所述转发时间间隔通过获取上一次将所述关键帧请求信息转发至所述视频生产端的转发时间与当前所述关键帧请求信息的接收时间的差值获取;若所述转发时间间隔超出预设转发时间阈值,则所述媒体服务器还用于将所述关键帧请求信息转发至所述视频生产端并记录所述转发时间;所述视频生产端用于接收所述关键帧请求信息,并对视频关键帧重新编码后发送至所述媒体服务器;所述媒体服务器用于将所述重新编码后的视频关键帧转发至全部所述视频观看端。2.根据权利要求1所述的一种实时音视频传输系统,其特征在于:若所述转发时间间隔未超出预设转发时间阈值,则所述媒体服务器还用于获取缓存视频关键帧大小及缓存视频帧序列集大小;所述视频生产端用于发送视频数据丢包率至所述媒体服务器;所述媒体服务器还用于计算所述缓存视频帧序列集大小与所述缓存视频关键帧大小之间的比值,若所述比值大于预设缓存阈值且所述视频数据丢包率小于预设丢包阈值,则将所述关键帧请求信息转发至所述视频生产端。3.根据权利要求2所述的一种实时音视频传输系统,其特征在于:若所述比值未大于预设缓存阈值或所述视频数据丢包率未小于预设丢包阈值,则所述媒体服务器还用于获取最新视频帧数据包并对所述缓存视频帧序列集的数据包进行标记;所述媒体服务器用于将所述标记后的所述缓存视频帧序列集的数据包与所述最新视频帧数据包发送至所述新的视频观看端;所述新的视频观看端用于将所述媒体服务器发送的全部数据包进行解码,对所述被标记的数据执行丢弃操作,并对保留的解码数据执行渲染显示操作。4.根据权利要求1所述的一种实时音视频传输系统,其特征在于:所述媒体服务器还用于获取所述视频生产端在T1时间段内发送视频数据的平均丢包率L、链路平均往返时延R;所述媒体服务器还用于根据在T2时间段内接收到的关键帧请求信息总数N,并根据所述平均丢包率L、所述链路平均往返时延R和关键帧请求信息总数N计算所述转发时间阈值Tf,其中,所述转发时间阈值Tf与所述平均丢包率L、所述链路平均往返时延R和关键帧请求信息总数N的值均呈正相关。5.一种实时音视频传输方法,其特征在于,应用于媒体服务器,包括:获取关键帧请求信息的接收时间,并计算转发时间间隔,其中,所述关键帧请求信息通过当新的视频观看端接入时由新加入的视频...

【专利技术属性】
技术研发人员:刘倍余李琳顾明李伯龙饶明佺
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1