一种视频会议场景下的丢包重传系统及其方法技术方案

本发明专利技术涉及一种视频会议场景下的丢包重传系统及其方法，属于视频通信技术领域，包括发送端和接收端，所述发送端包括视频输入模块

【技术实现步骤摘要】
一种视频会议场景下的丢包重传系统及其方法


[0001]本专利技术属于视频通信
，具体涉及一种视频会议场景下的丢包重传系统及其方法
。

技术介绍

[0002]目前，绝大多数实时音视频通信软件的都是基于
RTP
协议通过互联网进行音视频数据传输
。
由于通信环境和技术的限制，通信过程会存在丢包
、
网络抖动
、
时延及带宽不足等问题，进而造成对端视频卡顿
、
花屏甚至丢失连接等现象，严重影响通信双方的通话体验
。
[0003]针对上述问题，主要有两种
QOS
策略：冗余编码和丢包重传
。
其中，丢包重传主要解决于网络带宽较低的丢包问题，提高弱网环境下的通信质量
。
[0004]成都鼎桥通信技术有限公司在其专利“一种丢包重传方法和系统”(
公开号：
CN110768753A
；申请号：
CN 201810831740.8)
公开了一种丢包重传方法和系统，主要包括：接收端设备向发送端设备发送丢包重传请求；发送端设备根据所述丢包重传请求，将相应的实时传输协议
(RTP)
重传包，通过
RTP
控制协议
(RTCP)
通道发送给所述接收端设备；当所述接收端设备在所述
RTCP
通道上接收到数据包，并判定该数据包为
RTP
重传包时，将该数据包放到相应的组帧队列中
。
采用本专利技术，可以提高数据传输效率和质量
。
[0005]中移
(
杭州
)
信息技术有限公司在其专利“丢包重传方法
、
装置
、
系统与计算机可读存储介质”(
公开号：
CN 114938439 A
；申请号：
CN202210496537.6)
公开了一种丢包重传方法
、
装置
、
系统与计算机可读存储介质，本专利技术根据待重传视频包的重传码率和待重传视频包对应的第二客户端的最大重传码率，将待重传视频包发送到第一客户端，避免重传码率过高进而降低丢包重传时视频的卡顿和延时，提高了丢包重传的实用性
。
[0006]青岛海信宽带多媒体技术有限公司在其专利“一种
RTP
包丢包重传方法
、
装置及播放终端”(
公开号：
CN 114584844 A
；申请号：
CN202011380440.6)
提供的
RTP
包丢包重传方法
、
装置及播放终端，增加播放终端向服务器发送丢包请求的频次，根据缓存队列的丢包比例动态调整向服务器发送丢包请求的时间，即实现非定时的向服务器发送丢包请求，以促进播放终端丢包请求命中服务器窗口期，进一步促使播放终端发送丢包请求命中服务器窗口期的命中率
。
[0007]综上，在已有的丢包重传方法中，一般需要设定一个丢包重传的阈值时间，每隔一定的时间向发送端设备发送重传请求报文，防止频繁发送重传请求报文占用过多的带宽资源
。
同时当丢包时长超过阈值时直接放弃重传，避免长时间等待重传造成的视频延迟和卡顿现象，具体可总结为：
[0008](1)
目前使用的
NACK
重传技术需要对重传包进行单独标识，或使用独立的通道进行单独发送，或者需要对要重传的
RTP
包进行额外处理，例如在重传前对
RTP
包添加重传标志等，操作较为繁琐
。
[0009](2)
通过
RTCP
协议通道发送丢包重传请求和接收重传包，会导致
RTCP
通道的数据
量增加，在低带宽场景下，若需要重传连续的多个
RTP
包，可能对正常的
RTP
通道传输造成额外压力
。
[0010](3)
当重传请求超时时，一般会清除丢包信息，放弃重传，开始传输后续的
RTP
包
。
这种操作带来的问题是：一旦通信过程中有关键帧的
RTP
包重传超时，会导致关键帧解码失败，进而导致至少一个
GOP
内所有帧解码失败，造成用户通信过程中视频的长时间卡顿
。

技术实现思路

[0011]为解决现有技术中存在的上述问题，本专利技术提供了一种视频会议场景下的丢包重传系统及其方法，本专利技术主要解决
Arm Cortex
处理器的嵌入式平台中基于
RTP/RTCP
协议的视频通信在低带宽场景下的丢包问题，保证对端视频画面的完整性和连续性
。
[0012]本专利技术的目的可以通过以下技术方案实现：
[0013]一种视频会议场景下的丢包重传系统，包括发送端和接收端，所述发送端包括视频输入模块
、FEC
冗余模块一
、NACK
发送模块和平滑传输模块一；所述接收端包括
NACK
接收模块
、
平滑传输模块二
、FEC
冗余模块二和视频输出模块；
[0014]所述视频输入模块，包括摄像头或桌面共享程序以及不同应用或软件的编码器，用于图像的采集和编码；
[0015]所述
NACK
发送模块，用于接收
RTP
包并添加序列号，发送
RTP
包并在本地缓存，接收并解析
NACK
报文，根据反馈报文重发
RTP
包；
[0016]所述
NACK
接收模块，用于接收网络
RTP
包并根据序列号排序，判断是否发生丢包并将丢包序号及时间戳加入丢包列表，构建丢包反馈报文并择机发送，将完整一帧的
RTP
包数据送往上层组帧解码并显示；
[0017]所述视频输出模块，用于完成图像的解码和播放工作
。
[0018]作为本专利技术的一种优选技术方案，所述
FEC
冗余模块一，用于给切分后的
RTP
包按分组添加冗余包，并在一定丢包率范围内，将传输丢失的
RTP
包恢复出来
。
[0019]作为本专利技术的一种优选技术方案，所述平滑传输模块一，用于定时定量从发送队列中取出
RTP
包并发送给远端，防止瞬时数据量过大造成网络冲击
。
[0020]作为本专利技术的一种优选技术方案，所述平滑传输模块二，用于控制视频帧解码速度，防止视频播放时出现慢放快进现象影响用户观看体验
。
[0021]作为本专利技术的一种优选技术方案，所述
FEC
冗余本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频会议场景下的丢包重传系统，其特征在于：包括发送端和接收端，所述发送端包括视频输入模块
、FEC
冗余模块一
、NACK
发送模块和平滑传输模块一；所述接收端包括
NACK
接收模块
、
平滑传输模块二
、FEC
冗余模块二和视频输出模块；所述视频输入模块，包括摄像头或桌面共享程序以及不同应用或软件的编码器，用于图像的采集和编码；所述
NACK
发送模块，用于接收
RTP
包并添加序列号，发送
RTP
包并在本地缓存，接收并解析
NACK
报文，根据反馈报文重发
RTP
包；所述
NACK
接收模块，用于接收网络
RTP
包并根据序列号排序，判断是否发生丢包并将丢包序号及时间戳加入丢包列表，构建丢包反馈报文并择机发送，将完整一帧的
RTP
包数据送往上层组帧解码并显示；所述视频输出模块，用于完成图像的解码和播放工作
。2.
根据权利要求1所述的一种视频会议场景下的丢包重传系统，其特征在于：所述
FEC
冗余模块一，用于给切分后的
RTP
包按分组添加冗余包，并在一定丢包率范围内，将传输丢失的
RTP
包恢复出来
。3.
根据权利要求1所述的一种视频会议场景下的丢包重传系统，其特征在于：所述平滑传输模块一，用于定时定量从发送队列中取出
RTP
包并发送给远端，防止瞬时数据量过大造成网络冲击
。4.
根据权利要求1所述的一种视频会议场景下的丢包重传系统，其特征在于：所述平滑传输模块二，用于控制视频帧解码速度，防止视频播放时出现慢放快进现象影响用户观看体验
。5.
根据权利要求1所述的一种视频会议场景下的丢包重传系统，其特征在于：所述
FEC
冗余模块二，用于冗余恢复，通过解冗余按组恢复
RTP
包，随后将
RTP
包组帧获取到
NAL
数据
。6.
一种视频会议场景下的丢包重传方法，其特征在于：所述方法包括以下步骤：
S1、
图像采集和编码；
S2、RTP
包添加冗余包；
S3、RTP
包添加包序号并加入发送队列；
S4、
定时定量从发送队列中取出
RTP
包并发送给远端；
S5、
接收网络
RTP
包并根据序列号排序，判断是否发生丢包并将丢包序号及时间戳加入丢包列表，构建丢包反馈报文并择机发送，将完整一帧的
RTP
包数据送往上层组帧解码并显示；
S6、
按照恒定速率从队列中取出一帧视频；
S7、
进行冗余恢复；
S8、
解码完成视频输出
。7.
根据权利要求6所述的一种视频会议场景下的丢包重传方法，其特征在于：所述图像采集和编码具体包括以下步骤：
S10、
通过摄像头获取图像数据，设置获取视频图像的分辨率
、
帧率
、
和编码通道；
S11、
判断是否捕获帧图像，若未捕获新一帧图像，则处理流程终止，若捕获到，则继续执行下一步骤；
S12、
将视频采集到的视频帧虚拟地址和物理地址映射，转换为编码通道支持的
YUV420SP
格式图像，初始化编码码率
、
编码通道和参考帧数，将连续的视频帧图像送入编码器编码为
ES
流
。8.
根据权利要求6所述的一种视频会议场景下的丢包重传方法，其特征在于：所述
RTP
包添加包序号并加入发送队列具体包括以下步骤：
S21、
添加包序号并加入发送队列：将上层传递的
NALU
数据切分
RTP
包，并在
RTP
包的拓展头部添加序号标志
packet number
，同时添加关键帧首包标识
key frame
，每收到一个新的
RTP
包
packet number
加一；
S22、
缓存
RTP
包并定时维护本地缓存：将得到的
RTP
包和它的
packet number
成对地保存在该队列中，并按照从小到大排序；开启一个定时线程定期检查该关系队列中的
RTP
包缓存是否超出队列可容纳的最大数据量，如果超出最大数据量，则将最早缓存的一帧数据从队列中清除；
S23、
接收并解析
NACK
报文
、
重发
R...

【专利技术属性】
技术研发人员：张志钦，孙飞，李雪俭，陶理文，张艳鑫，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：