一种基于视频帧时延检测的网络自适应传输方法与装置制造方法及图纸

本发明专利技术公开了一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：S1、视频源模块：视频源模块产生固定帧率的YUV视频帧数据；S2、AIMD码率控制模块的码率自适应调整；S3、视频自适应编码模块内置H264/H265视频编码器，按照带宽进行自适应处理；S4、I帧平滑调整模块负责I帧平滑度调整；I帧平滑调整模块把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块；I帧平滑调整模块把P帧丢弃值发送给视频自适应编码模块。本发明专利技术利用视频帧的传输帧传输时延变化，调整视频帧网络传输平衡度与带宽，从而快速适应4G/5G记录仪移动，网络信号传输效率不停变化，调整最佳网络发包节奏与带宽，让视频无线网络传输最佳。让视频无线网络传输最佳。让视频无线网络传输最佳。

【技术实现步骤摘要】
一种基于视频帧时延检测的网络自适应传输方法与装置


[0001]本专利技术涉及视频传输处理领域，具体涉及一种基于视频帧时延检测的网络自适应传输方 法与装置。

技术介绍

[0002]随着4G/5G移动记录仪等基于无线视频传输设备应用，能通过记录仪录制的视频流实 时上传，记录仪在使用中长伴随以下状况：视频数据的传输在很大程度上依赖于公共移动网 络的带宽。随着记录仪移动，网络信号传输效率不停变化，因此需要一种方法快速检测视频 传输效率。

技术实现思路

[0003]为了解决上述现有技术方案中的不足，本专利技术提供了一种基于视频帧时延检测的网络自 适应传输方法与装置，具体技术方案如下：
[0004]一种基于视频帧时延检测的网络自适应传输方法，包括以下步骤：
[0005]S1、视频源模块：视频源模块产生固定帧率的YUV视频帧数据；
[0006]S2、AIMD码率控制模块的码率自适应调整；
[0007]S21、AIMD码率控制模块接收到带宽状态评估模块的带宽过载信令、带宽欠载信 令；
[0008]S22、AIMD码率控制模块接受带宽过载信令，则新视频带宽等于原有视频带宽乘以 二分一；
[0009]S23、AIMD码率控制模块接受带宽欠载信令，则新视频带宽等于原有水平带宽加上 带宽基准增量，带宽基准增量是初始带宽的百分一；
[0010]S24、AIMD码率控制模块把带宽调整发送给视频自适应编码模块；
[0011]S3、视频自适应编码模块内置H264/H265视频编码器，按照带宽进行自适应处理；
[0012]S4、I帧平滑调整模块负责I帧平滑度调整；I帧平滑调整模块把I帧占比值与P帧丢 弃值发送给视频帧平滑传输模块；I帧平滑调整模块把P帧丢弃值发送给视频自适应编码模 块；
[0013]S5、视频帧平滑传输模块实际控制视频编码帧的平滑传输；
[0014]S6、视频帧接收时间差模块接收视频帧的网络包，并计算接收与发送时间差；
[0015]S7、视频帧间时延模块探测视频帧的时延变化，
[0016]S71、视频帧间时延模块对接收数据包进行按时间切片,10毫秒一个切片周期；
[0017]S72、视频帧间时延模块把每个切片的尾包的时间差减去首包的时间差得到时延变化 值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断 以去除视频帧发送时间维度不平衡引入误差；
[0018]S73、视频帧间时延模块对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值 的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；
[0019]S74、视频帧间时延模块把时延变化均值的估计值发送给带宽状态评估模块；
[0020]S8、视频帧平滑度探测模块探测视频帧的平滑度；
[0021]S81、视频帧I帧数据量远大于P帧的数据量，视频帧平滑度探测模块所以选取I帧 来作为视频帧的平滑度参考；
[0022]S82、视频帧平滑度探测模块把每个I帧的尾包的时间差减去首包的时间差得到I帧 时延变化值，使用I帧时延变化值来探测视频帧在网络上传输的平滑度；
[0023]S83、视频帧平滑度探测模块对I帧时延变化值进行卡尔曼滤波去噪声，得到I帧时 延偏差估计值，使用卡尔曼滤波目的过滤I帧传输异常数据，包括H264/H265的视频编 码量化值QP调节过大导致I帧变化过大引入误差、瞬时网络的拥塞；
[0024]S84、视频帧平滑度探测模块把I帧时延偏差估计值发送给I帧平滑调整模块；
[0025]S9、带宽状态评估模块判断视频帧网络传输是否带宽过载、带宽欠载并通知AIMD码率 控制模块。
[0026]优选地，所述S3中按照带宽进行自适应处理包括以下步骤：
[0027]S31、视频自适应编码模块接收AIMD码率控制模块的带宽调整与I帧平滑控制模块 4的P帧丢弃值；
[0028]S32、视频自适应编码模块接受AIMD码率控制模块的带宽调整，把视频编码器的平 均带宽的设置为调整后目标带宽；
[0029]S33、视频自适应编码模块监测视频编码器的视频编码流的视频编码量化值，如果视 频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率， 保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质 量下降过多；
[0030]S34、视频自适应编码模块接收I帧平滑控制模块4的P帧丢弃值，P帧丢弃值为I 帧占有几个P帧周期，I帧后丢，视频自适应编码模块生成I帧后，视频自适应编码模 块根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码器。
[0031]优选地，所述S4中I帧平滑度调整包括以下步骤：
[0032]S41、I帧平滑调整模块接收视频帧平滑度探测模块的I帧时延偏差估计值；
[0033]S42、I帧平滑调整模块根据时延偏差估计值大于阀值A，则把I帧占比值增加一，I 帧平滑调整模块根据时延偏差估计值小与阀值B，则把I帧占比值减少一；
[0034]S43、I帧平滑调整模块从视频自适应编码模块获取I帧间隔周期GOP，视频帧组内 I帧与P帧的数据量；
[0035]S44、视频自适应编码模块计算P帧的归一值，P帧的归一值等于P帧的数据量*(G OP
‑1‑
P帧丢弃值)/(GOP
‑1‑
I帧占比值
‑
P帧丢弃值)；
[0036]S45、视频自适应编码模块计算I帧的归一值，I帧的归一值等于I帧数据量/(1+I 帧占比值+P帧丢弃值)；P帧丢弃值初始值为0，如果视频自适应编码模块的P帧的归一 值大于I帧的归一值，则增大P帧丢弃值，重新计算P帧的归一值与I帧的归一值，直 到P帧的归一值小于等于I帧的归一值；当P帧丢弃值大于阀值Q，则通知带宽状态评 估模块的I帧平衡调节过载。
[0037]优选地，所述S5包括以下步骤：
[0038]S51、视频帧平滑传输模块接收I帧平滑调整模块的I帧占比值与P帧丢弃值；
[0039]S52、视频帧平滑传输模块接收视频自适应编码模块的视频编码流与视频帧率与I帧 间隔周期GOP；
[0040]S53、视频帧平滑传输模块计算帧平均传输时间,帧平均传输时间＝1/帧率；
[0041]S54、视频帧平滑传输模块计算I帧的传输时间，I帧的传输时间为(1+I帧占比值+P 帧丢弃值)*帧平均传输时间；
[0042]S55、视频帧平滑传输模块计算P帧的传输时间，P帧的传输时间为((GOP
‑1‑
I帧占 比值
‑
P帧丢弃值)*帧平均传输时间)/(GOP
‑1‑
P帧丢弃值)；
[0043]S56、视频帧平滑传输模块对I帧与P帧按照传输时间均衡发送，视频帧平滑传输模 块接受I帧与P帧的N字节长度的视频帧数据，按照1200进行拆分为N/1200个视频 包，每个包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频帧时延检测的网络自适应传输方法，其特征在于，包括以下步骤：S1、视频源模块(1)：视频源模块(1)产生固定帧率的YUV视频帧数据；S2、AIMD码率控制模块(2)的码率自适应调整；S21、AIMD码率控制模块(2)接收到带宽状态评估模块(9)的带宽过载信令、带宽欠载信令；S22、AIMD码率控制模块(2)接受带宽过载信令，则新视频带宽等于原有视频带宽乘以二分一；S23、AIMD码率控制模块(2)接受带宽欠载信令，则新视频带宽等于原有水平带宽加上带宽基准增量，带宽基准增量是初始带宽的百分一；S24、AIMD码率控制模块(2)把带宽调整发送给视频自适应编码模块(3)；S3、视频自适应编码模块(3)内置H264/H265视频编码器，按照带宽进行自适应处理；S4、I帧平滑调整模块(4)负责I帧平滑度调整；I帧平滑调整模块(4)把I帧占比值与P帧丢弃值发送给视频帧平滑传输模块(5)；I帧平滑调整模块(4)把P帧丢弃值发送给视频自适应编码模块(3)；S5、视频帧平滑传输模块(5)实际控制视频编码帧的平滑传输；S6、视频帧接收时间差模块(6)接收视频帧的网络包，并计算接收与发送时间差；S7、视频帧间时延模块(7)探测视频帧的时延变化，S71、视频帧间时延模块(7)对接收数据包进行按时间切片,10毫秒一个切片周期；S72、视频帧间时延模块(7)把每个切片的尾包的时间差减去首包的时间差得到时延变化值，时延变化值除以该分片的包数得到时延变化均值，使用时延变化均值进行时延判断以去除视频帧发送时间维度不平衡引入误差；S73、视频帧间时延模块(7)对时延变化均值进行卡尔曼滤波去噪声，得到时延变化均值的估计值，使用卡尔曼滤波目的过滤少量异常突变的时延变化均值；S74、视频帧间时延模块(7)把时延变化均值的估计值发送给带宽状态评估模块(9)；S8、视频帧平滑度探测模块(8)探测视频帧的平滑度；S81、视频帧I帧数据量远大于P帧的数据量，视频帧平滑度探测模块(8)所以选取I帧来作为视频帧的平滑度参考；S82、视频帧平滑度探测模块(8)把每个I帧的尾包的时间差减去首包的时间差得到I帧时延变化值，使用I帧时延变化值来探测视频帧在网络上传输的平滑度；S83、视频帧平滑度探测模块(8)对I帧时延变化值进行卡尔曼滤波去噪声，得到I帧时延偏差估计值，使用卡尔曼滤波目的过滤I帧传输异常数据，包括H264/H265的视频编码量化值QP调节过大导致I帧变化过大引入误差、瞬时网络的拥塞；S84、视频帧平滑度探测模块(8)把I帧时延偏差估计值发送给I帧平滑调整模块(4)；S9、带宽状态评估模块(9)判断视频帧网络传输是否带宽过载、带宽欠载并通知AIMD码率控制模块(2)。2.根据权利要求1所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S3中按照带宽进行自适应处理包括以下步骤：S31、视频自适应编码模块(3)接收AIMD码率控制模块(2)的带宽调整与I帧平滑控制模块(4)的P帧丢弃值；
S32、视频自适应编码模块(3)接受AIMD码率控制模块(2)的带宽调整，把视频编码器的平均带宽的设置为调整后目标带宽；S33、视频自适应编码模块(3)监测视频编码器的视频编码流的视频编码量化值，如果视频编码量化值大于阀值T，则认为图像编码质量下降过多，通过降低视频编码分辨率，保证单位像素数据量，从而降低的视频编码量化值，避免图像因为编码量化过高图像质量下降过多；S34、视频自适应编码模块(3)接收I帧平滑控制模块(4)的P帧丢弃值，P帧丢弃值为I帧占有几个P帧周期，I帧后丢，视频自适应编码模块(3)生成I帧后，视频自适应编码模块(3)根据P帧丢弃值来丢弃YUV视频帧，不发送给视频编码器。3.根据权利要求1所述的一种基于视频帧时延检测的网络自适应传输方法，其特征在于，所述S4中I帧平滑度调整包括以下步骤：S41、I帧平滑调整模块(4)接收视频帧平滑度探测模块(8)的I帧时延偏差估计值；S42、I帧平滑调整模块(4)根据时延偏差估计值大于阀值A，则把I帧占比值增加一，I帧平滑调整模块(4)根据时延偏差估计值小与阀值B，则把I帧占比值减少一；S43、I帧平滑调整模块(4)从视频自适应编码模块(3)获取I...

【专利技术属性】
技术研发人员：陈尚武，李华松，李晓丹，
申请(专利权)人：深蓝感知杭州物联科技有限公司，
类型：发明
国别省市：