一种基于DRL的比特率自适应无人机视频流传输方法技术

本发明专利技术公开了一种基于DRL的比特率自适应无人机视频流传输方法，将传感器收集到的无人机状态信息作为ABR的参考指标，无人机状态信息包括飞行速度、加速度、收发端距离，并依据上述参数对空地无线信道的影响程度对其分级处理，使得每次视频比特率决策均考虑了无人机状态的影响，使其适用于信道状态随无人机状态波动剧烈的情形，提高了用户体验质量；将LSTM网络应用到DRL方法中，LSTM网络对过去八个视频块的平均吞吐量进行处理，提取吞吐量时域序列的特征，以更好地掌握信道状态的变化情况，提高了对未来的信道状态的预测能力，比特率选择更正确。

A DRL-based Bit Rate Adaptive UAV Video Stream Transmission Method

The invention discloses a DRL-based bit rate adaptive UAV video streaming transmission method, which takes the UAV status information collected by sensors as the reference index of ABR. The UAV status information includes flight speed, acceleration, distance between transmitter and receiver, and classifies the UAV status information according to the influence degree of the above parameters on the air-ground wireless channel, so that each video bit rate decision can be referred to. Considering the influence of UAV state, it is suitable for the situation that channel state fluctuates sharply with UAV state, and improves the quality of user experience. LSTM network is applied to DRL method. LSTM network processes the average throughput of the past eight video blocks, extracts the characteristics of throughput time-domain sequence, so as to better grasp the change of channel state and improve the future information. Bit rate selection is more correct for channel state prediction.

【技术实现步骤摘要】
一种基于DRL的比特率自适应无人机视频流传输方法
本专利技术属于无人机视频流传输领域，更具体地，涉及一种基于DRL的比特率自适应无人机视频流传输方法。
技术介绍
近年来，基于无人机的视频流应用数量迅速增长，例如利用航拍无人机进行视频直播等。大多数的视频播放器都使用自适应比特率(ABR，AverageBitrate)算法来优化视频质量。视频的下载与播放是分块进行的，每个块都有几种不同的编码方式，分别对应不同的视频质量(比特率)：高清、超清、流畅等等。而ABR算法所要做的就是自动根据其所依据的观测指标为下一个所要下载的视频块选择最佳的比特率。现有的ABR算法包括基于缓冲区的算法、基于速率(即吞吐量)的算法等。在特定的场景中这些算法效果比较理想，但是这些算法的设计都是基于简化的环境模型或者固定的控制规则，因此不能适用于广泛的网络条件。为解决上述问题，有研究采取深度强化学习(DRL，Deepreinforcementlearning)生成视频ABR算法，深度强化学习的agent会自动根据过去的经验数据学习出如何做出最佳的决策。然而，与传统的地面终端通信不同，无人机的飞行轨迹更加波动，使得多普勒效应更加明显，同时前后时刻的信道状态波动剧烈，使得信道状态信息CSI很难估计准确，解调容易出错，最终造成吞吐量的下降。因此将基于DRL的AB算法应用到无人机视频流时会遇到困难。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有技术将基于DRL的AB算法应用到无人机视频流时，由于无人机前后时刻的信道状态波动剧烈，使得信道状态信息CSI很难估计准确，解调容易出错，最终造成吞吐量的下降的技术问题。为实现上述目的，第一方面，本专利技术实施例提供了一种基于DRL的比特率自适应无人机视频流传输方法，该方法包括以下步骤：S1.无人机将第1-8个视频块以设定比特率传输给地面客户端，t初始化为9；S2.将第t个视频块开始时刻对应的无人机状态信息发送给地面客户端，所述无人机状态信息包括GPS、加速度和飞行速度；S3.依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态S4.无人机状态与视频状态第t-8个～第t-1个视频块中每个视频块的平均吞吐量共同构成当前状态向量S5.地面客户端将当前状态向量输入至训练好的DRL网络，网络输出比特率选择lt，并发送给无人机；S6.无人机根据比特率选择lt，将第t个视频块发送给地面客户端；S7.将t更新为t+1，并重复步骤S2-S6，直至视频流中所有视频块传输结束。具体地，所述依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态具体包括：(1)将距离小于50米定义为dt＝0，距离不小于50米定义为dt＝1；(2)将速度处于[0,4)区间定义为pt＝0，速度处于[4,8)区间定义为pt＝1，速度处于[8,12)区间定义为pt＝2，速度处于[12,∞)区间定义为pt＝3；(3)将加速度小于18.5m/s2定义为at＝0，加速度不小于18.5m/s2定义为at＝1。具体地，所述视频状态其中，bt表示当前缓冲区尺寸，lt-1为上一个视频块的比特率选择，所述第t-8个～第t-1个视频块中每个视频块的平均吞吐量其中，xt-8、…、xt-1分别为第t-8个视频块的平均吞吐量、…、第t-1个视频块的平均吞吐量。具体地，采用AdvantageActorCritic方法作为DRL网络的策略。具体地，采用LSTM网络对过去八个视频块的平均吞吐量进行处理，提取出时域上的特征，再与其他输入参数一同输入至DRL网络的隐藏层。具体地，比特率选择包括比特率240p、360p、720p和1080p，分别对应流畅、低清、高清和超清。第二方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的比特率自适应无人机视频流传输方法。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：1.本专利技术将传感器收集到的无人机状态信息作为ABR的参考指标，无人机状态信息包括飞行速度、加速度、收发端距离，并依据上述参数对空地无线信道的影响程度对其分级处理，使得每次视频比特率决策均考虑了无人机状态的影响，使其适用于信道状态随无人机状态波动剧烈的情形，提高了用户体验质量；2.本专利技术将LSTM网络应用到DRL方法中，LSTM网络对过去八个视频块的平均吞吐量进行处理，提取吞吐量时域序列的特征，以更好地掌握信道状态的变化情况，提高了对未来的信道状态的预测能力，比特率选择更正确。附图说明图1为本专利技术提供的系统结构框架图；图2为本专利技术实施例提供的收发端距离-吞吐量曲线图；图3为本专利技术实施例提供的速度-吞吐量曲线图；图4为本专利技术实施例提供的加速度-吞吐量曲线图；图5为本专利技术实施例提供的深度强化学习网络架构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本专利技术提供的系统结构框架图。如图1所示，无人机与地面终端通过无线网(WiFi802.11n)连接。无人机向地面客户端传输视频流，同时无人机上的传感器收集无人机状态信息(GPS,加速度,飞行速度)，并发送给地面客户端。地面客户端将收集到的传感器数据经过简单处理后，与过去的吞吐量、客户端视频缓冲区状态共同作为ABR算法(DRL网络)的输入。上述输入经过DRL网络之后，输出一个比特率选择给无人机。无人机根据ABR算法所选择的比特率将对应编码的视频块发送给地面客户端，同时发送传感器数据。ABR算法所要做的就是自动根据其所依据的观测指标为下一个所要下载的视频块选择最佳的比特率。本专利技术提供一种基于DRL的比特率自适应无人机视频流传输方法，该方法包括以下步骤：S1.无人机将第1-8个视频块以设定比特率传输给地面客户端，t初始化为9；S2.将第t个视频块开始时刻对应的无人机状态信息发送给地面客户端，所述无人机状态信息包括GPS、加速度和飞行速度；S3.依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态S4.无人机状态与视频状态第t-8个～第t-1个视频块的每个视频块的平均吞吐量共同构成当前状态向量S5.地面客户端将向量输入至训练好的DRL网络，网络输出比特率选择lt，并发送给无人机；S6.无人机根据比特率选择lt，将第t个视频块发送给地面客户端；S7.将t更新为t+1，并重复步骤S2-S6，直至视频流中所有视频块传输结束。步骤S1.无人机将第1-8个视频块以设定比特率传输给地面客户端，t初始化为9。设定比特率是比特率240p、360p、720p、1080p中任一个，它们分别对应流畅、低清、高清、超清。步骤S2.将第t个视频块开始时刻对应的无人机状态信息发送给地面客户端，所述无人机状态信息包括GPS、加速度和飞行速度。无人机状态信息包括GPS、加速度和飞行速度，通过传感器收集。步骤S3.依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态本文档来自技高网...

【技术保护点】
1.一种基于DRL的比特率自适应无人机视频流传输方法，其特征在于，该方法包括以下步骤：S1.无人机将第1‑8个视频块以设定比特率传输给地面客户端，t初始化为9；S2.将第t个视频块开始时刻对应的无人机状态信息发送给地面客户端，所述无人机状态信息包括GPS、加速度和飞行速度；S3.依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态

【技术特征摘要】
1.一种基于DRL的比特率自适应无人机视频流传输方法，其特征在于，该方法包括以下步骤：S1.无人机将第1-8个视频块以设定比特率传输给地面客户端，t初始化为9；S2.将第t个视频块开始时刻对应的无人机状态信息发送给地面客户端，所述无人机状态信息包括GPS、加速度和飞行速度；S3.依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态S4.无人机状态与视频状态第t-8个～第t-1个视频块中每个视频块的平均吞吐量共同构成当前状态向量S5.地面客户端将当前状态向量输入至训练好的DRL网络，网络输出比特率选择lt，并发送给无人机；S6.无人机根据比特率选择lt，将第t个视频块发送给地面客户端；S7.将t更新为t+1，并重复步骤S2-S6，直至视频流中所有视频块传输结束。2.如权利要求1所述的比特率自适应无人机视频流传输方法，其特征在于，所述依据各无人机状态信息对无线信道的影响，地面客户端对各无人机状态信息分级处理，得到分级处理后的无人机状态具体包括：(1)将距离小于50米定义为dt＝0，距离不小于50米定义为dt＝1；(2)将速度处于[0,4)区间定义为pt＝0，速度处于[4,8)区间定义为pt＝1，速度处于[8,12)区间定义为pt＝2，...

【专利技术属性】
技术研发人员：王巍，王艺苑，江涛，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42