一种基于Q学习的动态竞争窗口调整方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种基于Q学习的动态竞争窗口调整方法、装置及设备，该方法包括：A、初始化信道接入参数和初始煺火温度；B、在初始竞争窗口大小下，传输并获取数据包传输的第一吞吐量；C、在第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；D、在第一竞争窗口大小下，获取数据包传输的第二吞吐量；E、将第二吞吐量和目标吞吐量按照预设公式更新Q值表，并利用预设条件，更新初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行B至E，重复更新Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新Q值表，得到最优竞争窗口。

A dynamic competition window adjustment method, device and equipment based on Q learning

The embodiment of the invention, a dynamic contention window adjustment method, based on Q learning device and device is provided, the method includes A initialization, channel access parameters and initial annealing temperature; B, in the initial contention window size, and obtain the first transmission throughput of packet transmission; C, the first under the throughput take, simulated annealing algorithm, get the first competition window size; D, in the first competition window size, to obtain second throughput of packet transmission; E, second target throughput and throughput according to the preset formula to update the Q table, and use the preset conditions, updating the initial annealing temperature, annealing temperature has been updated when the annealing temperature; after the update is larger than the minimum threshold, will be updated as the annealing temperature the initial annealing temperature, B to E, Q value and repeat the update to get updated ham The fire temperature, annealing temperature is less than or equal to the minimum until after the update threshold, stop updating Q value table, get the optimal contention window.

【技术实现步骤摘要】
一种基于Q学习的动态竞争窗口调整方法、装置及设备
本专利技术涉及无线通信
，特别是涉及一种基于Q学习的动态竞争窗口调整方法、装置及设备。
技术介绍
随着移动终端设备的普及，蜂窝移动网络承载的业务量也大幅增长。为了满足用户多样的业务需求，蜂窝移动网络需要更多的频谱资源适应移动网络流量的快速增长。授权频段的频率资源已经无法满足用户多样的业务需求，运营商已经渐渐开始利用非授权频段完成辅助接入来满足日益增长的业务量。授权辅助接入(LicensedAssistedAccess，简称LAA)网络为运营商利用非授权频段提供了一种很好的途径，为了保证LAA与其他非授权频谱系统的公平共存，需要通过网络设备使用能量监测来判断信道是否被占用，eNB基站需要不断调整竞争窗口的大小，以保证数据成功并且正确的传输。与此同时，无线通信网络技术(WirelessFidelity，简称Wi-Fi)也可以实现数据的传输，随着Wi-Fi环境的普及，用户不仅可以节省移动网络流量费用，还能随时满足多样的业务需求。LAA系统的协议机制比较强大，由于具有混合自动重传技术、信道状态信息(ChannelStateInformation，简称CSI)等反馈机制，所以使得LAA系统在与其他网络同时存在时，例如和Wi-Fi同时存在时，LAA系统的信道接入概率比Wi-Fi信道的接入概率更大，LAA网络系统信道的吞吐量更大，会导致自身信道的数据传输量大，容易造成信道负担，并且会对与LAA网络共存的其他无线网络接入技术产生较强干扰。
技术实现思路
本专利技术实施例的目的在于提供一种基于Q学习的动态竞争窗口调整方法、装置及设备，以实现有效的动态调整竞争窗口的大小，有效限制了LAA的eNB基站的吞吐量，减轻数据传输的负担。具体技术方案如下：本专利技术实施例提供了一种基于Q学习的动态竞争窗口调整方法，应用于LAA基站，所述方法包括：步骤A，初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；步骤B，在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；步骤C，在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；步骤D，在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；步骤E，将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。具体的，所述在所述第一竞争窗口大小下，获取所述数据包传输信道的第二吞吐量，包括：在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。具体的，所述将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，包括：计算所述数据包传输的成本值；所述成本值为所述第二吞吐量和所述目标吞吐量差值的绝对值；根据所述成本值，在所述第一竞争窗口大小下，将所述Q值表按照预设公式更新，得到更新后的Q值表，所述预设公式包括Q(s1,a1)+α[c+γminQ(s2,a2)-Q(s1,a1)]，其中，c＝|s2-s0|，α、γ均为0到1之间的常数，s0表示目标吞吐量，s1表示第一吞吐量，s2表示第二吞吐量，a1表示第一竞争窗口大小值，a2表示第二竞争窗口大小值。具体的，所述预设条件包括：所述第二吞吐量与目标吞吐量的差值的绝对值小于预设阈值。本专利技术实施例提供了一种基于Q学习的动态竞争窗口调整装置，所述装置包括：初始化模块，用于初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；传输模块，用于在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；计算模块，用于在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；获取模块，用于在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；更新模块，用于将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度；循环模块，用于当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述传输模块至更新模块，重复更新所述Q值表，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表及得到更新后的煺火温度，得到最优竞争窗口。具体的，所述获取模块具体用于在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。具体的，所述更新模块包括：第一更新子模块，具体用于计算所述数据包传输的成本值；所述成本值为所述第二吞吐量和所述目标吞吐量差值的绝对值；第二更新子模块，具体用于根据所述成本值，在所述第一竞争窗口大小下，将所述Q值表按照预设公式更新，得到更新后的Q值表，所述预设公式包括Q(s1,a1)+α[c+γminQ(s2,a2)-Q(s1,a1)]，其中，c＝|s2-s0|，α、γ均为0到1之间的常数，s0表示目标吞吐量，s1表示第一吞吐量，s2表示第二吞吐量，a1表示第一竞争窗口大小值，a2表示第二竞争窗口大小值。具体的，所述循环模块具体用于所述第二吞吐量与目标吞吐量的差值的绝对值小于预设阈值时，更新所述初始煺火温度。本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现如上所述的基于Q学习的动态竞争窗口调整的方法步骤。本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于Q学习的动态竞争窗口调整的方法步骤。本专利技术实施例提供的基于Q学习的动态竞争窗口调整方法、装置及设备，包括如下步骤：步骤A，初始化信道接入参数和初始煺火温度；其中，信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；步骤B，在初始竞争窗口大小下，LAA基站传输数据包并获取数据包传输的第一吞吐量；步骤C，在第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；步骤D，在第一竞争窗口大小下，获取数据包传输的第二吞吐量；步骤E，将第二吞吐量和目标吞吐量按照预设公式更新Q值表，并利用预设条件，更新初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新Q值表，得到最优竞争窗口。本专利技术实施例通过设定目标吞吐量，限制了LAA信道的吞吐量，初始化初始煺火温度，在不断更新Q值表时，不断计算每次数据传输的煺火温度，在煺火温度小于或等于最小阈值时，停止更新Q值表，将得到的Q值表的竞争窗口作为最优的竞争窗口。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案本文档来自技高网...

【技术保护点】
一种基于Q学习的动态竞争窗口调整方法，其特征在于，应用于LAA基站，所述方法包括：步骤A，初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；步骤B，在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；步骤C，在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；步骤D，在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；步骤E，将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。

【技术特征摘要】
1.一种基于Q学习的动态竞争窗口调整方法，其特征在于，应用于LAA基站，所述方法包括：步骤A，初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；步骤B，在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；步骤C，在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；步骤D，在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；步骤E，将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。2.根据权利要求1所述的方法，其特征在于，所述在所述第一竞争窗口大小下，获取所述数据包传输信道的第二吞吐量，包括：在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。3.根据权利要求2所述的方法，其特征在于，所述将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，包括：计算所述数据包传输的成本值；所述成本值为所述第二吞吐量和所述目标吞吐量差值的绝对值；根据所述成本值，在所述第一竞争窗口大小下，将所述Q值表按照预设公式更新，得到更新后的Q值表，所述预设公式包括Q(s1,a1)+α[c+γminQ(s2,a2)-Q(s1,a1)]，其中，c＝|s2-s0|，α、γ均为0到1之间的常数，s0表示目标吞吐量，s1表示第一吞吐量，s2表示第二吞吐量，a1表示第一竞争窗口大小值，a2表示第二竞争窗口大小值。4.根据权利要求3所述的方法，其特征在于，所述预设条件包括：所述第二吞吐量与目标吞吐量的差值的绝对值小于预设阈值。5.一种基于Q学习的动态竞争窗口调整装置，其特征在于，所述装置包括：初始化模块，用于初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；传输模块，用于在所述初始竞争窗...

【专利技术属性】
技术研发人员：田辉，闫晓婧，秦城，范绍帅，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11