一种基于强化学习算法的认知抗干扰通信方法技术

本发明专利技术公开了一种基于强化学习算法的认知抗干扰通信方法。首先，利用频谱感知获得无干扰的信道和功率，形成由不同频率信道和发射功率组合的子集，并标记各个子集的索引值，所有这些子集构成候选资源集合；然后，在初始时刻，每一个节点遍历所有子集，计算节点对于每个子集的度量值，得到节点所对应的所有子集度量值的集合；再次，节点从对应度量值的集合中选择最大度量值所对应的一个子集，更新该子集对应的度量值；最后，在时间范围T内迭代计算度量值，其中最大度量值对应的子集即可使节点吞吐量最大化。本发明专利技术利用强化学习算法学习到最优策略，各个节点进行独立调整信道选择和功率分配，使抗干扰通信系统吞吐量最大化，达到抗干扰的目的。

【技术实现步骤摘要】
一种基于强化学习算法的认知抗干扰通信方法
本专利技术涉及无线通信领域，是一种提高认知无线网络容量的通信抗干扰方法。
技术介绍
目前，高密度、多频段部署的无线通信系统带来了严重的电磁干扰。因此，无线通信系统在追求更高速率、更远距离及更佳业务质量的同时，需要极大地提升自身的抗干扰能力。通常，通信系统中应用较为广泛的主要是扩频抗干扰和自适应天线技术。扩频抗干扰通常分为直接序列扩频和跳频两种方式，其抗干扰原理是将信号频谱在频域上进行扩展，从而降低了频谱的功率密度，使有用信号淹没在干扰和环境噪声中，不易被对方侦测设备发觉以此实现抗干扰。自适应天线技术是利用干扰源和有用信号传来方向的差异，通过自适应调整天线阵的内部参数从而实现抗干扰的目的。随着电磁环境日趋复杂，恶意、非恶意干扰越来越严重，传统扩频抗干扰技术实时性、时变性不足，难以对抗新兴的具备学习能力的干扰机。为了更好地提升抗干扰通信系统性能，近年提出了Q学习等抗干扰技术，其是智能技术在抗干扰领域的应用，即能够感知、理解电磁环境并利用机器学习进行决策，进而选择最佳抗干扰方式。但已提出的Q学习抗干扰技术中，在大规模的频率域-功率域候选集合中难以学习到有效抗干扰策略。
技术实现思路
针对于
技术介绍
中所述的Q学习抗干扰技术存在的问题，我们提出了一种强化学习的认知抗干扰通信方法。本方法解决的技术问题是使无线通信系统如何在大规模的频率域-功率域候选集合中学习到有效抗干扰策略，然后自主选择最优频率信道和发射功率配置，从而最大化通信系统容量。本专利技术的基本原理为：首先，利用频谱感知获得无干扰的信道和功率，形成由不同频率信道和发射功率组合的子集，并标记各个子集的索引值，所有这些子集构成候选资源集合；然后，在初始时刻，每一个节点遍历所有子集，计算节点对于每个子集的度量值，得到无线网络节点所对应的所有子集度量值的集合；再次，节点从对应的所有子集度量值的集合中选择最大度量值所对应的一个子集，更新该子集对应的度量值；最后，在时间范围T内迭代计算度量值，其中最大度量值对应的子集即可使节点吞吐量最大化，从而使抗干扰通信系统吞吐量最大化，达到抗干扰的目的。一种基于强化学习算法的认知抗干扰通信方法，包括以下实现步骤：步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f1,...,fU}和功率{p1,...,pV}，形成由不同频率信道和发射功率组合的子集{fu,pv}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f1,p1},...,{fU,pV}}；步骤(2)：在初始时刻t＝0，对任意节点j，遍历所有子集，计算节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合其中计算节点j的第k子集的度量值的具体步骤如下：步骤(2.1)、先根据选择的信道和功率计算出无线网络节点j选择第k子集的信号干扰噪声比其中，Pj,k为节点j选择第k子集的接收功率，N0是噪声功率。然后，计算节点j选择第k子集的最大理论容量Γj,k＝Blog2(1+SINRj,k)，其中，B是根据分配的信道数获得的带宽；步骤(2.2)、无线网络节点j利用选择的子集k配置的信道和功率发射信号，测量节点j选择第k子集的实际吞吐量步骤(2.3)、计算节点j选择第k子集的奖赏值具体计算公式如下：步骤(2.4)、计算节点j选择第k子集的度量值其为步骤2.3中得到的奖赏值与置信度之和，即其中，表示节点j选择第k子集的置信度初值，具体值由初始设置决定。步骤(3)：更新时间t＝t+1；步骤(4)：任意节点j从对应的所有子集度量值的集合中选择最大度量值所对应的一个子集k，更新节点j选择子集k的次数初值为0，更新被节点j选择的子集k所对应的度量值其中更新节点j选择的子集k的度量值的具体步骤如下：步骤(4.1)、先根据选择的信道和功率计算出无线网络节点j第s次选择子集k的信号干扰噪声比其中，Pj,k,s为节点j第s次选择子集k的接收功率，N0是噪声功率。然后，计算节点j第s次选择子集k的最大理论容量Γj,k,s＝Blog2(1+SINRj,k,s)，其中，B是根据分配的信道数获得的带宽。步骤(4.2)、无线网络节点j利用第s次选择的子集k配置的信道和功率发射信号，测量节点j第s次选择子集k的实际吞吐量步骤(4.3)、计算节点j第s次选择子集k的奖赏值具体计算公式如下：步骤(4.4)、计算节点j选择子集k的平均奖赏值具体计算公式如下：其中为节点j选择子集k的次数，为步骤(4.3)得到的节点j第s次选择子集k的奖赏值步骤(4.5)、更新节点j选择子集k的度量值其为步骤4.4中得到的平均奖赏值与置信度之和，即其中，步骤(5)：重复步骤(3)至步骤(4)，在时间范围T内迭代计算度量值，获得最大度量值对应的子集k，节点j选择该子集k以最大化吞吐量达到抗干扰的效果。有益效果本专利技术采用的一种强化学习的认知抗干扰通信方法，在动态未知的复杂环境中，利用强化学习算法学习到最优策略，各个无线网络节点进行独立调整信道选择和功率分配，使整个通信系统吞吐量最大化，达到抗干扰的目的。附图说明图1为本专利技术的总体流程图。图2为初始时刻获得各个节点对应度量值集合的流程图。图3为度量值更新的流程图。图4为节点利用不同方法选择子集系统获得的吞吐量。具体实施方式步骤(1)：设置迭代时间t＝0，时间范围T＝20000，根据感知到的无干扰信道{1,2}和功率{4,8,12,16}，形成由不同频率信道和发射功率组合的子集{fu,pv}，其中fu∈{1,2},fv∈{4,8,12,16},各个子集的索引标记为k∈{1,...,8}，所有子集构成集合{{1,4},...,{2,16}}；步骤(2)：在初始时刻t＝0，对任意节点j，遍历所有子集，计算节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合作为实例，计算节点j＝1的第k＝1子集的度量值的具体步骤如下：步骤(2.1)、先根据选择的信道和功率计算出无线网络节点j＝1选择第k＝1子集的信号干扰噪声比其中，节点j＝1选择第k＝1子集的接收功率为Pj,k为-249.4150dBm，地面噪声功率N0为-10dBm。然后，计算节点j＝1选择第k＝1子集的最大理论容量Γj,k＝Blog2(1+SINRj,k)＝93.9438Mbps，其中，B是根据分配的信道数获得的带宽，为20MHz；步骤(2.2)、无线网络节点j＝1利用选择的子集k＝1配置的信道和功率发射信号，测量节点j＝1选择第k＝1子集的实际吞吐量步骤(2.3)、计算节点j＝1选择第k＝1子集的奖赏值具体计算公式如下：步骤(2.4)、计算节点j＝1选择第k＝1子集的度量值其为步骤2.3中得到的奖赏值与置信度之和，即其中，表示节点j＝1选择第k＝1子集的置信度初值，具体值由初始设置决定，设置为0。同步骤2，计算无线网络节点j＝1分别选择第k＝2，3，4，5，6，7，8子集的度量值得到无线网络节点j＝1所对应的所有子集度量值的集合{0.6601,0.6782,0.7837,0.5279,0.6128,0.8971,0.8390,0.8635}。步骤(3)：更新时间t＝1；步骤(4本文档来自技高网...

【技术保护点】
1.一种基于强化学习算法的认知抗干扰通信方法，其特征在于：包括以下实现步骤：步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f1,...,fU}和功率{p1,...,pV}，形成由不同频率信道和发射功率组合的子集{fu,pv}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f1,p1},...,{fU,pV}}；步骤(2)：在初始时刻t＝0，对任意节点j，遍历所有子集，计算节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合

【技术特征摘要】
1.一种基于强化学习算法的认知抗干扰通信方法，其特征在于：包括以下实现步骤：步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f1,...,fU}和功率{p1,...,pV}，形成由不同频率信道和发射功率组合的子集{fu,pv}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f1,p1},...,{fU,pV}}；步骤(2)：在初始时刻t＝0，对任意节点j，遍历所有子集，计算节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合其中计算节点j的第k子集的度量值的具体步骤如下：步骤(2.1)、先根据选择的信道和功率计算出无线网络节点j选择第k子集的信号干扰噪声比其中，Pj,k为节点j选择第k子集的接收功率，N0是噪声功率。然后，计算节点j选择第k子集的最大理论容量Γj,k＝Blog2(1+SINRj,k)，其中，B是根据分配的信道数获得的带宽；步骤(2.2)、无线网络节点j利用选择的子集k配置的信道和功率发射信号，测量节点j选择第k子集的实际吞吐量步骤(2.3)、计算节点j选择第k子集的奖赏值具体计算公式如下：步骤(2.4)、计算节点j选择第k子集的度量值其为步骤2.3中得到的奖赏值与置信度之和，即其中，表示节点j选择第k子集的...

【专利技术属性】
技术研发人员：黎海涛，罗佳伟，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11