一种基于DQN的分簇式协同频谱感知方法技术

本发明专利技术公开了一种基于DQN的分簇式协同频谱感知方法，包括：获取主用户和次用户的地理位置，基于主用户和次用户的地理位置构建分簇式协同感知架构，分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头；在簇头上构建DQN，并定义状态空间、动作空间以及奖励函数，训练每个簇头的DQN并调整DQN参数进行测试得到测试结果；对测试结果进行二次融合，基于簇间融合结果和观测值，判决输出频谱检测的准确率。本发明专利技术通过构建分簇式的协同感知架构，在DQN算法中设计一种复杂的奖励函数，使智能体更加智能地调节能量检测的判决阈值，同时基于累计准确度的二次融合算法，进一步提高频谱感知的性能，打破了传统方法的应用局限性，使协同感知系统更加智能稳定。同感知系统更加智能稳定。同感知系统更加智能稳定。

【技术实现步骤摘要】
一种基于DQN的分簇式协同频谱感知方法


[0001]本专利技术涉及认知无线电的
，尤其涉及一种基于深度Q网络(Deep Q Network,DQN)的分簇式协同频谱感知方法。

技术介绍

[0002]现代电子战不光取决于精密的武器，还取决于信息的获取、分析和预测。如果能够及时、准确地掌握电磁场的状态，并随之调整电磁战略，那么就能够在电子战中占据极其有利的地位。因此，电磁态势感知应运而生，而频谱感知正是其中至关重要的一大环节。此外，在认知无线电中，频谱感知技术也是举足轻重的关键技术，不仅能够有效地提高频谱的利用率，还能提高无线电系统对周围电磁环境的感知能力，从而统筹协调通信资源。因此，频谱感知技术的重要性不言而喻。
[0003]传统方法中，比较流行的频谱感知方法包括能量检测法、匹配滤波检测法、循环平稳特征检测法、波形检测法等。其中，能量检测法计算量小、复杂度低、易实现，成为了实际应用中主要的方法。随着机器学习的蓬勃发展，已经有很多学者将深度学习、强化学习等方法应用于频谱感知中，并且取得了优异的表现。然而，在信噪比快速变化的场景下，很多已有的方法并不能快速地适应如此多变的环境，尤其是传统的能量检测法，一旦判决阈值固定后，极易受到噪声功率的影响，感知性能将大大降低。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种基于DQN的分簇式协同频谱感知方法解决现有的检测方法感知可靠性低，容易受噪声功率不确定性影响，单节点频谱感知的精度和鲁棒性都容易受限且不能快速适应多变场景的问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：
[0008]本专利技术实施例提供了一种基于DQN的分簇式协同频谱感知方法，包括：
[0009]获取主用户和次用户的地理位置，基于所述主用户和次用户的地理位置构建分簇式协同感知架构，所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头；
[0010]在所述簇头上构建DQN，并定义状态空间、动作空间以及奖励函数，训练每个簇头的DQN并调整DQN参数进行测试得到测试结果；
[0011]对所述测试结果进行二次融合，基于簇间融合结果和观测值，判决输出频谱检测的准确率。
[0012]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头，包括：
[0013]若共有M个次用户，将第i个次用户的位置记为(x
i
,y
i
)，并将M个次用户分为N个簇；
[0014]将第j个簇的聚类中心记为若第j个簇内共有L
j
个次用户，分别计算L
j
个次用户到聚类中心的欧氏距离，选择欧氏距离最小为该簇的簇头，记为c
j
。
[0015]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：在所述簇头上构建DQN，并定义状态空间、动作空间以及奖励函数，包括：
[0016]将第j个簇中为非簇头的次用户接收到的信号进行处理并传输给簇头，所述簇头将L
j
个数据作为DQN的输入；当前DQN待检测的频谱状态包括空闲状态和占用状态，即簇内感知的状态共有种状态，则状态空间S定义为：
[0017][0018]其中，s
i
为次用户对频谱的感知状态，i为某一次用户的下标；当s
i
为0时，表示第i个次用户感知结果是频谱空闲；当s
i
为1时，表示第i个次用户感知结果是频谱占用。
[0019]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：还包括：
[0020]所述簇头初始化判决阈值γ＝γ0和调节增量Δγ，动作用于智能调节判决阈值，当动作取值为0时，保持当前判决阈值不变；当动作取值为1时，判决阈值增加一个增量；当动作取值为2时，判决阈值减少一个增量；
[0021]动作空间A定义为：
[0022]A＝{a|a∈{0,1,2}}
[0023]其中，a为动作。
[0024]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：还包括：根据检测准确率不同，奖励函数包括，
[0025]当η
t
＝1时，表示为：
[0026][0027]当0≤η
t
<0.5时，表示为：
[0028][0029]当0.5≤η
t
<1时，表示为：
[0030][0031]其中，R为可调节的奖励基数，η
t
为检测准确率，r
t
为奖励值。
[0032]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：训练每个簇头的DQN并调整DQN参数进行测试得到测试结果，包括：
[0033]根据上一时刻状态S
t
‑1分别计算3种动作的Q值，即Q(S)，选择最大Q值对应的动作，
作为当前时刻的动作a
t
；
[0034]簇头在环境中执行动作，根据a
t
的取值，动态地调节判决阈值；
[0035]簇头将L
j
个能量信号y
t,i
与判决阈值γ
t
进行比较，得到当前时刻的状态S
t
；
[0036]环境根据动作a
t
、状态S
t
、观测值O
t
、上一时刻的检测准确率η
t
‑1计算当前时刻的奖励值r
t
，并将四元组(S
t
‑1,a
t
,r
t
,S
t
)存入经验池，重复上述操作，直至经验池存满；
[0037]当经验池存满后，DQN中的网络开始更新，从经验池中随机采样，将采样获得的奖励值和下一状态输入目标网络并计算目标网络的Q值；采用均方差损失函数更新优化Q网络的参数，直至网络完成收敛。
[0038]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：对所述测试结果进行二次融合，包括：在簇内，定义每个次用户的累计准确度，进行基于累计准确度的簇内融合；在簇间，定义每个簇累计准确度，进行基于累计准确度的簇间融合。
[0039]作为本专利技术所述的基于DQN的分簇式协同频谱感知方法的一种优选方案，其中：所述簇内融合包括：
[0040]在簇内，为每个次用户定义一个累计准确度w本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DQN的分簇式协同频谱感知方法，其特征在于，包括：获取主用户和次用户的地理位置，基于所述主用户和次用户的地理位置构建分簇式协同感知架构，所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头；在所述簇头上构建DQN，并定义状态空间、动作空间以及奖励函数，训练每个簇头的DQN并调整DQN参数进行测试得到测试结果；对所述测试结果进行二次融合，基于簇间融合结果和观测值，判决输出频谱检测的准确率。2.如权利要求1所述的基于DQN的分簇式协同频谱感知方法，其特征在于，所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头，包括：若共有M个次用户，将第i个次用户的位置记为(x
i
,y
i
)，并将M个次用户分为N个簇；将第j个簇的聚类中心记为若第j个簇内共有L
j
个次用户，分别计算L
j
个次用户到聚类中心的欧氏距离，选择欧氏距离最小为该簇的簇头，记为c
j
。3.如权利要求1或2所述的基于DQN的分簇式协同频谱感知方法，其特征在于，在所述簇头上构建DQN，并定义状态空间、动作空间以及奖励函数，包括：将第j个簇中为非簇头的次用户接收到的信号进行处理并传输给簇头，所述簇头将L
j
个数据作为DQN的输入；当前DQN待检测的频谱状态包括空闲状态和占用状态，即簇内感知的状态共有种状态，则状态空间S定义为：其中，s
i
为次用户对频谱的感知状态，i为某一次用户的下标；当s
i
为0时，表示第i个次用户感知结果是频谱空闲；当s
i
为1时，表示第i个次用户感知结果是频谱占用。4.如权利要求3所述的基于DQN的分簇式协同频谱感知方法，其特征在于，还包括：所述簇头初始化判决阈值γ＝γ0和调节增量Δγ，动作用于智能调节判决阈值，当动作取值为0时，保持当前判决阈值不变；当动作取值为1时，判决阈值增加一个增量；当动作取值为2时，判决阈值减少一个增量；动作空间A定义为：A＝{a|a∈{0,1,2}}其中，a为动作。5.如权利要求4所述的基于DQN的分簇式协同频谱感知方法，其特征在于，还包括：根据检测准确率不同，奖励函数包括，当η
t
＝1时，表示为：当0≤η
t
<0.5时，表示为：
当0.5≤η
t
<1时，表示为：其中，R为可调节的奖励基数，η
t
为检测准确率，r
t
为奖励值。6.如权利要求4或5所述的基于DQN的分簇式协同频谱感知方法，其特征在于，训练每个簇头的DQN并调整DQN参数进行测试得到测试结果，包括：根据上一时刻状态S
t
‑1分别...

【专利技术属性】
技术研发人员：沈婷婷，徐友云，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：