基于PER-DDQN的用户组频谱接入方法技术

本发明专利技术公开了一种基于PER

【技术实现步骤摘要】
基于PER
‑
DDQN的用户组频谱接入方法


[0001]本专利技术涉及无线通信网络
，尤其涉及一种基于PER
‑
DDQN的用户组频谱接入方法。

技术介绍

[0002]认知无线电被认为是解决频谱资源短缺、提高频谱利用率的有力工具。然而，由于无线通信信道开放、易受恶意攻击，导致认知无线网络的频谱利用率严重下降。因此，认知无线网络的抗干扰通信能力越来越受到广泛关注。当前认知无线电工作主要针对单个用户研究动态频谱接入(DSA)问题，而在实际的应用情景中，随着用户数量和通信业务种类的逐渐增加，以单个用户节点的形式共享频谱容易造成接入混乱、用户间互扰严重等局面。

技术实现思路

[0003]本专利技术所要解决的技术问题是如何提供一种收敛速度更快，性能更好的基于PER
‑
DDQN的用户组频谱接入方法。
[0004]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于PER
‑
DDQN的用户组频谱接入方法，所述方法包括如下步骤：
[0005]在分布式动态频谱接入场景下，每个用户组作为一个智能体，定义智能体的状态空间、动作空间以及奖励设置，对认知无线网络中的授权信道进行选择；单个用户组作为智能体拥有各自的DRL模型，独立学习分配策略，每个DRL模型采用优先经验回放机制结合双网络结构的DQN算法；
[0006]从组内用户中分别选取发射方和接收方，并将所选信道分配给发射方，用来传输业务信息，实现组内信息共享；
[0007]根据组内成员业务处理情况进行频谱接入，实现组内业务信息传输，完成对频谱资源的利用。
[0008]进一步的技术方案在于：状态空间为每个时隙选择的信道和组内用户的信息量拥有情况；
[0009]每个用户组的动作为根据组内用户的信息量，分别选取发射方和接收方；
[0010]动作的收益则是频谱接入是否合理，组内用户信息量是否增加，进而激励每个用户组做出正确的分配策略。
[0011]进一步的技术方案在于，构造用户组模型的方法如下：
[0012]根据所需处理的通信业务种类将该无线网络下的用户划分成N个用户组，一个用户组处理一种业务，每种业务包含的数据量不同，用户组之间共享L个授权无线信道，每个时隙开始时，所有授权信道均为空闲可用状态，一个用户组作为一个智能体，随机选择一个信道接入，该用户组内的发射方在此信道上传输数据；
[0013]多个用户组可以选择接入相同信道，通过分布式频谱接入，实现频谱资源共享；一个用户组内包含M个用户，组内用户之间通过信息共享来处理业务；智能体选择组内部分用
户接入频谱，该部分用户作为发射方，将业务信息广播式传输给其范围内的其他用户；当一个组内全部用户都完全拥有所需业务信息时，表示该组业务已完成，停止信道接入并结束组内传输；用户组频谱接入的目的是充分利用组内用户资源，缩短整体用户组的业务处理时长。
[0014]进一步的技术方案在于，当用户被选择作为发射方时，在其传输范围内的同组用户作为接收方存在3种情况：
[0015]1)该接收方仅在同组一个发射方的传输范围内，则该接收方接受对应发射方的信号，其余信号作为干扰信号；
[0016]2)该接收方位于同组多个发射方传输范围内的覆盖区域中，则计算该接收方处接收到的所有信干噪比，选择最大的信干噪比作为其对应的发射方，并将其余信号作为干扰信号；
[0017]3)该接收方不在同组发射方的传输范围内，无法接收到信号，对应用户信息增量为0；当被选作为接收方的用户已经完全拥有业务信息量时，该用户不再接收信息，对应用户信息增量为0。
[0018]进一步的技术方案在于，作为接收方的第m个用户接到的信干噪比如公式(1)所示：
[0019][0020]式中，p表示作为发射方用户的发射功率；|h
mj
|2表示作为接收方的第m个用户到其对应的作为发射方的第j个用户的信道增益；|h
mk
|2表示作为干扰方的第k个用户到作为接收方的第m个用户的信道增益，k≠m且k≠j；B表示信道的带宽；N0表示用户接收到的噪声频谱密度；第m个用户的传输速率可由公式(2)所示：
[0021]V
m
＝log2(1+SINR
m
)
ꢀꢀꢀ
(2)
[0022]设第i个用户组所需处理的业务数据量大小为C
i
，第i个用户组中第m个用户每个时隙的信息增量表示为时隙的信息增量表示为可由公式(3)计算得到：
[0023][0024]其中，表示第i组第m个用户已拥有的信息量，
[0025]如果则表示该用户已经接收完成，不再作为接收方，可作为发送方将文件传输给其他用户；
[0026]如果则表示该用户未完全接收业务文件，将被继续作为接收方；μ表示用户作为接收方要求达到的SINR阈值；所有接收方用户接收到的SINR都要大于或等于设定的阈值，否则传输失败，信息增量为0；当时，表示该用户组的业务处理完成，不再占用频谱资源；因此，用户组频谱接入问题的优化目标如公式(4)所示：
[0027][0028]进一步的技术方案在于，所述状态空间的构造方法包括如下步骤：
[0029]将业务处理时长划分成若干个时隙，每个时隙开始时，每个信道均处于可用状态；第i个用户组的状态分为两个部分：其中，表示第i个用户组当前时隙所选的信道号，第i个用户组从L个信道中选择一个信道接入，的信道号，第i个用户组从L个信道中选择一个信道接入，表示第i个用户组已经处理完该组业务，保持等待状态，不再接入信道；表示第i个用户组选择了第个信道；表示当前时隙开始时，第i个用户组组内用户业务处理状态。g
m
∈{0,1}，当w
m
＝C
i
时，g
m
＝1，表示第i组的第m个用户已完成业务，其用户信息量不再增加；当w
m
＜C
i
时，g
m
＝0，表示第i组的第m个用户还未完成业务，继续作为接收方接收对应发射机用户传输的信息。
[0030]进一步的技术方案在于，所述动作空间的构造方法包括如下步骤：
[0031]每个用户组选择信道后，根据组内用户的业务处理状态决定哪些用户作为发射方，哪些用户作为接收方；第i个用户组的动作表示为：a
i
＝[x1,x2,...,x
M
]；其中x
m
∈{0,1}，当x
m
＝1时，表示第m个用户被选作为发射方；x
m
＝0表示第m个用户被选作为接收方；如果组内用户被选择作为发射方，对应的作为接收方的用户将接收到的信噪比反馈给发射方，并基于同信道上的其他发射方位置与该接收方位置计算干扰。
[0032]进一步的技术方案在于，所述奖励设置的方法包括如下步骤：
[0033]用户组作为智能体，频谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PER
‑
DDQN的用户组频谱接入方法，其特征在于所述方法包括如下步骤：在分布式动态频谱接入场景下，每个用户组作为一个智能体，定义智能体的状态空间、动作空间以及奖励设置，对认知无线网络中的授权信道进行选择；单个用户组作为智能体拥有各自的DRL模型，独立学习分配策略，每个DRL模型采用优先经验回放机制结合双网络结构的DQN算法；从组内用户中分别选取发射方和接收方，并将所选信道分配给发射方，用来传输业务信息，实现组内信息共享；根据组内成员业务处理情况进行频谱接入，实现组内业务信息传输，完成对频谱资源的利用。2.如权利要求1所述的基于PER
‑
DDQN的用户组频谱接入方法，其特征在于：状态空间为每个时隙选择的信道和组内用户的业务处理状态；每个用户组的动作为根据组内用户的业务处理状态，分别选取发射方和接收方，作为发射方的用户接入信道广播式传输业务数据给其覆盖范围内的接收方用户；动作的收益则是频谱接入是否合理，组内用户信息量是否增加，进而激励每个用户组做出正确的分配策略。3.如权利要求1或2所述的基于PER
‑
DDQN的用户组频谱接入方法，其特征在于，构造用户组模型的方法如下：根据所需处理的通信业务种类将该无线网络下的用户划分成N个用户组，一个用户组处理一种业务，每种业务包含的数据量不同，用户组之间共享L个授权无线信道，每个时隙开始时，所有授权信道均为空闲可用状态，一个用户组作为一个智能体，随机选择一个信道接入，该用户组内的发射方在此信道上传输数据；多个用户组可以选择接入相同信道，通过分布式频谱接入，实现频谱资源共享；一个用户组内包含M个用户，组内用户之间通过信息共享来处理业务；智能体选择组内部分用户接入频谱，该部分用户作为发射方，将业务信息广播式传输给其范围内的其他用户；当一个组内全部用户都完全拥有所需业务信息时，表示该组业务已完成，停止信道接入并结束组内传输；用户组频谱接入的目的是充分利用组内用户资源，缩短整体用户组的业务处理时长。4.如权利要求3所述的基于PER
‑
DDQN的用户组频谱接入方法，其特征在于：当用户被选择作为发射方时，在其传输范围内的同组用户作为接收方存在3种情况：1)该接收方仅在同组一个发射方的传输范围内，则该接收方接受对应发射方的信号，其余信号作为干扰信号；2)该接收方位于同组多个发射方传输范围内的覆盖区域中，则计算该接收方处接收到的所有信干噪比，选择最大的信干噪比作为其对应的发射方，并将其余信号作为干扰信号；3)该接收方不在同组发射方的传输范围内，无法接收到信号，对应用户信息增量为0；当被选作为接收方的用户已经完全拥有业务信息量时，该用户不再接收信息，对应用户信息增量为0。5.如权利要求4所述的基于PER
‑
DDQN的用户组频谱接入方法，其特征在于：作为接收方的第m个用户接到的信干噪比如公式(1)所示：
式中，p表示作为发射方用户的发射功率；|h
mj
|2表示作为接收方的第m个用户到其对应的作为发射方的第j个用户的信道增益；|h
mk
|2表示作为干扰方的第k个用户到作为接收方的第m个用户的信道增益，k≠m且k≠j；B表示信道的带宽；N0表示用户接收到的噪声频谱密度；第m个用户的传输速率可由公式(2)所示：V
m
＝log2(1+SINR
m
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)设第i个用户组所需处理的业务数据量大小为C
i
，第i个用户组中第m个用户每个时隙的信息增量表示为可由公式(3)计算得到：其中，表示第i组第m个用户已拥有的信息量，如果则表示该用户已经接收完成，不再作为接收方，可作为发送方将文件传输给其他用户；如果则表示该用户未完全接收业务文件，将被继续作为接收方；μ表示用户作为接收方要求达到的SINR阈值；所有接收方用户接收到的SINR都要大于或等于设定的阈值，否则传输失败，信息增量为0；当时，表示该用户组的业务处理完成，不再占用频谱资源；因此，用户组频谱接入问题的优化目标如公式(4)所示：6.如权利要求5所述的基于PER
‑
DDQN的用户组频谱接入方法，其特征在于，所述状态空间的构造方法包括如下步骤：将业务处理时长划分成若干个时隙，每个时隙开始时，每个信道均处于可用状态；第i个用户组的状态分为两个部分：其中，表示第i个用户组当前时隙所选的信道号，第i个用户组从L个信道中选择一个信道接入，表示第i个用户组已经处理完该组业务，保持等待状态，不再接入信道；表示第i个用户组选择了第个信道；表示当前时隙开始...

【专利技术属性】
技术研发人员：魏祥麟，魏楠，范建华，胡永扬，赵框，王彦刚，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：