一种基于深度强化学习的无线电传输方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度强化学习的无线电传输方法及装置，该方法包括：对建立的信道选择与功率分配的联合优化模型中的神经网络参数进行优化训练，通过贪婪策略选择智能体的动作，通过对存储到记忆池的状态转移进行损失函数的计算，以及通过反向传播算法和软更新方式得到最优网络参数，进而通过最优网络参数对信道选择与功率分配的联合优化模型进行优化迭代，然后通过联合优化模型进行信道和功率的选择。可见，实施本发明专利技术能够为每个用户做出最优的信道接入和功率分配策略，不仅保证了用户传输的公平性，更提高了传输系统的整体稳定性和传输速率。性和传输速率。性和传输速率。

【技术实现步骤摘要】
一种基于深度强化学习的无线电传输方法及装置


[0001]本专利技术涉及无线通信
，尤其涉及一种基于深度强化学习的无线电传输方法及装置。

技术介绍

[0002]在实际生活中，人们对频谱资源的需求日益增加，运用认知无线电技术将用户接入空闲频谱可以提高频谱利用率，资源分配是认知无线电的关键技术之一，其通过分配最佳信道和优化传输功率来提高系统的整体性能。
[0003]目前，市面上大多基于最优控制或者博弈论来解决资源分配问题，也有通过强化学习中的无模型策略来解决资源分配问题。但是，利用最优控制或博弈论解决资源分配问题的前提条件是无线网络中的用户均知道所有信道的状态信息，这在实际应用过程中是难以实现的，通过强化学习中的无模型策略来解决资源分配问题也会遇到收敛缓慢的问题，存在随机噪声和测量误差，因此，提出一种基于深度强化学习的无线电传输方法，以提高无线电传输系统的整体性能显得尤为重要。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种基于深度强化学习的无线电传输方法及装置，能够有利于为每个用户做出最优的信道接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无线电传输方法，其特征在于，所述方法包括：建立信道选择与功率分配的联合优化模型，并初始化所述联合优化模型的回合训练次数、记忆池、深度神经网络以及所述深度神经网络的参数集合，所述参数集合包括所述深度神经网络的初始网络参数；针对当次回合训练所述联合优化模型，初始化所述信道选择对应的第一智能体的状态；根据贪婪策略确定所述第一智能体的动作，根据所述第一智能体的动作和所述第一智能体的状态确定所述功率分配对应的第二智能体的状态，并根据所述贪婪策略确定所述第二智能体的动作；将所述第一智能体的动作和所述第二智能体的动作输入到所述深度神经网络中进行分析，并获取所述深度神经网络返回的回报内容；更新所述智能体的状态，并根据所述智能体的状态、所述智能体的动作、所述回报内容以及所述智能体更新后的状态生成状态转移，将所述状态转移存储到所述记忆池中；从所述记忆池中随机采样预设数量的数据集合，并根据所述数据集合计算损失函数，根据所述损失函数和反向传播算法更新所述深度神经网络的初始网络参数，得到当次神经网络参数；将所述当次神经网络参数确定为下一次训练所述联合优化模型时所述深度神经网络的初始网络参数，并继续对所述联合优化模型执行训练操作，直至所述联合优化模型的训练次数达到所述回合训练次数，并确定最后一次训练得到的所述联合优化模型为目标联合优化模型；通过所述目标联合优化模型进行信道和功率的选择。2.根据权利要求1所述的基于深度强化学习的无线电传输方法，其特征在于，所述方法还包括：根据软更新方式，更新所述当次神经网络参数，得到当次最优网络参数；将所述当次最优网络参数确定为下一次训练所述联合优化模型时所述深度神经网络的初始网络参数，并执行所述的继续对所述联合优化模型执行训练操作，直至所述联合优化模型的训练次数达到所述回合训练次数，并确定最后一次训练得到的所述联合优化模型为目标联合优化模型的操作。3.根据权利要求1或2所述的基于深度强化学习的无线电传输方法，其特征在于，所述信道选择对应的第一智能体的状态的初始化公式为：其中，表示第t个时隙所述信道选择对应的第一智能体初始化后的状态，W
t
表示第t个时隙的信道占用情况，表示第t个时隙次用户到认知基站的信道增益，表示第t个时隙所述次用户到主基站的信道增益，表示第t个隙时主用户到所述认知基站的信道增益，当t＝0时，代表第一次对所述信道选择对应的第一智能体的状态进行初始化，每个时隙开始时都对所述信道选择对应的第一智能体的状态进行初始化且每个时隙初始化后的所述第一智能体的状态用于当次所述联合优化模型的训练。
4.根据权利要求1
‑
3任一项所述的基于深度强化学习的无线电传输方法，其特征在于，所述参数集合还包括贪婪策略的阈值；所述根据贪婪策略确定所述第一智能体的动作，包括：将所述第一智能体的状态输入到所述深度神经网络中，得到所述深度神经网络的第一返回值；随机生成第一概率，当所述第一概率小于或等于所述贪婪策略的阈值时，随机选择所述第一智能体的动作，当所述第一概率大于所述贪婪策略的阈值时时，根据第一动作选择公式，选择所述第一智能体的动作；所述根据所述第一智能体的动作和所述第一智能体的状态确定所述功率分配对应的第二智能体的状态，并根据贪婪策略确定所述第二智能体的动作，包括：根据所述第一智能体的动作和所述第一智能体的状态确定所述功率分配对应的第二智能体的状态；将所述第二智能体的状态输入到所述深度神经网络中，得到所述深度神经网络的第二返回值；随机生成第二概率，当所述第二概率小于或等于所述贪婪策略的阈值时，随机选择所述第二智能体的动作，当所述第二概率大于所述贪婪策略的阈值时时，根据第二动作选择公式，选择所述第二智能体的动作。5.根据权利要求4所述的基于深度强化学习的无线电传输方法，其特征在于，所述第一动作选择公式为：公式中，表示第t个时隙所述第一智能体的动作，表示第t个时隙所述第一智能体的动作集合，Q
R
表示所述第一返回值，表示第t个时隙所述第一智能体的状态，θ表示与所述第一智能体对应的所述深度神经网络的初始网络参数；所述第二动作选择公式为：公式中，表示第t个时隙所述第二智能体的动作，表示第t个时隙所述第二智能体的动作集合，Q
P
表示所述第二返回值，表示第t个时隙所述第二智能体的状态，表示与所述第二智能体对应的所述深度神经网络的初始网络参数。6.根据权利要求1
‑
5任一项所述的基于深度强化学习的无线电传输方法，其特征在于，所述回报内容的计算公式...

【专利技术属性】
技术研发人员：姜克建，冯福锋，侯海风，张丽英，张明祥，王俊，徐浩东，林瑞全，刘佳鑫，
申请(专利权)人：福州大学，
类型：发明
国别省市：