一种基于在线强化学习的传输模式选择方法及装置制造方法及图纸

本发明专利技术公开了一种基于在线强化学习的传输模式选择方法及装置，其中，该方法包括：获取窄带物联网系统节点的当前时隙状态信息；根据所述当前状态信息利用探索‑利用策略执行动作；计算当所述窄带物联网系统节点执行完动作后的奖励值；获取所述窄带物联网系统节点的下一时隙状态信息；根据所述奖励值和所述下一时隙状态信息更新预设Q函数，并更新预设动作策略值，得到第一动作策略值；根据所述第一动作策略值更新预设预估策略值，得到新预估策略值；根据所述新预估策略值和所述第一动作策略值选择传输模式。通过实施本发明专利技术，不断对窄带物联网系统节点进行预估比较，使得窄带物联网系统节点可以选择能效最大的传输模式选择方案。

【技术实现步骤摘要】
一种基于在线强化学习的传输模式选择方法及装置
本专利技术涉及电力窄带物联网领域，具体涉及一种基于在线强化学习的传输模式选择方法及装置。
技术介绍
电力环境下的物联网是一个实现电网基础设施、人员以及所在环境识别、感知、互联与控制的网络系统。考虑到窄带物联网(NarrowBandInternetofThings,NB-IoT)基站边缘的节点可能覆盖不足从而导致中断概率很高，并且难以满足服务需求。为了提高NB-IoT系统在该电力物联网场景中的覆盖能力，从通信技术和资源分配管理方面出发，相关技术中考虑采用正交多址技术(OrthogonalMultipelAccess，OMA)和非正交多址接入技术(Non-OrthogonalMultipelAccess,NOMA)混合传输机制，同时具有直接传输和中继协作传输两种传输模式。相关技术中，对传输模式的选择主要使用普通编程算法进行研究，但是由于在NB-IoT网络环境中，网络状态实时变化，普通的动态编程算法无法进行计算,不能对传输模式进行智能选择。
技术实现思路
<br>因此，本专利技本文档来自技高网...

【技术保护点】
1.一种基于在线强化学习的传输模式选择方法，应用于窄带物联网系统节点与基站的信息传输，其特征在于，包括如下步骤：/n步骤a：获取窄带物联网系统节点的当前时隙状态信息；/n步骤b：根据所述当前状态信息利用探索-利用策略执行动作；/n步骤c：计算当所述窄带物联网系统节点执行完动作后的奖励值；/n步骤d：获取所述窄带物联网系统节点的下一时隙状态信息；/n步骤e：根据所述奖励值和所述下一时隙状态信息更新预设Q函数，并更新预设动作策略值，得到第一动作策略值；/n步骤f：根据所述第一动作策略值更新预设预估策略值，得到新预估策略值；/n步骤g：根据所述新预估策略值和所述第一动作策略值选择传输模式。/n

【技术特征摘要】
1.一种基于在线强化学习的传输模式选择方法，应用于窄带物联网系统节点与基站的信息传输，其特征在于，包括如下步骤：
步骤a：获取窄带物联网系统节点的当前时隙状态信息；
步骤b：根据所述当前状态信息利用探索-利用策略执行动作；
步骤c：计算当所述窄带物联网系统节点执行完动作后的奖励值；
步骤d：获取所述窄带物联网系统节点的下一时隙状态信息；
步骤e：根据所述奖励值和所述下一时隙状态信息更新预设Q函数，并更新预设动作策略值，得到第一动作策略值；
步骤f：根据所述第一动作策略值更新预设预估策略值，得到新预估策略值；
步骤g：根据所述新预估策略值和所述第一动作策略值选择传输模式。


2.根据权利要求1所述的方法，其特征在于，所述步骤c包括：



其中，r表示奖励值，表示窄带物联网系统节点的信道传输速率，Ptot(s,a)表示窄带物联网系统节点信息传输的总功耗值。


3.根据权利要求2所述的方法，其特征在于，所述步骤g包括：
比较所述新预估策略值和所述第一动作策略值；
当所述新预估策略值大于所述第一动作策略值时，根据所述新预估策略选择传输模式。


4.根据权利要求3所述的方法，其特征在于，当所述新预估策略值小于所述第一动作策略值时，根据所述第一动作策略值选择传输模式。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据更新后的Q函数更新所述第一动作策略值，得到第二动作策略值；
将所述第二动作策略值和新预估策略值作为新的预设动作策略值和新的预设预估策略值，返回执行所述步骤a-步骤g。


6.一种基于在线强化学习的传输模式选择装置，应用于窄带物联网系统节点与...

【专利技术属性】
技术研发人员：王瑶，梁云，尹喜阳，郭延凯，岳顺民，田文峰，黄凤，孙晓艳，黄莉，黄辉，李春龙，邓辉，
申请(专利权)人：全球能源互联网研究院有限公司，国网天津市电力公司，国家电网有限公司，
类型：发明
国别省市：北京;11