一种空天地海一体化多用户协作学习动态接入方法技术

本发明专利技术属于空天地海一体化通信技术领域，特别是涉及一种空天地海一体化多用户协作学习动态接入方法；该方法是空天地海一体化中每个终端用户都采用Agent强化学习算法独立进行学习，同时，多个终端用户通过黑板模型实现策略共享，通过自学习后利用融合算法对多个策略进行融合改进，然后利用融合后的策略再学习，增加了每个终端用户的先验知识，从而加快学习速度、提高学习效率，实现了降低空天地海一体化通信系统冲突概率，同时提高了空天地海一体化通信系统的平均容量。

A dynamic access method for multi-user cooperative learning of air space sea integration

【技术实现步骤摘要】
一种空天地海一体化多用户协作学习动态接入方法
本专利技术涉及空天地海一体化通信
，具体涉及一种空天地海一体化多用户协作学习动态接入方法。
技术介绍
空天地海一体化信息网络是以地面网络为依托、天基网络为拓展，采用统一的技术架构、统一的技术体制、统一的标准规范，由天基信息网、互联网和移动通信网互联互通而成，具有多样化业务承载、异构网络互联、全域资源管理等特点。空天地海一体化信息网络作为国家重要的信息基础设施，对于国土安全、应急救灾、交通运输、经济发展等多个领域有着重大战略意义。为满足空天地海一体化通信系统频谱资源使用需求，一方面，需要扩展可用频谱，例如采用太赫兹频谱和可见光频谱；另一方面也需要在频谱使用规则上有所改变，突破目前授权载波使用方式为主的现状，以更灵活的方式分配和使用频谱，从而提升频谱资源利用率。目前地面通信和卫星通信主要是采用授权载波的使用方式，频谱资源所有者独占频谱使用权限，即使所述频谱资源暂时空闲，其它需求者也没有机会使用。独占授权频谱对用户的技术指标和使用区域等有严格的限制和要求，能够有效避免系统间干扰并可以本文档来自技高网...

【技术保护点】
1.一种空天地海一体化多用户协作学习动态接入方法，其特征在于，所述方法包括如下步骤：/nS1：预设M的值和T的值；并设置t＝0时刻，随机初始化N个终端用户的Q(s,a)，设定初始学习速率λ和折扣因子β；/nS2：将N个终端用户各自执行标准的Q学习算法；/nS3：判断t是否能被M整除；若不能被整除，则直接进入步骤S4；若能被整除，则N个终端用户交换策略并融合，即每学习M步后，N个终端用户将自己当前累积的Q值发布到黑板上，同时从黑板上获取其它终端用户的Q值，从而每个终端用户按照融合算法融合自己的策略，并依据融合后的策略选择动作，然后进入步骤S4；/nS4：t＝t+1；/nS5：判断t是否满足t≥T...

【技术特征摘要】
1.一种空天地海一体化多用户协作学习动态接入方法，其特征在于，所述方法包括如下步骤：
S1：预设M的值和T的值；并设置t＝0时刻，随机初始化N个终端用户的Q(s,a)，设定初始学习速率λ和折扣因子β；
S2：将N个终端用户各自执行标准的Q学习算法；
S3：判断t是否能被M整除；若不能被整除，则直接进入步骤S4；若能被整除，则N个终端用户交换策略并融合，即每学习M步后，N个终端用户将自己当前累积的Q值发布到黑板上，同时从黑板上获取其它终端用户的Q值，从而每个终端用户按照融合算法融合自己的策略，并依据融合后的策略选择动作，然后进入步骤S4；
S4：t＝t+1；
S5：判断t是否满足t≥T；若满足，则完全采用贪婪策略来选择动作；若不满足，则返回步骤S2。


2.根据权利要求1所述的方法，其特征在于，所述贪婪策略a*(s)计算表达式为：其中，a表示可选动作集合，b表示它占用频点；arg(*)为取角度运算；max(*)为取最大值运算。


3.根据权利要求1所述的方法，其特征在于，所述标准的Q学习算法的步骤，包括：
步骤A.观察环境当前状态st；
步骤B.按Boltzmann动作选择策略选择一个动作at并执行；
步骤C.观察环境后继的状态st，并从环境...

【专利技术属性】
技术研发人员：谷林海，
申请(专利权)人：东方红卫星移动通信有限公司，
类型：发明
国别省市：重庆;50