基于分布式独立学习的多用户动态频谱接入方法技术

本发明专利技术的目的在于提供一种认知无线电系统中基于分布式独立学习的多用户动态频谱接入方法，该方法将分布式独立强化学习算法应用到多认知用户动态频谱接入环境中，同时将各个用户所接入信道的信噪比引入到奖赏函数中。在频谱分配中，每个认知用户都是一个独立的学习体，它利用当前状态信息、自己的行动策略和状态变迁所得到的奖赏进行学习，维护自己的一个关于状态-行动对的Q值表。本发明专利技术可以使得认知用户智能地占用信噪比高的空闲频谱，从而提高了系统的平均容量。

【技术实现步骤摘要】

【技术保护点】
１．一种基于分布式独立学习的多用户动态频谱接入方法，其特征在于该方法的具体内容为：ａ、初始化：初始化每个认知用户　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　的状态－动作函数值　，其中ｓＳ，Ｓ为认知用户感知到的环境状态，为认知用户的动作，为系统中授权用户的动作；ｂ、状态构建：每个认知用户由状态感知模块感知频谱环境，根据感知到的授权用户占用频谱的情况和每个认知用户自身占用的情况构建状态空间Ｓ，Ｓ　＝　｛，，…，，，，…，｝，其中表示主用户占用的频点，ｋ为主用户数，表示认知用户占用的频点，表示ｍ个认知用户，＝０表示频谱ｋ被占用；＝１表示频谱ｋ未被占用；ｃ、状态－动作函数值获取：每个认知用户根据构建的状态和动作预测模块预测的授权用户将要采取的动作，　从自己的状态－动作函数值表征模块获取的值；ｄ、动作选择和执行：各个认知用户根据和动作选择策略更新规则，　采用贪婪算法从Ａ中选择两个动作和并执行，其中Ａ为认知用户作用于环境的动作集合，为其中一个认知用户执行的动作，为另一个认知用户执行的动作；ｅ、获取回报：设定当系统发生冲突时，　系统的奖赏函数，不冲突时，　　系统的奖赏函数；奖赏函数前面一部分的参数反映降低冲突概率的要求，当认知用户与主用户或者其他认知用户发生冲突时，即两者占用同一频点，奖赏函数为－５；当认知用户与主用户或者其他认知用户没有发生冲突时，即两者占用不同的频点，奖赏函数为１；奖赏函数后一部分反映了认知用户占用该信道时信噪比对奖赏函数的影响，其中为第ｊ个信道的信噪比占系统总信噪比的百分比，ｐ（ｎ）为第ｎ个信道的信噪比，Ｎ为系统的信道数，ａ，ｂ为常数；ｆ、状态－动作函数值更新：各个认知用户维护自己的状态－动作函数值，动作执行后，　新的状态及其所有的状态－动作函数值就能够由步骤ｂ和ｃ得到。...

【技术特征摘要】

【专利技术属性】
技术研发人员：朱琦，朱洪波，杨龙祥，李晓静，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：84