【技术实现步骤摘要】
本申请涉及信号识别，尤其涉及一种构建深度强化学习射频指纹识别模型的方法和装置。
技术介绍
1、物联网和5g的发展为无线连接世界带来了巨大的潜力，当今许多无线安全方面都来源于软件和固件密钥的加密，这些方面很容易遭到攻击、物理欺骗或冒充。每个单独的设备都有固有的硬件密钥，以独特的射频指纹形式存在，射频指纹由前端硬件实现的细微变化而赋予传输信号特定于设备的差异。基于射频指纹识别的物理层安全技术可以有效解决无线设备的安全接入问题，其挑战在于确保每个设备指纹不会随着时间的推移而降低识别模型的性能。
2、在射频指纹信号识别中，目前有基于信号参数，通过提取多种信号参数特征组成多维特征数组或通过提取不同特征，构建不同的深度神经网络模型，在结合模型训练实现设备的射频指纹目标识别的方式，但是上述方式都没有解决设备射频指纹分布动态漂移的问题。
3、因此，现有技术亟需改进。
技术实现思路
1、鉴于上述现有技术的不足之处，本申请提供了一种构建深度强化学习射频指纹识别模型的方法和装置，应用于信号识别
，通过射频前端天线与信号处理，信号滤波与转换以及功率检测得到处理后的通信信号，并根据处理后的通信信号建立样本库获取模态特征数组，根据模态特征数组构建模态值对应的深度强化学习模型，并对该深度强化学习模型进行训练，使其能够解决射频指纹识别中时间动态的问题，确保每个设备指纹不会随着时间的推移而降低识别模型的性能。
2、第一方面，本申请提供一种构建深度强化学习射频指纹识别模型的方
3、s1：采集指定频段的第一通信信号并通过低噪放大器增强输入的所述第一通信信号的功率以及抑制噪声功率，得到处理后的第二通信信号；
4、s2：对所述第二通信信号进行滤波转换以及功率检测操作，得到处理后的第三通信信号；
5、s3：根据所述第三通信信号建立信号样本库，截取所述信号样本库中信号同步头射频指纹段，得到样本集；
6、s4：迭代设置模态值，并基于所述样本集生成模态特征数组，构建所述模态值对应的深度强化学习模型，并训练所述深度强化学习模型，直到得到最大准确率，退出迭代。
7、本申请提供的一种构建深度强化学习射频指纹识别模型的方法，通过采集指定频段的第一通信信号并通过低噪放大器增强输入的所述第一通信信号的功率以及抑制噪声功率，得到处理后的第二通信信号，使采集到的指定频段的第一通信信号能够经过增强、除噪处理得到优质的第二通信信号，再将第二通信信号经过滤波处理以及对应的峰值功率检测，得到感兴趣的第三通信信号；根据第三通信信号建立信号样本库，截取所述信号样本库中信号同步头射频指纹段，得到样本集，用于对截取到的信号样本库中信号同步头射频指纹段进行标注和归类；迭代设置模态值，并基于所述样本集生成模态特征数组，构建模态值对应的深度强化学习模型并训练所述深度强化学习模型，直到得到最大准确率，退出迭代，深度强化学习的学习过程是一个随时间变化，状态和反馈也在不停变化的过程，能够学习指导该深度强化学习模型进行修改完成射频指纹的识别，确保射频指纹识别的准确率不会随时间的动态变化而降低，有效解决设备射频指纹分布动态漂移的问题。
8、进一步的，步骤s4包括：
9、s41:迭代设置模态值，并基于样本集生成模态特征数组，包括步骤：
10、s411：对所述样本集进行小波分解变换得到特征组合信息；
11、s412：对所述特征组合信息进行傅里叶变换，得到时频的实部数组和时频信号的虚部数组；
12、s413：根据模态值，从所述实部数组和所述虚部数组中选取特征数据，堆叠得到k×n×2形式的三维多通道数组，其中k表示当前模态值，n表示样本集中射频指纹段的信号长度，2表示实部和虚部；
13、s414：将三维多通道数组拆分为所述模态值通道下的实虚双通道形式的数组，作为所述模态特征数组；
14、s42：构建所述模态值对应的深度强化学习模型；
15、s43：训练所述深度强化学习模型，直到得到最大准确率，退出迭代。
16、本申请提供的一种构建深度强化学习射频指纹识别模型的方法，输入到深度强化学习模型的模态特征数组是通过对样本集中射频指纹段的信号进行小波分解变换以及傅里叶变换的联合变换后，根据设置的模态值而选取的特征数据，考虑到信号点多，数据简单，为了避免骨干网络模型过拟合，采用非降采样小波分解变换，通过采用非降采样小波分解变换，可以丰富细节信息，便于深度强化学习模型学习。
17、进一步的，步骤s42包括：
18、s421：建立射频指纹识别的分类任务的强化学习环境，所述强化学习环境初始值包括训练样本、标签、采样索引、动作空间和模型，训练样本为20类ads-b信号的同步头信号，标签为每个样本对的独热编码值，动作空间的大小为11200，模型为采用actor-critic架构的所述深度强化学习模型；
19、s422：建立经验池，预设经验池大小为1024，存入从所述强化学习环境中采集的状态动作值(st,at,rt,st+1,at+1)，其中st表示当前同步头信号特征的状态值，at表示当前模型所识别的类别值，rt表示当前模拟得到的奖励，st+1表示模拟进入下一个状态值的同步头信号特征，at+1表示模拟中采取下一步行动的类别值；
20、s423：构建actor-critic架构，所述actor-critic架构包括两个相同架构的残差网络模型，其中一个所述残差网络模型包括负责动作策略的actor模型，另一个所述残差网络模型包括负责计算估计的critic模型；其中，所述残差网络模型包含至少3个残差块，至少2层全连接层和一个q值计算层，所述残差块第一个卷积核的输入通道值与所述模态值一致。
21、本申请提供的一种构建深度强化学习射频指纹识别模型的方法，通过建立射频指纹识别的分类任务的强化学习环境，可以返回训练样本中的一个随机样本和零奖励值，agent(代理程序)使用时间步函数在环境中执行动作，输入同步头样本的预测；若预测正确，环境则对执行动作进行奖励，并提供下一个同步头样本给agent，若预测错误，环境则对执行动作进行惩罚，而后构建actor-critic架构，由于在单个残差网络模型上迭代，会造成过优化的现象；因此，通过引入两个相同架构的残差网络模型，一个残差网络模型负责动作策略，即actor模型，另一个残差网络模型负责计算估计，即critic模型，进而可得到深度强化学习模型。
22、进一步的，步骤s423包括：
23、s4231：所述actor模型根据自身的权重计算q值，并根据等式π＝argmaxaq(s,a)从ε-greedy中来选择对这个状态s执行的动作a，argmaxaq(s,a)表示选取q值中类别所对应的最大得分值，ε-greedy表示以ε的概率控制探索和利用的比例；
24、s4232：所述critic模型通过观察本文档来自技高网...
【技术保护点】
1.一种构建深度强化学习射频指纹识别模型的方法，其特征在于，所述方法包括步骤：
2.根据权利要求1所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤S4包括：
3.根据权利要求2所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤S42包括：
4.根据权利要求3所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤S423包括：
5.根据权利要求4所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤S423还包括：S4234：构建所述残差网络模型；
6.根据权利要求5所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤S43包括：
7.一种构建深度强化学习射频指纹识别模型的装置，其特征在于，所述装置包括：
8.根据权利要求7所述的一种构建深度强化学习射频指纹识别模型的装置，其特征在于，所述深度强化学习模型构建及训练模块包括：
9.根据权利要求8所述的一种构建深度强化学习射频指纹识别模型的装置，其特征在于，所述深度强化
10.根据权利要求9所述的一种构建深度强化学习射频指纹识别模型的装置，其特征在于，所述第三构建模块包括：
...【技术特征摘要】
1.一种构建深度强化学习射频指纹识别模型的方法，其特征在于，所述方法包括步骤：
2.根据权利要求1所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤s4包括：
3.根据权利要求2所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤s42包括：
4.根据权利要求3所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤s423包括：
5.根据权利要求4所述的一种构建深度强化学习射频指纹识别模型的方法，其特征在于，步骤s423还包括：s4234：构建所述残差网络模型；
【专利技术属性】
技术研发人员：李胜军，王正伟，王沫然，魏新，蒋洪福，
申请(专利权)人：重庆九洲星熠导航设备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。