【技术实现步骤摘要】
本专利技术实施例涉及通信信号识别，尤其涉及一种基于自蒸馏技术的信号识别模型及计算机设备。
技术介绍
1、在传统的基于深度学习的通信信号识别模型中，均假设测试数据与训练数据服从同一分布。
2、相关技术中，通常对于一个网络模型而言，若利用数据集a训练得到的模型在数据集b上直接测试很难得到理想的结果，这是因为数据集a与b之间不同的数据分布导致模型难以进行有效的特征提取。
3、关于上述技术方案，至少存在如下一些技术问题：
4、神经网络针对利用数据集a对模型进行训练，在此情况下的神经网络缺乏对数据集b的泛化能力。
5、因此，有必要改善上述相关技术方案中存在的一个或者多个问题。
6、需要注意的是，本部分旨在为权利要求书中陈述的本专利技术的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
技术实现思路
1、本专利技术的目的在于提供一种基于自蒸馏技术的信号识别模型及计算机设备，进而至少在一定程度上解决上述的由于相关技术的限制和缺陷而导致的一个或者多个问题。
2、第一方面，本专利技术提供了一种基于自蒸馏技术的信号识别模型，包括：
3、利用源域数据集，以全监督方式对骨干网络进行训练，生成初始模型；
4、将全监督训练后的初始模型视为指导蒸馏训练的第一教师模型，并利用该模型指导第一学生模型进行训练，生成一级蒸馏模型；
5、利用一级蒸馏模型作为第二教师模型指导第二学生模型进行
6、往复蒸馏训练得到最终的蒸馏模型；
7、利用目标域的少量标记样本对蒸馏训练后的信号识别模型进行微调；
8、利用微调后的模型对目标域数据集进行识别。
9、可选的，在进行训练的过程中，采用多通道注意力残差卷积神经网络进行特征提取。
10、可选的，所述多通道注意力残差卷积神经网络以多路并线的方式分别进行特征提取，再对提取出的特征进行拼接后送入分类器。
11、可选的，所述多通道注意力残差卷积神经网络的每个通道中，通过多个变尺度的卷积块以串联方式对输入进行处理，其中，多个变尺度的所述卷积块的卷积核逐渐变小。
12、可选的，所述多通道注意力残差卷积神经网络的每个通道中，在每个所述卷积块之后插入卷积注意力模块。
13、可选的，所述以全监督方式对骨干网络进行训练，生成初始模型的步骤中，还包括：
14、训练的优化目标为标准分类损失。
15、可选的，标准分类损失为最小化模型预测结果和标签之间的交叉熵的优化过程：
16、
17、其中，ypre表示模型的预测结果，ytrue表示数据真实标签，θ表示骨干模型，lcls(·)代表交叉熵损失。
18、可选的，所述将全监督训练后的初始模型视为指导蒸馏训练的第一教师模型，并利用该模型指导第一学生模型进行训练，生成一级蒸馏模型的步骤中，还包括：
19、训练的优化目标为联合优化分类损失、kl散度损失和均方误差损失。
20、可选的，联合优化分类损失、kl散度损失和均方误差损失的优化目标表示为：
21、
22、其中，α、β、γ为用于控制不同损失比例的超参数，ys、yt分别表示学生模型与教师模型的函数输出预测概率，fk-1(x)与f(x)分别表示学生模型与教师模型所提取的特征。
23、第二方面，本专利技术提供了一种计算机设备，包括：
24、存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于自蒸馏技术的信号识别模型的步骤。
25、本专利技术提供的技术方案可以包括以下有益效果：
26、本专利技术中，通过基于自蒸馏技术的信号识别模型，通过引入了自蒸馏训练策略，可利用数据集a对模型进行不断重复训练，从而在一定程度上提升对数据集b的泛化能力。
本文档来自技高网...【技术保护点】
1.一种基于自蒸馏技术的信号识别模型，其特征在于，包括：
2.根据权利要求1所述的基于自蒸馏技术的信号识别模型，其特征在于，在进行训练的过程中，采用多通道注意力残差卷积神经网络进行特征提取。
3.根据权利要求2所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络以多路并线的方式分别进行特征提取，再对提取出的特征进行拼接后送入分类器。
4.根据权利要求3所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络的每个通道中，通过多个变尺度的卷积块以串联方式对输入进行处理，其中，多个变尺度的所述卷积块的卷积核逐渐变小。
5.根据权利要求4所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络的每个通道中，在每个所述卷积块之后插入卷积注意力模块。
6.根据权利要求1所述的基于自蒸馏技术的信号识别模型，其特征在于，所述利用源域数据集，以全监督方式对骨干网络进行训练，生成初始模型的步骤中，还包括：
7.根据权利要求6所述的基于自蒸馏技术的信号识
8.根据权利要求1所述的基于自蒸馏技术的信号识别模型，其特征在于，所述将全监督训练后的初始模型视为指导蒸馏训练的第一教师模型，并利用该模型指导第一学生模型进行训练，生成一级蒸馏模型的步骤中，还包括：
9.根据权利要求8所述的基于自蒸馏技术的信号识别模型，其特征在于，联合优化分类损失、KL散度损失和均方误差损失的优化目标表示为：θk＝argmin[α(Lcls((yS,ytrue),θ)+βKL((yT,θk-1)(yS,θ))+γMSE((fk-1(x),θk-1),(f(x),θ))]
10.一种计算机设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于自蒸馏技术的信号识别模型，其特征在于，包括：
2.根据权利要求1所述的基于自蒸馏技术的信号识别模型，其特征在于，在进行训练的过程中，采用多通道注意力残差卷积神经网络进行特征提取。
3.根据权利要求2所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络以多路并线的方式分别进行特征提取，再对提取出的特征进行拼接后送入分类器。
4.根据权利要求3所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络的每个通道中，通过多个变尺度的卷积块以串联方式对输入进行处理，其中，多个变尺度的所述卷积块的卷积核逐渐变小。
5.根据权利要求4所述的基于自蒸馏技术的信号识别模型，其特征在于，所述多通道注意力残差卷积神经网络的每个通道中，在每个所述卷积块之后插入卷积注意力模块。
6.根据权利要求1所述的基于自蒸馏技术...
【专利技术属性】
技术研发人员：许华，史蕴豪，孟庆微，王西康，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。