一种基于小型化深度学习模型的噪声分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于小型化深度学习模型的噪声分类方法及装置，首先采集噪声数据构建噪声训练数据集，并构造学生模型和教师模型；然后计算两个模型的输出概率分布，分别称为软目标和软预测；并计算学生模型输出的概率分布，称为硬预测，输入噪声训练样本数据的真实类别对应的独热向量称为硬目标；之后分别计算软目标和软预测之间的KL散度作为蒸馏损失，硬目标和硬预测之间的交叉熵损失作为学生损失，教师模型和学生模型输出特征的距离损失以及余弦损失；各损失求加权平均作为总损失；最后采用小批量梯度下降算法最小化总损失来训练学生模型直至模型收敛，利用学生模型部署在移动终端或者边缘设备，在应用现场采集噪声数据实现噪声分类。

【技术实现步骤摘要】

本专利技术涉及噪声分类领域，尤其涉及一种基于小型化深度学习模型的噪声分类方法及装置。

技术介绍

1、以gpt-4等技术为代表的大规模预训练模型为了得到优异的性能，往往从海量数据中提取有用的知识。与此对应，模型参数的个数也非常庞大。eat架构的网络可以配置并训练成一种基于深度学习的端到端噪声分类大模型，具有上述特点。

2、从资源受限的设备来看，预训练大模型的主要问题是，计算量和参数数量十分庞大，实现成本高，推理计算速度慢，对设备资源要求高。这些问题的存在限制了预训练大模型的应用范围，尤其是不利于在大量资源受限的移动终端或者边缘设备中部署，而噪声分类经常需要在现场使用移动终端或者边缘设备采集噪声数据，因此使用受到很大限制。

技术实现思路

1、本专利技术目的在于针对现有技术的不足，提出一种基于小型化深度学习模型的噪声分类方法及装置。

2、本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种基于小型化深度学习模型的噪声分类方法，该方法包括以下步骤：p>

3、(1)本文档来自技高网...

【技术保护点】

1.一种基于小型化深度学习模型的噪声分类方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，学生模型和教师模型均采用EAT架构。

3.根据权利要求1所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，假设xi是第i个输入噪声训练样本数据，fT(xi),fS(xi)分别表示教师模型和学生模型最后1个编码器层的输出特征；按照下面公式计算距离损失；

4.根据权利要求3所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，对于小批量χ中的每个三样本组合xi,xj,xk,计算三个样本...

【技术特征摘要】

1.一种基于小型化深度学习模型的噪声分类方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，学生模型和教师模型均采用eat架构。

3.根据权利要求1所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，假设xi是第i个输入噪声训练样本数据，ft(xi),fs(xi)分别表示教师模型和学生模型最后1个编码器层的输出特征；按照下面公式计算距离损失；

4.根据权利要求3所述的一种基于小型化深度学习模型的噪声分类方法，其特征在于，对于小批量χ中的每个三样本组合xi,xj,xk,计算三个样本的关系ψa[fs(xi),fs(xj),fs(xk)]＝eijekj/(|eij||ekj|)，即两个矢量之间夹角的余弦；eij＝fs(xi)-f...

【专利技术属性】
技术研发人员：任军军，赵明，罗浩，孙云云，
申请(专利权)人：杭州艾力特数字科技有限公司，
类型：发明
国别省市：