本发明专利技术公开了一种基于随机投影度量空间的小样本分类方法及装置，涉及自然语言处理技术领域。包括：获取待分类的多个任务；将多个任务输入到基于随机投影度量空间的分类模型；根据多个任务以及基于随机投影度量空间的分类模型，得到多个任务的分类结果。本发明专利技术构建适应具体任务的随机度量空间，通过微调样本向量在度量空间中的位置来构建基于任务特征的度量空间，具体的使用随机向量来学习每个任务的度量空间，从而解决一般做法中通用的度量空间不能很好地适用于所有任务，缺乏适用性这一问题。题。题。
【技术实现步骤摘要】
一种基于随机投影度量空间的小样本分类方法及装置
[0001]本专利技术涉及自然语言处理
，特别是指一种基于随机投影度量空间的小样本分类方法及装置。
技术介绍
[0002]小样本学习能够利用少量的数据进行学习，因此能够运用到许多缺乏充足标签数据的领域中(Chen et al.,2019；Wang et al.,2020；Garcia and Bruna,2017)。在自然语言处理研究中，小样本学习已经成为了一个火热的课题。小样本学习的技术运用在了自然语言处理中的各个领域，对于文本分类，小样本学习(Yu et al.,2018；Geng et al.,2019；Bao et al.,2019)能够在少量的带标签数据上进行学习并迁移到新的分类任务中。
[0003]目前已有不少学者针对小样本学习研究领域中出现的众多难点提出了解决方案。针对小样本文本分类任务的多样性以及样本中可能存在的噪音，Gao T等人(Gao et al.,2019)利用层级注意力来处理，从而提高了模型的鲁棒性。Obamuyide等人(Obamuyide and Vlachos,2019)将有监督分类问题作为元学习的一个例子，从而提出了与模型无关的元学习方案。Xie等人(Xie et al.,2020)利用异构图网络与对抗训练减少模型对噪声样本的敏感性。
[0004]基于度量的元学习方法通过学习度量空间以及使用距离空间来预测标签。一般来说，元学习需要在多个任务上进行训练，并且统一地将这些子任务投影到同一个度量空间中(Vinyals et al.,2016；Snell et al.,2017；Sung et al.,2018)。早期研究的重心放在了如何学习更优的度量空间(例如得到一个更优的嵌入层)(Vinyals et al.,2016)，以及探索如何学习到一个更优的距离空间(Sung et al.,2018)。使用同一个度量空间能够找到适用于多个任务的共同特征，这纵然是其优点，但特征的难度随任务的变化而变化(Bao et al.,2019；Sui et al.,2020)。当不同子任务的样本分布特征有重叠有差异时，优化效果不佳。
技术实现思路
[0005]本专利技术针对同一个度量空间无法适用于不同的任务，不同任务在分类时的投影因在一个度量空间中容易重叠，造成分类精度下降的问题，提出了本专利技术。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：
[0007]一方面，本专利技术提供了一种基于随机投影度量空间的小样本分类方法，该方法由电子设备实现，该方法包括：
[0008]S1、获取待分类的多个任务。
[0009]S2、将多个任务输入到基于随机投影度量空间的分类模型。
[0010]S3、根据多个任务以及基于随机投影度量空间的分类模型，得到多个任务的分类结果。
[0011]可选地，S3中的根据多个任务以及基于随机投影度量空间的分类模型，得到多个
任务的分类结果包括：
[0012]S31、获取多个任务中每个任务的支撑集以及查询集。
[0013]S32、根据基于随机投影度量空间的分类模型的嵌入层，对支撑集以及查询集进行特征提取，得到支撑集以及查询集的特征信息。
[0014]S33、分别对每个任务构造度量空间。
[0015]S34、基于每个任务的度量空间、支撑集以及查询集的特征信息，得到多个任务的分类结果。
[0016]可选地，S33中的分别对每个任务构造度量空间包括：
[0017]分别对每个任务进行随机向量投影学习，得到每个任务的度量空间。
[0018]可选地，对每个任务进行随机向量投影学习包括：
[0019]S331、采用两个独立的单层感知机，根据随机向量，分别生成参数γ
predict
和β
predict
。
[0020]S332、判断每个任务的特征与现有任务的特征的差距是否超过阈值；若是，则对任务中的样本特征进行修改。
[0021]S333、利用权重生成器，根据随机向量，生成归一化的参数γ
predict
和β
predict
。
[0022]可选地，S331中的参数γ
predict
和β
predict
，如下式(1)(2)所示：
[0023][0024][0025]其中，Δγ
predict
为调整前的归一化参数，c为随机向量；为单层感知机。
[0026]可选地，S332中的对任务中的样本特征进行修改，如下式(3)
‑
(5)所示：
[0027][0028]γ
predict
＝Δγ
predict
+1
ꢀꢀꢀꢀꢀ
(4)
[0029][0030]其中，γ
penalty
和β
penalty
为对生成的Δγ
predict
和β
predict
进行L2正则，公式(4)为了防止γ
predict
中出现0元素，导致样本向量x某些维度的特征失效。
[0031]可选地，S333中的生成归一化的参数γ
predict
和β
predict
，如下式(6)
‑
(8)所示：
[0032][0033][0034][0035]其中，x为原始任务特征；x
′
为调整后任务特征；D
train
为训练集；
⊙
为哈达玛积。
[0036]另一方面，本专利技术提供了一种基于随机投影度量空间的小样本分类装置，该装置应用于实现基于随机投影度量空间的小样本分类方法，该装置包括：
[0037]获取模块，用于获取待分类的多个任务。
[0038]输入模块，用于将多个任务输入到基于随机投影度量空间的分类模型。
[0039]输出模块，用于根据多个任务以及基于随机投影度量空间的分类模型，得到多个
任务的分类结果。
[0040]可选地，输出模块，进一步用于：
[0041]S31、获取多个任务中每个任务的支撑集以及查询集。
[0042]S32、根据基于随机投影度量空间的分类模型的嵌入层，对支撑集以及查询集进行特征提取，得到支撑集以及查询集的特征信息。
[0043]S33、分别对每个任务构造度量空间。
[0044]S34、基于每个任务的度量空间、支撑集以及查询集的特征信息，得到多个任务的分类结果。
[0045]可选地，输出模块，进一步用于：
[0046]分别对每个任务进行随机向量投影学习，得到每个任务的度量空间。
[0047]可选地，输出模块，进一步用于：
[0048]S331、采用两个独立的单层感知机，根据随机向量，分别生成参数γ
predic本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于随机投影度量空间的小样本分类方法，其特征在于，所述方法包括：S1、获取待分类的多个任务；S2、将所述多个任务输入到基于随机投影度量空间的分类模型；S3、根据所述多个任务以及所述基于随机投影度量空间的分类模型，得到多个任务的分类结果。2.根据权利要求1所述的方法，其特征在于，所述S3中的根据所述多个任务以及所述基于随机投影度量空间的分类模型，得到多个任务的分类结果包括：S31、获取多个任务中每个任务的支撑集以及查询集；S32、根据所述基于随机投影度量空间的分类模型的嵌入层，对所述支撑集以及查询集进行特征提取，得到支撑集以及查询集的特征信息；S33、分别对每个任务构造度量空间；S34、基于每个任务的度量空间、所述支撑集以及查询集的特征信息，得到多个任务的分类结果。3.根据权利要求2所述的方法，其特征在于，所述S33中的分别对每个任务构造度量空间包括：分别对每个任务进行随机向量投影学习，得到每个任务的度量空间。4.根据权利要求3所述的方法，其特征在于，所述对每个任务进行随机向量投影学习包括：S331、采用两个独立的单层感知机，根据随机向量，分别生成参数γ
predict
和β
predict
；S332、判断每个任务的特征与现有任务的特征的差距是否超过阈值；若是，则对所述任务中的样本特征进行修改；S333、利用权重生成器，根据随机向量，生成归一化的参数γ
predict
和β
predict
。5.根据权利要求4所述的方法，其特征在于，所述S331中的参数γ
predict
和β
predict
，如下式(1)(2)所示：式(1)(2)所示：其中，
△
γ
predict
为调整前的归一化参数，c为随机向量；为单层感知机。6.根据权利要求5所述的方法，其特征在于，S332中的所述对所述任务中的样本特征进行修改，如下...
【专利技术属性】
技术研发人员：刘鹏远，胡晗，吴艺，于东，黄文源，
申请(专利权)人：北京语言大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。