【技术实现步骤摘要】
训练分类模型的方法和装置以及分类方法和装置
本公开涉及信息处理领域,具体涉及能够获得快速并准确地对待测试信息进行分类的分类模型的训练分类模型的方法和装置、以及能够快速并准确地对待测试信息进行分类的分类预测方法和装置。
技术介绍
当前,通常是在一个闭集上进行分类任务,即,假设拥有完备的训练数据以应对实际测试中出现的每一个待测类。但通常情况下,并不具备足够的先验知识,因此在测试过程中如果出现未包含在训练集中的未知类,不仅无法将其检测出来,还会将其错误地分类到已知类中。例如,在古文识别中,由于古文的种类繁多且数据量庞大,加之每类又经常有很多变体,所以很难搜集到所有类别的古文数据。因此,在古文识别中,经常会碰到出现未知类的情况。此时,整个分类任务不仅要能正确识别出已知类别,还要对于出现的未知类别能够加以辨别。而这类问题,正是开放集背景下要解决的问题。目前,对于开放集问题已经提出来很多种解决方法,例如基于聚类方法,基于半监督学习的分类,以及基于统计学理论的方法。而基于重建误差的识别是最流行也是准确率较高的技术之一。该算法背后的 ...
【技术保护点】
1.一种训练分类模型的方法,包括:/n样本处理步骤,针对训练集中的每个样本分别进行以下处理:/n从所述样本中提取特征;/n将所提取的特征压缩成能够表征所述样本的低维度的隐特征;/n对所述隐特征进行解压缩,从而得到解压缩后的特征;以及/n基于所述解压缩后的特征对所述样本进行重建,以得到重建后的样本;/n重建损失计算步骤,基于所述隐特征,针对所述训练集中的所有样本计算重建损失;/n类间损失计算步骤,针对所述训练集中的所有样本,计算表明不同的类别的样本之间的分离程度的类间损失;以及/n获得分类模型步骤,通过使包括所述重建损失和所述类间损失的损失函数最小,获得训练完成的分类模型。/n
【技术特征摘要】
1.一种训练分类模型的方法,包括:
样本处理步骤,针对训练集中的每个样本分别进行以下处理:
从所述样本中提取特征;
将所提取的特征压缩成能够表征所述样本的低维度的隐特征;
对所述隐特征进行解压缩,从而得到解压缩后的特征;以及
基于所述解压缩后的特征对所述样本进行重建,以得到重建后的样本;
重建损失计算步骤,基于所述隐特征,针对所述训练集中的所有样本计算重建损失;
类间损失计算步骤,针对所述训练集中的所有样本,计算表明不同的类别的样本之间的分离程度的类间损失;以及
获得分类模型步骤,通过使包括所述重建损失和所述类间损失的损失函数最小,获得训练完成的分类模型。
2.根据权利要求1所述的训练分类模型的方法,其中,
所述重建损失包括表明每个样本与其重建后的样本之间的差别的生成损失以及表明所述隐特征的分布与特定分布之间的匹配程度的隐损失。
3.根据权利要求1所述的训练分类模型的方法,其中,在所述类间损失计算步骤中,基于每个样本的隐特征计算softmax损失,作为所述类间损失。
4.根据权利要求1所述的训练分类模型的方法,还包括:
中心损失计算步骤,计算表明每个样本的隐特征与该样本所属的类的中心隐特征之间的距离的中心损失,
其中,所述损失函数还包括所述中心损失。
5.一种分类方法,包括:
提取步骤,从输入到经训练的分类模型的待测试信息中提取特征;
压缩步骤,将所提取的特征压缩成能够表征所述待测试信息的低维度的隐特征;
解压缩步骤,对所述隐特征进行解压缩,从而得到解压缩后的特征;
重建步骤,基于所述解压缩后的特征对所述待测试信息进行重建,以得到重建后的待测试信息;
判断步骤,基于所述待测试信息与所述重建后的待测试信息之间的重建损失,判断所述待测试信息是属于已知类别还是属于未知类别;以及
分类步骤,在...
【专利技术属性】
技术研发人员:庞占中,于小亿,孙俊,
申请(专利权)人:富士通株式会社,
类型:发明
国别省市:日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。