文本分类模型的系统及其训练方法技术方案

本发明专利技术提供了一种文本分类模型的系统，用于文本的多层级分类，文本与至少一个元信息相关联，包括：输入层，用于接收文本和至少一个元信息；表示层，用于根据文本和至少一个元信息产生文本的文本表示，文本表示包括文本语义表示和文本元信息表示；多个特征层，每个特征层用于从文本表示提取相应层级的分类特征；输出层，用于根据分类特征产生文本的多层级分类标签。本发明专利技术还提供了一种用于训练多层级文本分类模型的训练方法。

The system of text classification model and its training method

【技术实现步骤摘要】
文本分类模型的系统及其训练方法
本公开涉及计算机
，更具体地，涉及一种文本分类模型的系统及其训练方法。
技术介绍
如今互联网上囊括了海量的信息，如何在不同粒度上合理安排并利用这些数据，以达到不同的目标是一项有挑战并意义非凡的工作。一般而言，想要达到这种目标通常是使用不同粒度的标签，即多层级分类系统对信息进行归类整合，并在使用时根据需求结合相应粒度的标签来检索对应的信息。例如，在一个三级的文本分类体系中，一级标签作为一个粗粒度标签来对全站内容进行领域的归档整合作用，方便观察与分析站内内容的整体分布情况。二级标签作为相对一级粒度细一些的标签，起到区分每个领域主要的细分方向的作用。三级标签作为这个体系下最小的粒度，主要起到对文本细节信息进行刻画的作用，比如，同为小说，到底是武侠小说还是言情小说，这种维度的信息都会在三级标签上进行刻画。在知乎的业务场景中，文本(例如，问题标题、问题描述、回答)具有用户或管理员编辑的元信息(例如，话题)，其反映出文本的上位概念，是较为准确的先验信息，这种元信息本身蕴含着可以用于文本分类的概念信息。然本文档来自技高网...

【技术保护点】
1.一种文本分类模型的系统，用于文本的多层级分类，所述文本与至少一个元信息相关联，包括：/n输入层，用于接收所述文本和所述至少一个元信息；/n表示层，用于根据所述文本和所述至少一个元信息产生所述文本的文本表示，所述文本表示包括文本语义表示和文本元信息表示；/n多个特征层，每个特征层用于从所述文本表示提取相应层级的分类特征；/n输出层，用于根据所述分类特征产生所述文本的多层级分类标签。/n

【技术特征摘要】
1.一种文本分类模型的系统，用于文本的多层级分类，所述文本与至少一个元信息相关联，包括：
输入层，用于接收所述文本和所述至少一个元信息；
表示层，用于根据所述文本和所述至少一个元信息产生所述文本的文本表示，所述文本表示包括文本语义表示和文本元信息表示；
多个特征层，每个特征层用于从所述文本表示提取相应层级的分类特征；
输出层，用于根据所述分类特征产生所述文本的多层级分类标签。


2.如权利要求1所述的系统，其中，所述元信息是所述文本的话题标签。


3.如权利要求1所述的系统，其中，所述文本元信息表示至少部分地基于元信息的语义表示、所述元信息的语义表示和所述文本语义表示之间的相关度、以及所述元信息与所述文本的其他元信息之间的相关度而产生。


4.如权利要求1所述的系统，其中，所述文本的语义表示和所述元信息的语义表示基于BERT模型而产生。


5.如权利要求1所述的系统，其中，所述多个特征层是依次连接的全连接层，每个特征层还连接到所述表示层，以接收所述文本语义表示和所述文本元信息表示。


6.一种用于训练多层级文本分类模型的训练方法，所述多层级文本分类模型具有多个特征层，其中每个特征层用于提取相应层级的分类特征，所述方法包括：基于损失函数调整所述多个特征层的参数，所述损失函数包括层内损失和层间损失。


7.如权利要求6所述的方法，其中，训练数据包括文本的文本表示、所述文本的粗分类标签和细分类标签，所述文本表示包括文本语义表示和文本元信息表示。


8.如权利要求6所述的方法，其中，所述层内损失根据下式计算：
lossln＝-(ytruth*log(ypred)+λ(1-ytruth)*log(1-ypred))
其中，lossln是层内损失，ytruth是真实值、ypred是预测值，...

【专利技术属性】
技术研发人员：刘奕志，孙付伟，薛娇，熊杰，
申请(专利权)人：智者四海北京技术有限公司，
类型：发明
国别省市：北京;11