本申请涉及一种短文本分类方法、系统、计算机设备及可读存储介质，其中，该短文本分类方法包括：短文本数据获取步骤，获取待分类的短文本数据；向量编码步骤，通过RoBERTa模型获取短文本数据在模型中每一层的向量表示，并将所述向量表示分别经注意力机制加权、实体向量映射得到所述短文本数据的注意向量及实体识别向量；分类标签获取步骤，拼接所述实体识别向量及所述注意向量后输入拼接向量至一TextCNN模型，所述TextCNN模型输出所述短文本数据的分类标签。通过本申请，通过在短文本分类任务中引入实体识别向量扩充短文本数据的语义信息，解决相关技术中提取短文本语义信息特征难得问题，从而提高短文本分类任务的准确率。率。率。
【技术实现步骤摘要】
短文本分类方法、系统、计算机设备和可读存储介质
[0001]本申请涉及计算机
，特别是涉及基于注意力机制的短文本分类方法、装置、系统、计算机设备和计算机可读存储介质。
技术介绍
[0002]文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。文本分类主要的解决方式有传统机器学习方法，如贝叶斯、svm等，或深度学习方法，如FastText，TextCNN等。现有的传统机器学习方法依靠人工对文本提取特征，特征的质量决定了模型的表现。而现有的针对文本分类任务的深度学习模型虽然不需要人工提取特征，但是深度学习模型依赖数据的规模，数据的规模较小时，模型得不到充分的训练和学习导致模型表现不佳。
[0003]目前短文本分类的主要问题在于：短文本的序列长度较短导致短文本的特征空间较小，提取高级语义特征相较于长文本较为困难。
[0004]目前针对相关技术中短文本分类问题，尚未提出有效的解决方案。
技术实现思路
[0005]本申请实施例提供了一种基于注意力机制的短文本分类方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中提取短文本语义信息特征难的问题。
[0006]第一方面，本申请实施例提供了一种短文本分类方法，包括：
[0007]短文本数据获取步骤，获取待分类的短文本数据；
[0008]向量编码步骤，通过RoBERTa模型获取短文本数据在模型中每一层的向量表示，并将所述向量表示分别经注意力机制加权、实体向量映射得到所述短文本数据的注意向量及实体识别向量；
[0009]分类标签获取步骤，拼接所述实体识别向量及所述注意向量后输入拼接向量至一TextCNN模型(全称Text Convolutional Neural Networks)，所述TextCNN模型输出所述短文本数据的分类标签。
[0010]在其中一些实施例中，所述向量编码步骤进一步包括：
[0011]短文本向量获取步骤，将所述短文本数据输入至所述RoBERTa模型，获取所述RoBERTa模型每一编码器层的输出，将每一编码层的输出分别经一对应的全连接层转换为向量表示，得到n个编码向量；
[0012]注意向量获取步骤，基于注意力机制确定n个注意力权重参数，将每一所述编码向量进行加权计算及加和计算，得到注意向量；
[0013]实体识别向量获取步骤，获取所述RoBERTa模型最后一编码器层的输出，经一实体全连接层将所述最后一编码层的输出映射为实体识别向量；
[0014]其中，n为所述RoBERTa模型的层数，n≥1。
[0015]在其中一些实施例中，本申请的短文本分类方法还包括：
[0016]实体标签获取步骤，将所述实体识别向量输入一CRF层(Conditional Random Field，中文称为条件随机场)计算得到所述短文本数据的实体标注结果。
[0017]在其中一些实施例中，本申请的短文本分类方法还包括：
[0018]实体参数更新步骤，采用CRF层的损失函数更新所述RoBERTa模型、所述实体全连接层及所述CRF层的参数。
[0019]在其中一些实施例中，本申请的短文本分类方法中，所述实体参数更新步骤后，还包括全局参数更新步骤，采用TextCNN模型的损失函数更新RoBERTa模型、CRF模型、TextCNN模块、每一全连接层和实体全连接层中的参数及注意力权重参数。
[0020]第二方面，本申请实施例提供了一种短文本分类系统，包括：
[0021]短文本数据获取模块，用于获取待分类的短文本数据；
[0022]向量编码模块，用于通过RoBERTa模型获取短文本数据在模型中每一层的向量表示，并将所述向量表示分别经注意力机制加权、实体向量映射得到所述短文本数据的注意向量及实体识别向量；
[0023]分类标签获取模块，用于拼接所述实体识别向量及所述注意向量后输入拼接向量至一TextCNN模型，所述TextCNN模型输出所述短文本数据的分类标签。
[0024]在其中一些实施例中，所述向量编码步骤进一步包括：
[0025]短文本向量获取模块，用于将所述短文本数据输入至所述RoBERTa模型，获取所述RoBERTa模型每一编码器层的输出，将每一编码层的输出分别经一对应的全连接层转换为向量表示，得到n个编码向量；
[0026]注意向量获取模块，用于基于注意力机制确定n个注意力权重参数，将每一所述编码向量进行加权计算及加和计算，得到注意向量；
[0027]实体识别向量获取模块，用于获取所述RoBERTa模型最后一编码器层的输出，经一实体全连接层将所述最后一编码层的输出映射为实体识别向量；
[0028]其中，n为所述RoBERTa模型的层数，n≥1。
[0029]在其中一些实施例中，本申请的短文本分类系统还包括：
[0030]实体标签获取模块，用于将所述实体识别向量输入一CRF层计算得到所述短文本数据的实体标注结果。
[0031]在其中一些实施例中，本申请实施例的短文本分类系统还包括：实体参数更新模块，用于采用CRF层的损失函数更新所述RoBERTa模型、所述实体全连接层及所述CRF层的参数。
[0032]在其中一些实施例中，每当所述实体参数更新模块后，本申请的短文本分类系统执行全局参数更新模块，所述全局参数更新模块用于采用TextCNN模型的损失函数更新RoBERTa模型、CRF模型、TextCNN模块、每一全连接层和实体全连接层中的参数及注意力权重参数。
[0033]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的短文本分类方法。
[0034]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的短文本分类方法。
[0035]相比于相关技术，本申请实施例提供的短文本分类方法、系统、计算机设备和计算机可读存储介质，具体涉及一种知识图谱技术。考虑到短文本中包含的实体类型对于短文本的类别划分具有重要的积极意义，本申请实施例通过在文本分类任务中引入实体识别向量以扩充短文本的语义信息，提高短文本分类的准确率。在此基础上，基于注意力机制对RoBERTa模型内部的信息进行有效地发掘利用，进一步挖掘短文本的深度语义。
[0036]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0037]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0038]图1是根据本申请实施例的短文本分类方法的流程图；
[0039]图2是根据本申请实施例的短文本分类本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种短文本分类方法，其特征在于，包括：短文本数据获取步骤，获取待分类的短文本数据；向量编码步骤，通过RoBERTa模型获取短文本数据在模型中每一层的向量表示，并将所述向量表示分别经注意力机制加权、实体向量映射得到所述短文本数据的注意向量及实体识别向量；分类标签获取步骤，拼接所述实体识别向量及所述注意向量后输入拼接向量至一TextCNN模型，所述TextCNN模型输出所述短文本数据的分类标签。2.根据权利要求1所述的短文本分类方法，其特征在于，所述向量编码步骤进一步包括：短文本向量获取步骤，将所述短文本数据输入至所述RoBERTa模型，获取所述RoBERTa模型每一编码器层的输出，将每一编码层的输出分别经一对应的全连接层转换为向量表示，得到n个编码向量；注意向量获取步骤，基于注意力机制确定n个注意力权重参数，将每一所述编码向量进行加权计算及加和计算，得到注意向量；实体识别向量获取步骤，获取所述RoBERTa模型最后一编码器层的输出，经一实体全连接层将所述最后一编码层的输出映射为实体识别向量；其中，n为所述RoBERTa模型的层数，n≥1。3.根据权利要求1或2所述的短文本分类方法，其特征在于，还包括：实体标签获取步骤，将所述实体识别向量输入一CRF层计算得到所述短文本数据的实体标注结果。4.根据权利要求3所述的短文本分类方法，其特征在于，还包括：实体参数更新步骤，采用CRF层的损失函数更新所述RoBERTa模型、所述实体全连接层及所述CRF层的参数。5.根据权利要求4所述的短文本分类方法，其特征在于，所述实体参数更新步骤后，还包括全局参数更新步骤，采用TextCNN模型的损失函数更新RoBERTa模型、CRF模型、TextCNN模块、每一全连接层和实体全连接层中的参数及...
【专利技术属性】
技术研发人员：刘伟硕，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。