一种病理文本分类方法技术

本发明专利技术提供一种病理文本分类方法，包括以下步骤：S1：根据预设的数量阈值将用于训练的第一病理文本数据集的标签划分为密集标签和稀疏标签，对应组成大类标签集合和小类标签集合；S2：利用第一病理文本数据集训练预构建的密集标签预测网络和稀疏标签预测网络，得到训练好的密集标签预测网络和稀疏标签预测网络；S3：将待分类的第二病理文本数据集分别输入训练好的密集标签预测网络和稀疏标签预测网络，对应得到第一预测结果和第二预测结果；S4：将密集标签的预测结果和稀疏标签的预测结果进行融合，得到最终预测结果作为分类结果。本发明专利技术提供一种病理文本分类方法，解决了目前对于样本数据量少的病理文本的分类效果较差的问题。题。题。

【技术实现步骤摘要】
一种病理文本分类方法


[0001]本专利技术涉及文本分类的
，更具体的，涉及一种病理文本分类方法。

技术介绍

[0002]病理文本数据是通过病理诊断获取，涉及到多个环节，由于地区医院医生的差异性，再加上医学本身的特殊性，导致整体上病理文本数据不规范。病理诊断是由病理中心对送检的组织进行取材
‑
包埋
‑
制片后，通过观察染色的切片做出的。送检数据由临床医院录入，但各医院录入文字风格等都不是统一的，属于非结构化数据。病理文本数据，包括病人信息、医院科室、检查项目、送检部位、肉眼所见、诊断信息等，由于其共同特征：数据来源不同、相对不规范、长短不一、中英文结合、含有特殊含义、医学专有名词、语义信息弱(含有一定的语义信息)，导致对病理文本的多标签分类很难进行。
[0003]不同的病理发生概率不同，病理发生概率越高，样本量就越大，反之越少，因此医院病理中心所能得到的病理文本数据往往是不均衡的。目前较常见的是通过神经网络分类模型对病理文本进行分类，那些高发病症凭借样本量大的优势，其语义特征能够被充分学习到，往往能得到一个不错的分类效果。但是病理文本数据集中不可避免地会混入一些语义信息弱且样本数据量少的病理文本数据，这些数据的自身特征很难得到充分学习，就容易造成误判或者漏判，分类效果较差。

技术实现思路

[0004]本专利技术为克服目前对于样本数据量少的病理文本的分类效果较差的技术缺陷，提供一种病理文本分类方法。
[0005]为解决上述技术问题，本专利技术的技术方案如下：
[0006]一种病理文本分类方法，包括以下步骤：
[0007]S1：根据预设的数量阈值将用于训练的第一病理文本数据集的标签划分为密集标签和稀疏标签，对应组成大类标签集合和小类标签集合；
[0008]S2：利用第一病理文本数据集训练预构建的密集标签预测网络和稀疏标签预测网络，得到训练好的密集标签预测网络和稀疏标签预测网络；
[0009]S3：将待分类的第二病理文本数据集分别输入训练好的密集标签预测网络和稀疏标签预测网络，对应得到第一预测结果和第二预测结果；
[0010]第一预测结果包括密集标签的预测结果和小类标签集合的预测结果；
[0011]第二预测结果包括稀疏标签的预测结果和大类标签集合的预测结果；
[0012]S4：将密集标签的预测结果和稀疏标签的预测结果进行融合，得到最终预测结果作为分类结果。
[0013]上述方案中，通过将标签划分为大类标签集合和小类标签集合，并利用密集标签预测网络和稀疏标签预测网络分别对病理文本进行分类预测，从而将样本数据少的问题转移到稀疏标签预测网络中解决，最后根据两个预测网络的预测结果得到准确的最终预测结
果，提升了病理文本的分类效果。
[0014]优选的，步骤S1中，统计第一病理文本数据集中标签的数量以及各个标签所对应的样本数量，将样本数量少于数量阈值的标签划分为稀疏标签，组成小类标签集合，将样本数量不少于数量阈值的标签划分为密集标签，组成大类标签集合。
[0015]优选的，所述密集标签预测网络包括第一预训练语言模型、注意力模块、卷积网络模块和第一多层感知机；
[0016]首先将病理文本输入第一预训练语言模型，输出病理文本词向量，再将病理文本词向量输入注意力模块，得到注意力表示的词向量特征；将词向量特征输入卷积网络模块，使用四层卷积层作特征提取，每层卷积层提取的特征作为下一层的输入，将四层卷积层提取的特征进行融合得到融合词向量，最后通过多层感知机将融合词向量转换为对应标签的预测得分。
[0017]优选的，所述卷积网络模块为多字符特征卷积融合模块，用于根据维度为D的词向量特征依次提取得到大小均为L*D的单字符词向量、双字符词向量、三字符词向量和四字符词向量，最后将大小均为L*D的单字符词向量、双字符词向量、三字符词向量和四字符词向量融合得到大小为L*D的多字符特征融合词向量；L为最大句子长度。
[0018]优选的，所述稀疏标签预测网络包括第二预训练语言模型和第二多层感知机；
[0019]在将病理文本输入第二预训练语言模型之前，还包括：根据待输入的病理文本和标签的语义关系设置一个或多个相应的提示学习模板，在提示学习模板中添加待输入的病理文本；
[0020]所述提示学习模板为取材T具体病症：A；其中，T为输入的病理文本，A为待预测的文本答案；
[0021]在提示学习模板中添加待输入的病理文本后输入第二预训练语言模型，使用第二预训练语言模型对其进行编码得到所要预测答案的词向量，不同答案的词向量分别输入第二多层感知机，得到对应标签的预测得分。
[0022]优选的，提示学习模板的数量为三个，其区别在于预留的待预测的文本答案的字符长度不同，分别为2、3、4个字符长度。
[0023]优选的，还包括将标签的预测得分转化为标签的预测概率：
[0024][0025]其中，y
i
表示第i个标签的预测得分。
[0026]优选的，所述密集标签预测网络采用交叉熵作为损失函数L1：
[0027][0028]其中，m+1为密集标签预测网络中需要预测的标签类别数目，包括m个密集标签和1个小类标签集合。
[0029]优选的，所述稀疏标签预测网络采用交叉熵作为损失函数L2：
[0030][0031]其中，n+1为稀疏标签预测网络中需要预测的标签类别数目，包括n个稀疏标签和1个大类标签集合。
[0032]优选的，总损失函数L3为密集标签预测网络和稀疏标签预测网络的损失相加：
[0033]L3＝L1+L2
[0034]其中，L1为密集标签预测网络的损失函数，L2为稀疏标签预测网络的损失函数。
[0035]与现有技术相比，本专利技术技术方案的有益效果是：
[0036]本专利技术提供了一种病理文本分类方法，通过将标签划分为大类标签集合和小类标签集合，并利用密集标签预测网络和稀疏标签预测网络分别对病理文本进行分类预测，从而将样本数据少的问题转移到稀疏标签预测网络中解决，最后根据两个预测网络的预测结果得到准确的最终预测结果，提升了病理文本的分类效果。
附图说明
[0037]图1为本专利技术的技术方案实施步骤流程图；
[0038]图2为本专利技术中密集标签预测网络和稀疏标签预测网络的训练流程图；
[0039]图3为本专利技术中密集标签预测网络和稀疏标签预测网络的预测流程图；
[0040]图4为本专利技术中多字符特征卷积融合模块的网络结构示意图。
具体实施方式
[0041]附图仅用于示例性说明，不能理解为对本专利的限制；
[0042]为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0043]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0044]下面结合附图和实施例对本专利技术的技术方案做进一步的说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种病理文本分类方法，其特征在于，包括以下步骤：S1：根据预设的数量阈值将用于训练的第一病理文本数据集的标签划分为密集标签和稀疏标签，对应组成大类标签集合和小类标签集合；S2：利用第一病理文本数据集训练预构建的密集标签预测网络和稀疏标签预测网络，得到训练好的密集标签预测网络和稀疏标签预测网络；S3：将待分类的第二病理文本数据集分别输入训练好的密集标签预测网络和稀疏标签预测网络，对应得到第一预测结果和第二预测结果；第一预测结果包括密集标签的预测结果和小类标签集合的预测结果；第二预测结果包括稀疏标签的预测结果和大类标签集合的预测结果；S4：将密集标签的预测结果和稀疏标签的预测结果进行融合，得到最终预测结果作为分类结果。2.根据权利要求1所述的一种病理文本分类方法，其特征在于，步骤S1中，统计第一病理文本数据集中标签的数量以及各个标签所对应的样本数量，将样本数量少于数量阈值的标签划分为稀疏标签，组成小类标签集合，将样本数量不少于数量阈值的标签划分为密集标签，组成大类标签集合。3.根据权利要求1所述的一种病理文本分类方法，其特征在于，所述密集标签预测网络包括第一预训练语言模型、注意力模块、卷积网络模块和第一多层感知机；首先将病理文本输入第一预训练语言模型，输出病理文本词向量，再将病理文本词向量输入注意力模块，得到注意力表示的词向量特征；将词向量特征输入卷积网络模块，使用四层卷积层作特征提取，每层卷积层提取的特征作为下一层的输入，将四层卷积层提取的特征进行融合得到融合词向量，最后通过多层感知机将融合词向量转换为对应标签的预测得分。4.根据权利要求3所述的一种病理文本分类方法，其特征在于，所述卷积网络模块为多字符特征卷积融合模块，用于根据维度为D的词向量特征依次提取得到大小均为L*D的单字符词向量、双字符词向量、三字符词向量和四字符词向量，最后将大小均为L*D的单字符词向量、双字符词...

【专利技术属性】
技术研发人员：蔡念，赵铭恒，田寅峰，欧阳文生，苏志孟，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：