基于BERT模型的中医复杂体质判别方法技术

本发明专利技术公开了一种基于BERT模型的中医复杂体质判别方法，将深度学习技术应用于中医复杂体质辨识工作中，能帮助医生根据患者描述信息更方便地辨别患者中医体质。所述的方法包括：将收集到的患者症状描述文本信息预处理，处理后的文本使用BERT预训练模型进行文本表示，然后使用Bi

【技术实现步骤摘要】
基于BERT模型的中医复杂体质判别方法


[0001]本专利技术涉及深度学习
，特别是涉及对症状描述信息进行体质判的自然语言处理领域。

技术介绍

[0002]2018年，BERT模型一经问世便在NLP领域取得了重大突破，Google学者
[12]在不同的数据集上进行不同类型的NLP任务，都比之前的模型有了很大的提升，证明了BERT的泛用性。也有学者将BERT与机器学习算法在不同的数据集上进行对比实验，验证NLP任务的表现，也证明了BERT可以作为NLP任务的默认选择，自然语言处理领域迎来了全新的时代——预训练模型时代。BERT模型的表现大幅度优于之前的神经网络模型的主要原因在于，它提前在大规模的通用语料上进行预训练，并且有着上亿参数，因此该模型具有很好的迁移学习能力，能够直接应用于自然语言处理任务。
[0003]但是使用单个BERT模型也有一定的问题，针对具体的自然语言处理任务，使用单个BERT模型时其表现往往不是最优，一般在下游任务中可以与特定的神经网络模型结合使用，提高模型的性能。近些年，有不少学者尝试将BERT与一些神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT模型的中医复杂体质判别方法，其特征在于，对输入的症状描述文本进行中医体质判别，包含以下步骤：第一步：对输入的患者症状描述的中文本进行预处理，得到去除噪声信息后的中文文本；第二步：使用BERT预训练模型对第一步得到的中文文本进行词嵌入，生成词嵌入矩阵X；第三步：将生成的词嵌入矩阵X送入到Bi
‑
GRU中进行特征提取，得到浅层文本特征阵G；第四步：将文本特征矩阵G和词嵌入矩阵X进行残差连接，得到矩阵H，然后将矩阵H输入到多个胶囊网络中提取多维度文本特征，得到多个文本特征矩阵；第五步：将第四步得到的多个文本特征矩阵与X的第一维融合，然后送入到一个全连接层进行体质判别，输出患者的体质类别。2.根据权利要求1所述的基于BERT模型的中医复杂体质判别方法，其特征在于：所述的对输入的患者症状描述的中文本进行预处理，包含以下步骤：步骤2.1：去除文本中的噪声信息；步骤2.2：对去除噪声的文本使用jieba分词工具进行中文分词，以空格分隔得到文本的分词列表；步骤2.3：使用哈工大停用词表从分词列表去除停用词，输出去除停用词的分词列表。3.根据权利要求1所述的基于BERT模型的中医复杂体质判别方法，其特征在于：所述的将生成的词嵌入矩阵X送入到Bi
‑
GRU中进行特征提取。Bi
‑
GRU模型中包含了更新门u
t
，重置门r
t
，当前时刻记忆单元h
t
，候选记忆单元GRU模型更新h
t
的过程如下：更新门：u
t
＝sigmoid(W
r
[h
t
‑1，x
t
])重置门：r
t
＝sigmoid(W
r
[h
t
‑1，x
t
])候选记忆单元：当前时刻记忆单元...

【专利技术属性】
技术研发人员：刘万里，杨晓辉，李丰翼，王逸文，王泽廷，徐雷，李鑫，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：