【技术实现步骤摘要】
本专利技术涉及文本分类，特别涉及一种基于多特征融合的混合神经网络慢病诊疗问题分类方法。
技术介绍
1、近年来，慢性病的增加成为了威胁人类健康的一大挑战。随着社会生活方式、饮食结构以及工作模式的改变，慢性病的患病率不断攀升。这些疾病不像传染病那样具有明显的急性特征，而是在较长的时间内逐渐发展。因此，对慢性病进行早期诊断和有效预测显得尤为重要。及时发现慢性疾病，尤其是在其早期阶段，有助于及时采取预防和治疗措施，以防止疾病进一步恶化，提高患者的生活质量。
2、然而，慢性病问题在大众中的认知和了解存在着一定的局限和偏差。很多人对这类疾病的认知不足，往往容易将慢性病与一般疾病混淆，忽视了它们的潜在危险性。现有的慢性病相关网站或平台未能满足患者的实际需求，无法根据患者提出的问题提供及时、准确的答案，这导致了患者在诊断过程中耗费了大量的时间和精力，甚至造成了误诊或延误诊治。
3、为解决这些问题，发展一种高效、高质量的医疗问答系统变得至关重要。这种系统不仅需要快速响应用户的问题，还需要准确地分类问题并提供精确的答案。因此，问题分类任务变得尤为关键。这项任务涉及将用户提出的问题自动归类到一个或多个相关类别中，从而为后续的诊断和治疗提供关键信息。通过计算机对自然语言进行理解和分类，系统可以自动将用户问题分门别类，为慢性病患者提供及时有效的帮助，减轻医患双方的负担。
4、在慢病诊疗问题分类任务方面，最初采用基于规则的方法，依赖于手动提取的特征或规则，方法难以迁移到其他领域，无法处理复杂的场景。随着慢病诊疗问题的多样
5、目前深度学习模型主要集中在基于深度学习的慢病诊疗问题分类方法。例如，卷积神经网络(cnn)和循环神经网络(rnn)等模型在诊疗问题分类任务中取得了一定的成功。但基于深度学习的方法多是采用简单的浅层深度学习模型，对文本表示能力弱、无法准确捕捉文本语义特征，导致了现有技术在实现慢病诊疗问题分类任务时的性能较低。
技术实现思路
1、本专利技术的目的在于针对现有技术在处理慢病领域诊疗问题分类上存在的主要不足，使用多特征融合联合混合神经网络模型建立的慢病诊疗问题分类模型考虑多特征融合对问题分类的影响，尤其是针对慢病诊断问题文本的复杂性和特殊性，通过利用文本字特征和词特征的融合，在模型训练中充分使用文本的多特征信息，提高了文本特征的表示能力。
2、本专利技术是通过如下措施实现的：一种基于多特征融合的混合神经网络慢病诊疗问题分类方法，其特征在于，包括：
3、采集慢病诊疗问题相关数据，进行人工标记，建立数据库；其中慢病诊疗问题相关数据是指公众(非医疗领域工作者)通过互联网发布在慢病医疗网站上关于某个主题，以获得医生回复的请求数据；
4、对数据库中的数据进行预处理，包括去除停用词和无关标点符号、删除异常样本；
5、采用多特征融合对数据库中的文本特征进行表示，可以提高文本特征表示能力。
6、通过添加注意力池化层的textcnn模型aptc，并结合多头注意力机制mha以及双向门控循环单元bi-gru构成了混合神经网络模型mha-aptc-bigru用于特征提取；
7、确定慢病诊疗问题分类模型；
8、对模型进行验证与优化，并对样本数据进行精准分类。
9、进一步地，采用多特征融合对数据库中的文本特征进行表示，包括：
10、对输入文本进行按字为单位的分词操作，得到字序列x＝x1，x2,x3,......，xn}，用xi表示第i个字，总字数为n；
11、再将xi表示成向量ui，映射到roberta模型的嵌入空间；映射过程如下所示：
12、ci＝roberta embedding(ui)，其中，ci代表第i个字的向量表示，robertaembedding是roberta的编码模块，采用12层transformer编码模块构成；
13、将每个字转换为其在roberta嵌入空间中的向量表示，如下：croberta＝[c1，c2，c3，......，cn]t∈rn×d，其中，n表示文本中字的数量，d表示字向量的维度，croberta表示n行、d列的字向量矩阵，以zc表示字向量矩阵；
14、对输入文本进行按词为单位的分词操作，得到词序列x＝{x1，x2,x3,......，xm}，用xi表示第i个词，m表示总词数；
15、在训练过程中，最小化给定中心词时预测上下文词汇的错误，通过反向传播算法更新词向量，损失函数公式为：
16、
17、其中，t代表数据库中的词汇总数，xt是中心词，xi+j是上下文词汇；
18、将单词映射到word2vec模型的词嵌入空间，映射过程如下所示；wi＝word2vecembedding(xi)，其中，wi代表第i个词的向量表示，word2vec embedding是skip-gram编码模块；通过这个操作，将每个词转换为在word2vec嵌入空间中的向量表示，如下：wword2vec＝w1，w2，......，wm]t∈rm×d，其中，m表示文本中词的数量，d表示词向量的维度，wword2vec表示m行、d列的词向量矩阵，以zw表示词向量矩阵。
19、进一步地，通过添加注意力池化层的textcnn模型aptc，并结合多头注意力机制mha以及双向门控循环单元bi-gru构成了混合神经网络模型mha-aptc-bigru用于特征提取，包括，
20、将zc、zw输入mha-aptc-bigru模型时，先分别输入到多头注意力机制mha中进行关键词加权输出得到和mc和mw；具体为：
21、将通过文本特征表示生成的向量矩阵命名为zr＝(z1，z2，.......，zn)，其中包括zr包括zc和zw；
22、通过自注意力机制，计算出单词之间的注意力权重矩阵，zi代表第i个单词的向量，z∈rn×d中n代表n个单词数，d为向量维数，注意力机制表示的计算
23、过程如下：
24、
25、其中q，k，v分别代表着向量矩阵zr映射的查询矩阵和键矩阵以及值矩阵，dk为嵌入层的输出维数，attention表示经过softmax归一化得到的注意力权重矩阵与值矩阵相乘，加权求和后得到的注意力输出；
26、使用h个注意力头，对输入矩阵x进行多头注意力计算：
27、
28、mr＝[head1，head2，......，headh]w0；
<本文档来自技高网...【技术保护点】
1.一种基于多特征融合的混合神经网络慢病诊疗问题分类方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，采用多特征融合对数据库中的文本特征进行表示，包括：
3.根据权利要求1所述方法，其特征在于，通过添加注意力池化层的TextCNN模型APTC，并结合多头注意力机制MHA以及双向门控循环单元Bi-GRU构成了混合神经网络模型MHA-APTC-BiGRU用于特征提取，包括，
4.根据权利要求1所述方法，其特征在于，采用sigmoid函数作为模型的输出函数，公式为：
5.根据权利要求1所述方法，其特征在于，采集慢病诊疗问题相关数据包括从专业慢病网站的慢病诊疗问题；
6.根据权利要求1所述方法，其特征在于，采集慢病诊疗问题相关数据，进行人工标记，建立数据库，包括：
7.根据权利要求1所述方法，其特征在于，对模型进行验证与优化，并对样本数据进行精准分类，包括选择一部分具有代表性的慢病诊疗样本作为验证样本集来对模型反复进一步检验；
8.根据权利要求1所述方法，其特征在于，还包括通过二元交叉熵函
9.根据权利要求1所述方法，其特征在于，对数据库中的数据进行预处理，包括去除停用词和无关标点符号、删除异常样本。
...【技术特征摘要】
1.一种基于多特征融合的混合神经网络慢病诊疗问题分类方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，采用多特征融合对数据库中的文本特征进行表示，包括：
3.根据权利要求1所述方法，其特征在于，通过添加注意力池化层的textcnn模型aptc，并结合多头注意力机制mha以及双向门控循环单元bi-gru构成了混合神经网络模型mha-aptc-bigru用于特征提取，包括，
4.根据权利要求1所述方法，其特征在于，采用sigmoid函数作为模型的输出函数，公式为：
5.根据权利要求1所述方法，其特征在于，采集慢病诊疗问...
【专利技术属性】
技术研发人员：秦玉华，刘畅，邵一博，梁冰雪，王文婧，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。