一种基于BGRU-Attention-CRF的Bio-NER智慧医疗分诊系统技术方案

本申请公开了一种基于BGRU

【技术实现步骤摘要】
一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统


[0001]本专利技术涉及智慧医疗
，具体涉及一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统。

技术介绍

[0002]根据2022年国家卫生局数据，我国医患的比大约是1∶1500，这远远低于欧美国家的1∶200左右。根据已有数据分析，在患者初次就诊阶段，会因为对自身的病情症状无法匹配正确的科室产生疑惑，从而耽误最佳的治疗时间。随着互联网的发展，越来越多的医院开始采用智慧医疗分诊系统缓解医疗资源的压力。国内的智慧医疗分诊系统主要通过问答系统，缩小疾病范围，最后为患者提供对应的科室。总的来说，智能分诊系统需要多轮输入，部分系统会通过命名实体识别技术(NER)对患者提供的病情资料、电子病历等信息进行关键词识别，最后将识别出的关键词与已有数据库的进行相似度匹配，从而为患者推荐相应的科室。
[0003]医疗命名实体识别技术(bio
‑
NER)是自然语言处理中的一项基本任务，其主要任务是对于医疗文本数据中的重要医学术语进行数据标注，比如症状、手术和药物等。在医疗分诊系统的实际应用中，患者往往对自己的病情描述不清，使用bio
‑
NER可以提取患者病情的关键信息，有助于进一步的病情判断。
[0004]目前，针对医疗命名实体识别技术的机器学习方法主要有HMM、CRF以及BLSTM
‑
CRF等。其中，隐马尔科夫模型(HMM)为生成式模型，下一状态的预测只依赖于上一状态的概率分布，没有融合前后文信息，条件随机场(CRF)可以计算全局最优，但是需要自己定义特征，而且训练代价大、复杂度高。BLSTM
‑
CRF通过BLSTM训练模型的转移特征融合前后文信息，再通过CRF计算最优解，但是BLSTM计算量大，训练参数多，对于长数据容易发生梯度消失，而且由于信息是时序输入，后面的信息容易覆盖前面的信息。综上，现有的医疗命名实体识别技术识别准确度有待提高。
[0005]基于此，我们提出一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统。

技术实现思路

[0006]本专利技术的目的在于克服现有技术中存在的上述问题，提供一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，解决现有智慧医疗分诊系统识别率准确率低等缺陷，有效缓解医疗资源不足的情况。
[0007]为实现上述技术目的，达到上述技术效果，本专利技术是通过以下技术方案实现：
[0008]一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，包括一种智慧医疗分诊系统和一种基于BGRU
‑
Attention
‑
CRF算法，智慧医疗分诊系统通过云服务器建立；
[0009]所述智慧医疗分诊系统包括用户模块和远程服务模块，所述远程服务模块包括文本预处理模块，特征识别模块，数据库单元模块以及科室匹配模块，所述基于BGRU
‑
Attention
‑
CRF算法位于特征识别模块中；
[0010]还包括以下步骤：
[0011]步骤201：在云端数据库储存收集过往病人的主诉信息和电子病历，进行数据预处理后，人工标注医疗命名识别类型作为原始训练集；
[0012]步骤202：对数据进行预处理，将原始训练数据按照比例分为训练集、验证集、测试集；
[0013]步骤203：构建BGRU
‑
Attention
‑
CRF神经网络，用于命名实体识别，利用测试集和验证集对神经网络进行训练；
[0014]步骤204：将命名实体传入科室匹配模块，与过往病人的主诉信息和电子病历中的关键词进行文本相似度计算，得到推荐科室。
[0015]优选地，所述用户模块为ANDROID应用程序。
[0016]基于上述技术特征，用于和云端数据库交互数据。
[0017]优选地，所述步骤203中，BGRU神经网络结构采用递归神经网络，属于RNN、LSTM的变体；BGRU网络是一种基于学习时间序列数据关系的循环结构，和采用一层双向GRU网络。
[0018]基于上述技术特征，采用一层双向GRU网络能够更加有效地捕获长文本之间的语义关系1
[0019]优选地，所述步骤203中，GRU的输入序列为{x
t
|x1，x2，...，x
n
}，隐藏层序列中间状态为最终状态为{h
t
|h1，h2，...，h
n
}；GRU网络重置门401r
t
、更新门402z
t
，输出序列的计算式子如下：
[0020]z
t
＝σ
g
(W
z
x
t
+U
z
h
t
‑1+b
z
)
[0021]r
t
＝σ
g
(W
r
x
t
+U
r
h
t
‑1+b
r
)
[0022][0023][0024]式中，x
t
为输入序列，r
t
为重置门、z
t
为更新门，
‘⊙’
为Hadamard点积，为t时刻隐藏层的中间状态，h
t
为t时刻隐藏层的最终状态，h
t
‑1为t
‑
1时刻隐藏层的最终状态，b
z
，b
r
，b
h
表示偏置项，W
z
，W
r
，W
h
，W
o
，U
z
，U
r
，U
h
表示可训练矩阵，σ
g
为sigmoid函数。
[0025]基于上述技术特征，σ
g
为sigmoid函数，表示sigmoid激活函数
[0026]优选地，所述步骤203中，在BGRU网络单元之后增加的dropout层；在dropout层后增加Multi
‑
Head Attention，多头注意力机制不仅可以更好地使得特征向量之间更好地融合，而且可以让模型关注不同子空间的信息；相当于对同一个特征空间采用不同的滤波器从而得到不同信息，输出序列的计算式子如下：...

【技术保护点】

【技术特征摘要】
1.一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，包括一种智慧医疗分诊系统和一种基于BGRU
‑
Attention
‑
CRF算法，智慧医疗分诊系统通过云服务器建立；所述智慧医疗分诊系统包括用户模块(1)和远程服务模块(2)，所述远程服务模块(2)包括文本预处理模块(21)，特征识别模块(22)，数据库单元模块(23)以及科室匹配模块(24)，所述基于BGRU
‑
Attention
‑
CRF算法位于特征识别模块(22)中；还包括以下步骤：步骤201：在云端数据库储存收集过往病人的主诉信息和电子病历，进行数据预处理后，人工标注医疗命名识别类型作为原始训练集；步骤202：对数据进行预处理，将原始训练数据按照比例分为训练集、验证集、测试集；步骤203：构建BGRU
‑
Attention
‑
CRF神经网络，用于命名实体识别，利用测试集和验证集对神经网络进行训练；步骤204：将命名实体传入科室匹配模块(24)，与过往病人的主诉信息和电子病历中的关键词进行文本相似度计算，得到推荐科室。2.根据权利要求1所述的一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，其特征在于：所述用户模块(1)为ANDROID应用程序。3.根据权利要求1所述的一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，其特征在于：所述步骤203中，BGRU神经网络结构采用递归神经网络，属于RNN、LSTM的变体；BGRU网络是一种基于学习时间序列数据关系的循环结构，和采用一层双向GRU网络。4.根据权利要求1所述的一种基于BGRU
‑
Attention
‑
CRF的Bio
‑
NER智慧医疗分诊系统，其特征在于：所述步骤203中，GRU的输入序列为{x
t
|x1，x2，...，x
n
}，隐藏层序列中间状态为最终状态为{h
t
|h1，h2，...，h
n
}；GRU网络重置门401r
t
、更新门402z
t
，输出序列的计算式子如下：z
t
＝σ
g
(W
z
x
t
+U
z
h
t
‑1+b
z
)r
t
＝σ
g
(W
r
x
t
+U
r
h
t
‑1+b
r
))式中，x
t
为输入序列，r
t
为重置门、z
t
为更新门，
‘⊙’
为Hadamard点积，为t时刻隐藏层的中间状态，h
t
为t时刻隐藏层的最终状态，h
t
‑1为t
‑
1时刻隐藏层的最终状态，b
z
，b...

【专利技术属性】
技术研发人员：吴俊宏，
申请(专利权)人：浙江远图技术股份有限公司，
类型：发明
国别省市：