一种面向医学骨科文本的文本推理方法、系统及介质技术方案

本发明专利技术公开了一种面向医学骨科文本的文本推理方法、系统及介质，本发明专利技术面向医学骨科文本的文本推理方法包括将医学骨科文本P输入面向医学骨科文本的文本推理模型获得文本推理结果，所述文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本P进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，所述文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。本发明专利技术能够利用大规模预训练模型里面学到的语法规则知识来辅助生成更加通顺的医学骨科文本表达，实现了一种可以捕获时间关联的文本信息，可实现更高的病人病历文本的诊断精度。文本的诊断精度。文本的诊断精度。

【技术实现步骤摘要】
一种面向医学骨科文本的文本推理方法、系统及介质


[0001]本专利技术涉及基于自然语言描述的医学骨科文本解析推理技术，具体涉及一种面向医学骨科文本的文本推理方法、系统及介质。

技术介绍

[0002]医学文本的解析推理作为一个自然语言处理领域的基础问题在研究领域中得到了日益增加的关注。通过一系列简短的病历文本叙述来描述病人的病情，并提出根据这些文本叙述材料进行解析推理得到一个合适的结论。近年来，基于深度学习方法的自然语言处理在医学骨科文本的研究受到越来越多的关注。电子的健康记录在医学领域上的应用越来越广泛，比如电子病历、电子版问诊记录等。医院里面每一天的电子文本记录包含了很多种类型的数据，包括医学编码、对话问诊、骨科CT文本报告记录等。其中，医学骨科文本作为追踪病人病情的重要手段之一，可以从不同时间点的骨科诊断文本数据来评估病人当前病情的情况，比如住院时间、骨头的愈合状况变化、病人复诊记录等。这些基于时间的医学骨科文本信息，可以为医学提供一种更加智能的辅助信息，帮助医生更好地判断病人的病情发展情况。
[0003]早期的研究主要集中在基于序列化(Seq2Seq)的模型上，这些基于序列化的方法旨在通过使用相关领域训练数据集从头开始训练端到端模型。一些研究侧重于开发基于手工提取的特征或者是基于规则的系统对医学骨科文本数据进行处理。近年来，因为深度学习的发展，该类问题得到了很大的进步。基于深度学习的方法利用端到端的深度神经网络的方法在图片、语音、文本等领域都获得了非常好的新效果。之前的方法大多是基于手工设计的特征来对不同医学文本进行设计，该类方法十分耗费时间，同时对该领域的知识门槛要求比较高。有一些方法是直接利用长短期记忆网络(LSTM)进行简单的编码，缺乏引入相关的外部医学知识，比如一些医学的惯用表达词汇。
[0004]近年来，在医学文本的方面有了许多的研究方法。一种直接的方法是通过引入手工设计的特征来对文本进行设计，得到的特征来用于下游的医学处理任务。这类方法主要依赖高耗时、高领域知识的专家进行人工设计，针对不同骨科专业的文本还需要有不同专业的人来专门设计，效率相对来说比较低。第二种方法是依赖基于规则来筛选合适的医学文本特征，主要依赖于各种模板来有规则地把医学专业名词和非医学名词进行划分。这种方法比较不灵活，在整体的句子语义上面往往很难得到通顺的表达。第三种方法是基于深度神网络,采用端到端的方式进行文本处理。虽然这种方法得益于深度卷积网络的深层建模能力，但缺乏引入大规模语料的模型对模型进行语义上的通顺表示，同时在一些具有时间连续性的场景下表现差强人意。目前的这些方法并没有对医学文本的专业表达和我们日常语法表达直接建立一种有效的转换方法，也并没有建立一种对时间比较敏感的方法来针对时间性要求比较强的文本(比如医学文本)。
[0005]通常，要解析推理已有的医学骨科文本数据，人类不仅需要对文本进行解析和理解语境，还需要运用相关的领域知识(比如医学背景的知识)。然而，以往的方法仅仅从简短
和有限的叙述中学习文本描述，而不适用任何没有出现在描述中的背景知识，这大大限制了模型从全局和专业角度去理解医学骨科文本。此外，目前的方法主要侧重于为单条文本去设计词级推理，而不是在词级和句子级之间架起基于时间维度的分段式推理桥梁。在医学骨科文本中，不同的词语和句子在不同的上下文和时间点是具有不同的信息量。单词和句子的重要性在很大程度上取决于基于时间维度的上下文关联。显然，单个级别的推理解析对医学骨科文本而言是不够的。

技术实现思路

[0006]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种面向医学骨科文本的文本推理方法、系统及介质，本专利技术能够利用大规模预训练模型里面学到的语法规则知识来辅助生成更加通顺的医学骨科文本表达，实现了一种可以捕获时间关联的文本信息，可实现更高的病人病历文本的诊断精度。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：
[0008]一种面向医学骨科文本的文本推理方法，包括将医学骨科文本P输入面向医学骨科文本的文本推理模型获得文本推理结果，所述文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本P进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，所述文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。
[0009]可选地，所述输入的医学骨科文本P的描述包含L个句子s
i
，每个句子包含T
i
个单词，从而得到任意第i个句子中的任意第t个单词W
it
，其中t∈[1,T]，T为第i个句子中的单词数量。
[0010]可选地，所述分词器对输入的医学骨科文本P进行分词的步骤包括：
[0011]S1)对原始的医学骨科文本P进行分词；
[0012]S2)对分词得到的所有词向量引入位置嵌入编码；
[0013]S3)将对分词得到的所有词向量与对应的位置嵌入编码直接进行矩阵相加。
[0014]可选地，步骤S2)中引入位置嵌入编码是通过向每个嵌入位置添加一个正弦曲线来实现的，且引入的位置嵌入编码的函数表达式为：
[0015][0016]上式中，PE
(pos，2i)
表示引入位置嵌入编码，pos为该词向量的位置，i为该词向量的维度，d
text
为输入的文本特征的维度。
[0017]可选地，所述知识编码器为基于转换机结构的Roberta模型，所述基于转换机结构的Roberta模型被预先基于大型专业语料库OAI和MIMIC进行预训练以捕获隐性的专业医学知识，所述的知识编码器的编码步骤包括：
[0018]S1)用WordPiece的工具包来标记一个输入的医学骨科文本描述，得到|Q|个令牌的序列；
[0019]S2)将得到的上述|Q|个令牌的序列嵌入到完成预训练的Roberta模型中，并修改Roberta模型的位置编码，得到一系列d维的令牌表示；
[0020]S3)将这些信息输入到基于转换机结构的预先训练的知识编码器中，在训练过程中对一系列的令牌表示进行微调；
[0021]S4)对所有输出取平均，以得到组合隐式知识表示。
[0022]可选地，所述文本整合器包括依次相连的双向门控编码模块、注意力模块以及双向门控解码模块，所述文本整合器的处理步骤包括：
[0023]S1)将多个病人的医学骨科文本合成一个矩阵；
[0024]S2)采用双向门控编码模块对多个时间点的医学骨科文本进行编码，其函数表达式为：
[0025]h
{1：m}
＝BiGRU
enc
(U
m
，h0)，
[0026][0027]E
enc
＝ReLU(Linear(E
U
))，
[0028]上式中，h
{1∶m}
表示第1个词到第m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向医学骨科文本的文本推理方法，其特征在于，包括将医学骨科文本P输入面向医学骨科文本的文本推理模型获得文本推理结果，所述文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本P进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，所述文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。2.根据权利要求1所述的面向医学骨科文本的文本推理方法，其特征在于，所述输入的医学骨科文本P的描述包含L个句子s
i
，每个句子包含T
i
个单词，从而得到任意第i个句子中的任意第t个单词W
it
，其中t∈[1,T]，T为第i个句子中的单词数量。3.根据权利要求1所述的面向医学骨科文本的文本推理方法，其特征在于，所述分词器对输入的医学骨科文本P进行分词的步骤包括：S1)对原始的医学骨科文本P进行分词；S2)对分词得到的所有词向量引入位置嵌入编码；S3)将对分词得到的所有词向量与对应的位置嵌入编码直接进行矩阵相加。4.根据权利要求3所述的面向医学骨科文本的文本推理方法，其特征在于，步骤S2)中引入位置嵌入编码是通过向每个嵌入位置添加一个正弦曲线来实现的，且引入的位置嵌入编码的函数表达式为：上式中，PE
(pos,2i)
表示引入位置嵌入编码，pos为该词向量的位置，i为该词向量的维度，d
text
为输入的文本特征的维度。5.根据权利要求1所述的面向医学骨科文本的文本推理方法，其特征在于，所述知识编码器为基于转换机结构的Roberta模型，所述基于转换机结构的Roberta模型被预先基于大型专业语料库OAI和MIMIC进行预训练以捕获隐性的专业医学知识，所述的知识编码器的编码步骤包括：S1)用WordPiece的工具包来标记一个输入的医学骨科文本描述，得到|Q|个令牌的序列；S2)将得到的上述|Q|个令牌的序列嵌入到完成预训练的Roberta模型中，并修改Roberta模型的位置编码，得到一系列d维的令牌表示；S3)将这些信息输入到基于转换机结构的预先训练的知识编码器中，在训练过程中对一系列的令牌表示进行微调；S4)对所有输出取平均，以得到组合隐式知识表示。6.根据权利要求1所述的面向医学骨科文本的文本推理方法，其特征在于，所述文本整合器包括依次相连的双向门控编码模块、注意力模块以及双向门控解码模块，所述文本整合器的处理步骤包括：S1)将多个病人的医学骨科文本合成一个矩阵；S2)采用双向门控编码模块对多个时间点的医学骨科文本进行编码，其函数表达式为：h
{1:m}
＝BiGRU
enc
(U
m
,h0)，
E
enc
＝ReLU(Uinear(E
U
))，上式中，h
{1:m}
表示第1个词到第m个词的隐层特征，表示所有T时刻{T}的第1个词到第m个词的隐层特征，BiGRU
enc
表示双向门控的循环单元，U
m
表示包含m个单词的文本特征矩阵，h0表示第0个词的隐层特征，为中间结果，d
{text}
...

【专利技术属性】
技术研发人员：张斌，关锦图，周杰，何秋月，李莹莹，陈健斌，
申请(专利权)人：佛山市中医院，
类型：发明
国别省市：