信息提取方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供一种信息提取方法、装置、设备及计算机可读存储介质，该方法包括：获取目标病历图像；确定目标病历图像对应的文本信息及图像信息；根据文本信息和图像信息确定目标输入信息；将目标输入信息输入至训练好的信息提取模型的语义表征子模型，得到目标输入信息对应的语义表征信息；基于信息提取模型的解码子模型，根据语义表征信息和预设的指针信息，确定目标输出信息；在目标输出信息符合预设的输出条件时，输出目标输出信息。本申请能够提高对病历图像进行信息提取的准确性及降低对病历图像进行信息提取的成本。历图像进行信息提取的成本。历图像进行信息提取的成本。

【技术实现步骤摘要】
信息提取方法、装置、设备及计算机可读存储介质


[0001]本申请涉及信息处理
，尤其涉及一种信息提取方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]移动互联网时代下，随着智能手机的普及，移动端电子拍照和上传用户病历成为了互联网问诊的一种主要方式，用户病历是医务人员对患者疾病的发生、发展、转归，进行检查、诊断、治疗等医疗活动过程的记录，但在通过人工处理大量的病历图片时，人工成本较高以及耗时较长。目前还通过文字提取系列的预训练语言模型来对图片进行信息的提取，以减少人工成本，但该方式仍需大量的数据标注量，并且从图片信息提取过程中仅提取文本信息而未提取图片的特征，使得对病历图片的信息提取效果较差。

技术实现思路

[0003]本申请提供一种信息提取方法、装置、设备及计算机可读存储介质，旨在提高对病历图像进行信息提取的准确性及降低对病历图像进行信息提取的成本。
[0004]第一方面，本申请提供一种信息提取方法，所述信息提取方法包括以下步骤：
[0005]获取目标病历图像；
[0006]确定所述目标病历图像对应的文本信息及图像信息；
[0007]根据所述文本信息和所述图像信息确定目标输入信息；
[0008]将所述目标输入信息输入至训练好的信息提取模型的语义表征子模型，得到所述目标输入信息对应的语义表征信息；
[0009]基于所述信息提取模型的解码子模型，根据所述语义表征信息、预设的头指针信息及预设的尾指针信息，确定目标输出信息；
[0010]在所述目标输出信息符合预设的输出条件时，输出所述目标输出信息。
[0011]第二方面，本申请还提供一种信息提取装置，所述信息提取装置包括：
[0012]图像获取模块、用于获取目标病历图像；
[0013]信息提取模块、用于确定所述目标病历图像对应的文本信息及图像信息；
[0014]信息融合模块、用于根据所述文本信息和所述图像信息确定目标输入信息；
[0015]信息输入模块、用于将所述目标输入信息输入至训练好的信息提取模型的语义表征子模型，得到所述目标输入信息对应的语义表征信息；
[0016]输出信息确定模块、用于基于所述信息提取模型的解码子模型，根据所述语义表征信息、预设的指针信息，确定目标输出信息；
[0017]信息输出模块、用于在所述目标输出信息符合预设的输出条件时，输出所述目标输出信息。
[0018]第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所
述处理器执行时，实现如上述的信息提取方法的步骤。
[0019]第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的信息提取方法的步骤。
[0020]本申请提供一种信息提取方法、装置、设备及计算机可读存储介质，本申请通过根据文本信息和图像信息确定目标输入信息，以在输入至信息提取模型时能够结合病历图像的图像信息，以及根据目标输入信息确定语义表征信息后，通过解码子模型确定目标输出信息，并在目标表输出信息符合预设输出条件时，输出目标输出信息，提升信息抽取的准确性，能够更好地融合上游文本信息的生成任务和下游的命名抽取任务，无需人工标注大量的数据便能实现信息的提取，减少了人工成本。
附图说明
[0021]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本申请一实施例提供的信息提取方法的流程示意图；
[0023]图2为本申请一实施例提供的信息提取模型的示意性框图；
[0024]图3为本申请一实施例提供的信息提取装置的示意性框图；
[0025]图4为本申请一实施例涉及的计算机设备的结构示意框图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0028]本申请实施例提供一种信息提取方法、装置、计算机设备及计算机可读存储介质。其中，该信息提取方法可应用于终端设备中，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑等电子设备。也可以应用于服务器中，该服务器可以是单独的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0029]其中，本申请提供的方法用于对病历图像进行信息提取，病历图像可以是医学病历(case history)对应的照片，医学病历是医务人员对患者疾病的发生、发展、转归，进行检查、诊断、治疗等医疗活动过程的记录。也是对采集到的资料加以归纳、整理、综合分析，按规定的格式和要求书写的患者医疗健康档案。病历既是临床实践工作的总结，又是探索疾病规律及处理医疗纠纷的法律依据，是国家的宝贵财富。病历对医疗、预防、教学、科研、
医院管理等都有重要的作用。医疗工作者在进行疾病临床诊断时，病历是快速了解过往诊断的重要依据。随着电子化的病历积累，智能化地对病历理解及信息提取，可以在诸多场景如VTE风险评估、自动化保险理赔等产生实际应用价值。
[0030]目前也存在对电子医学病历进行信息提取的模型，但这些模型大多无法利用多模态信息，仅基于Bert系列的预训练语言模型的表征，在该方式下，丢弃了病历图片的图片信息、文字坐标及页面布局等信息，同时利用序列标注进行下游任务token
‑
level的分类，没有利用多模态的输出信息，从而无法发挥出预训练模型的表征能力。同时，目前的模型还依赖大量标注资源，并且章节类型扩展能力较差。本申请能够较好地解决以上问题。
[0031]下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0032]请参照图1及图2，图1为本申请的一实施例提供的信息提取方法的流程示意图，图2为本申请一实施例提供的信息提取模型的示意性框图。
[0033]如图1所示，该信息提取方法包括步骤S101至步骤S106。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息提取方法，其特征在于，包括：获取目标病历图像；确定所述目标病历图像对应的文本信息及图像信息；根据所述文本信息和所述图像信息确定目标输入信息；将所述目标输入信息输入至训练好的信息提取模型的语义表征子模型，得到所述目标输入信息对应的语义表征信息；基于所述信息提取模型的解码子模型，根据所述语义表征信息和预设的指针信息，确定目标输出信息；在所述目标输出信息符合预设的输出条件时，输出所述目标输出信息。2.如权利要求1所述的信息提取方法，其特征在于，所述基于所述信息提取模型的解码子模型，根据所述语义表征信息及预设的指针信息，确定目标输出信息，包括：将所述语义表征信息输入至所述解码子模型的第一全连接前馈神经网络层，根据预设的第一指针信息确定所述语义表征信息中起始位置至第一预设位置的第一语义信息；将所述语义表征信息输入至所述解码子模型的第二全连接前馈神经网络层，根据预设的第二指针信息确定所述语义表征信息中第二预设位置至结束位置的第二语义信息；其中，所述第二预设位置比所述第一预设位置远离所述起始位置；根据所述第一语义信息及所述第二语义信息确定目标输出信息。3.如权利要求2所述的信息提取方法，其特征在于，所述根据所述第一语义信息及所述第二语义信息确定目标输出信息，包括：在所述第一语义信息中确定第一目标位置，以及在所述第二语义信息中确定第二目标位置；基于预设的目标输出信息生成规则，根据所述第一目标位置对应的信息及所述第二目标位置对应的信息确定目标输出信息。4.如权利要求3所述的信息提取方法，其特征在于，所述在所述第一语义信息中确定第一目标位置，以及在所述第二语义信息中确定第二目标位置，包括：将所述第一语义信息中每个字符的位置逐一确定为第一目标位置，以及将所述第二语义信息中每个字符的位置逐一确定为第二目标位置。5.如权利要求1
‑
3中任一项所述的信息提取方法，其特征在于，所述在所述目标输出信息符合预设的输出条件时，输出所述目标输出信息，步骤包括：基于所述信息提取模型的线性层，确定所述目标输出信息的真实性概率信息；在所述真实性概率信息大于或等于预设概率阈值...

【专利技术属性】
技术研发人员：林桂，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：