多模态疾病特征的提取方法及装置制造方法及图纸

本申请实施例提供了一种多模态疾病特征的提取方法及装置，该方法通过采集目标疾病的历史患者的疾病数据，对病历文本进行词句拆分，对疾病描述词句集合的疾病描述词句进行标记，对标记后的疾病描述词句集合进行词句关联，得到目标疾病的疾病文本特征，对医学检查图像进行特征提取，对多模态补充数据进行特征提取，得到目标疾病的多模态补充特征，将疾病文本特征、辅助图像特征和多模态补充特征合并，得到目标疾病的疾病特征，使得目标疾病的疾病特征更加全面丰富，并且由于疾病文本特征是通过对病历文本进行不同疾病描述维度的词句拆分、标记和关联后进行提取得到的，使得疾病文本特征更加精准，大大提高了目标疾病的疾病特征丰富性和精准性。病特征丰富性和精准性。病特征丰富性和精准性。

【技术实现步骤摘要】
多模态疾病特征的提取方法及装置


[0001]本申请涉及数据处理
，具体涉及一种多模态疾病特征的提取方法及装置。

技术介绍

[0002]人工智能技术在开展辅助诊疗、药物研发等问题的研究上，推动了医疗技术的进步，使得智能诊断能帮助医生对病人进行更全面的疾病预测，并且能够防止医生基于经验造成的漏诊问题。然而，对于同一疾病，不同患者往往具有不同的表现，某些不典型的疾病特征同样具有极大的临床参考意义，而当前基于机器学习仅仅提取某些疾病相关特征的方法标注工作耗时耗力、纳入特征十分局限，大大阻碍了模型性能及其临床应用能力的提升。因此，在辅助医生进行疾病预测上，如何进行医学数据处理，以实现精准的疾病预测，是目前亟需解决的问题。

技术实现思路

[0003]本申请实施例提供一种多模态疾病特征的提取方法及装置，以解决人工标注疾病特征导致的态疾病特征的提取效率较低的技术问题。
[0004]一方面，本申请提供一种多模态疾病特征的提取方法，包括：采集目标疾病的历史患者的疾病数据，所述疾病数据包括所述患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据；将所述病历文本按照不同疾病描述维度进行词句拆分，得到所述目标疾病的疾病描述词句集合；按照不同疾病描述维度对所述疾病描述词句集合的疾病描述词句进行标记，得到标记后的疾病描述词句集合；对所述标记后的疾病描述词句集合中不同疾病描述维度下的词句进行词句关联，得到所述目标疾病的疾病文本特征；对所述医学检查图像进行特征提取，得到所述目标疾病的辅助图像特征；对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征；将所述疾病文本特征、所述辅助图像特征和多模态补充特征合并，得到所述目标疾病的疾病特征。
[0005]一方面，本申请提供一种多模态疾病特征的提取装置，包括：采集模块，用于采集目标疾病的历史患者的疾病数据，所述疾病数据包括所述患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据；拆分模块，用于将所述病历文本按照不同疾病描述维度进行词句拆分，得到所述目标疾病的疾病描述词句集合；标记模块，用于按照不同疾病描述维度对所述疾病描述词句集合的疾病描述词句进行标记，得到标记后的疾病描述词句集合；
关联模块，用于对所述标记后的疾病描述词句集合中不同疾病描述维度下的词句进行词句关联，得到所述目标疾病的疾病文本特征；第一提取模块，用于对所述医学检查图像进行特征提取，得到所述目标疾病的辅助图像特征；第二提取模块，用于对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征；融合模块，用于将所述疾病文本特征、所述辅助图像特征和多模态补充特征合并，得到所述目标疾病的疾病特征。
[0006]一方面，本申请提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述多模态疾病特征的提取方法中的步骤。
[0007]一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多模态疾病特征的提取方法中的步骤。
[0008]本申请实施例提供了一种多模态疾病特征的提取方法及装置，该方法采集目标疾病的历史患者的疾病数据，所述疾病数据包括所述患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据；将所述病历文本按照不同疾病描述维度进行词句拆分，得到所述目标疾病的疾病描述词句集合；按照不同疾病描述维度对所述疾病描述词句集合的疾病描述词句进行标记，得到标记后的疾病描述词句集合；对所述标记后的疾病描述词句集合中不同疾病描述维度下的词句进行词句关联，得到所述目标疾病的疾病文本特征；对所述医学检查图像进行特征提取，得到所述目标疾病的辅助图像特征；对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征；将所述疾病文本特征、所述辅助图像特征和多模态补充特征合并，得到所述目标疾病的疾病特征，使得目标疾病的疾病特征更加全面丰富，并且由于疾病文本特征是通过对病历文本进行不同疾病描述维度的词句拆分、标记和关联后进行提取得到的，使得疾病文本特征更加精准，大大提高了目标疾病的疾病特征丰富性和精准性。
附图说明
[0009]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]其中：图1为一个实施例中多模态疾病特征的提取方法的流程图；图2为一个实施例中多模态疾病特征的提取装置的结构框图；图3为一个实施例中计算机设备的结构框图。
具体实施方式
[0011]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]如图1所示，在一个实施例中，提供了一种多模态疾病特征的提取方法，该多模态疾病特征的提取方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该多模态疾病特征的提取方法具体包括以下步骤：步骤102，采集目标疾病的历史患者的疾病数据，所述疾病数据包括所述患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据。
[0013]其中，目标疾病是指需要进行特征提取的疾病，例如腹痛疾病急性阑尾炎。
[0014]具体地，疾病数据可以通过授权登录EMR（Electronic Medical Record的简写，计算机化的病案系统）获取得到。疾病数据包括患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据，其中，病历文本为记录病历相关信息的自由文本，医学检查图像是指进行检查的图像，如CT图像、B超图像等，多模态补充数据是指不同模态且作为补充信息的数据，例如以语音、文本、图像等多模态形式存在的数据，更具体地，语音补充数据，例如医生查房时的语音数据，文本补充数据，例如在其它医院的病历文本数据，图像补充数据，例如排泄物图像数据。
[0015]步骤104，将所述病历文本按照不同疾病描述维度进行词句拆分，得到所述目标疾病的疾病描述词句集合。
[0016]其中，目标疾病的疾病描述词句集合是指由目标疾病的多个疾病描述词语组成的集合。
[0017]疾病描述维度是指能够表征疾病的描述维度，例如、“部位”、“症状”、“否定性修饰词”等疾病描述维度。
[0018]词句拆分是指对病历文本进行分词的处理方式。
[0019]具体可以根据预设的疾病词语字典，并按照疾病描述维度对病历文本进行词句拆分，得到目标疾病的疾病描述词句集合。例如病历文本内容为“患者半月前无明显诱因出现上腹部痛，呈阵发性绞痛，持续数分钟后，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态疾病特征的提取方法，其特征在于，所述方法包括：采集目标疾病的历史患者的疾病数据，所述疾病数据包括所述患者在第一医院的病历文本、在第一医院的医学检查图像和多模态补充数据；将所述病历文本按照不同疾病描述维度进行词句拆分，得到所述目标疾病的疾病描述词句集合；按照不同疾病描述维度对所述疾病描述词句集合的疾病描述词句进行标记，得到标记后的疾病描述词句集合；对所述标记后的疾病描述词句集合中不同疾病描述维度下的词句进行词句关联，得到所述目标疾病的疾病文本特征；对所述医学检查图像进行特征提取，得到所述目标疾病的辅助图像特征；对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征；将所述疾病文本特征、所述辅助图像特征和多模态补充特征合并，得到所述目标疾病的疾病特征。2.如权利要求1所述的多模态疾病特征的提取方法，其特征在于，每个所述疾病描述维度对应一个维度标注；所述对所述标记后的疾病描述词句集合中不同疾病描述维度下的词句进行词句关联，得到所述目标疾病的疾病文本特征，包括：分别以不同疾病描述维度下的词句作为目标词句，计算所述目标词句与各个疾病描述维度对应的维度标注的关联度，得到多个标注关联度；选取所述标注关联度大于预设阈值的所述维度标注作为目标维度标注；将所述目标维度标注对应的疾病描述维度下的词句与所述目标词句进行关联，得到所述目标疾病的疾病文本特征。3.如权利要求1所述的多模态疾病特征的提取方法，其特征在于，所述医学检查图像包括CT图像、MRI图像、B超图像、病理图像；所述对所述医学检查图像进行特征提取，得到所述目标疾病的辅助图像特征，包括：分别对所述CT图像、所述MRI图像、所述B超图像及所述病理图像进行特征提取，得到各自对应的CT图像特征、MRI图像特征、B超图像特征、病理图像特征；将所述CT图像特征、所述MRI图像特征、所述B超图像特征及所述病理图像特征合并，得到所述目标疾病的辅助图像特征。4.如权利要求3所述的多模态疾病特征的提取方法，其特征在于，所述分别对所述CT图像、所述MRI图像、所述B超图像及所述病理图像进行特征提取，得到各自对应的CT图像特征、MRI图像特征、B超图像特征、病理图像特征，包括：采用预设的DarkNet
‑
53网络模型对所述CT图像进行特征编码，得到所述CT图像特征；采用预设的金字塔模型对所述MRI图像进行特征提取，得到所述MRI图像特征；采用预设的Lasso回归模型对所述B超图像进行特征提取，得到所述B超图像特征；采用预设的CBAM
‑
CNN网络模型对所述病理图像进行特征提取，得到所述病理图像特征。5.如权利要求1所述的多模态疾病特征的提取方法，其特征在于，所述多模态补充数据包括来自所述历史患者的语音数据，所述多模态补充特征包括语音补充特征；所述对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征，包
括：将所述语音数据通过预设的语音识别模型转换为文本数据，得到文本补充数据；基于预设的文本识别方法，提取所述文本补充数据中的疾病特征，得到第一语音补充特征；采用预设的语音分类方式对所述语音数据进行疾病特征提取，得到第二语音补充特征；将所述第一语音补充特征和所述第二语音补充特征合并，得到所述目标疾病的语音补充特征。6.如权利要求1所述的多模态疾病特征的提取方法，其特征在于，所述多模态补充数据包括来自所述历史患者的文本补充数据，所述多模态补充特征包括文本补充特征；所述采集目标疾病的历史患者的疾病数据，包括：扫描所述历史患者在第二医院的纸质疾病记录文本，得到所述文本补充数据，所述第一医院和第二医院为不同医院；所述对所述多模态补充数据进行特征提取，得到所述目标疾病的多模态补充特征，包括：将所述文本补充数据按照不同疾病描述维度进行词句拆分，得到所述目标疾病的补...

【专利技术属性】
技术研发人员：于红刚，张晨霞，姚理文，
申请(专利权)人：武汉大学人民医院湖北省人民医院，
类型：发明
国别省市：