医学知识增强的胸片自动诊断系统技术方案

本发明专利技术涉及智能系统技术领域，提出一种医学知识增强的胸片自动诊断系统，该系统摆阔第一模块，被配置为提供知识增强的文本编码器φ

【技术实现步骤摘要】
医学知识增强的胸片自动诊断系统


[0001]本专利技术总的来说来说涉及智能系统
具体而言，本专利技术涉及一种医学知识增强的胸片自动诊断系统。

技术介绍

[0002]近年来，基础模型(Foundation Models)在计算机视觉与自然语言理解领域取得了巨大的成功，证明了其强大的特征迁移泛化能力。然而在医学领域的基础模型应用上，虽然有部分基于图文预训练模型的研究，其整体的发展仍然落后。这是因为理解和建模临床报告中复杂的专业概念以及细粒度的长尾识别问题需要模型能够理解临床专业知识，而现有的模型往往未考虑这一点。
[0003]具体来说，现有技术中针对胸片自动诊断系统，Ekin Tiu等人提出一种基于图像
‑
文本对比学习的自监督预训练模型(Expert
‑
level detection of pathologies from unannotated chest X
‑
ray images via self
‑
supervised learning)，其在预训练阶段利用胸片和诊断报告直接进行修比学习，之后在下游任务上可以实现零样本的多标签分类任务。该论文虽然通过图文预训练初步实现了胸片自动诊断，然而由于没有考虑到医疗基础模型对专业知识的需求，因此仍存在很大的提升空间。
[0004]申请人经研究发现，现有技术中胸片自动诊断系统存在的问题包括：未结合专业医疗知识，对于影像报告中复杂的专业术语的理解，疾病的诊断，都需要高度专业的知识辅助，而目前的预训练模型都没有考虑在表征学习中融合专家知识；应用范围受限，目前的方法仅基于影像和诊断报告进行训练，其应用范围也仅限于报告中涉及到的疾病，无法泛化到其它的细粒度的疾病诊断任务上。

技术实现思路

[0005]为至少部分解决现有技术中的上述问题，本专利技术提出一种医学知识增强的胸片自动诊断系统，包括：
[0006]第一模块，被配置为提供知识增强的文本编码器φ
text
，其根据医疗知识库来进行构造，其中所述文本编码器φ
text
被配置为进行第一阶段预训练；
[0007]第二模块，被配置为提供图像编码器φ
image
，其被配置为于第一阶段预训练后的文本编码器φ
text
进行对比学习；以及
[0008]第三模块，被配置为提供疾病查询网络φ
DQN
，其被配置为进行疾病预测，其中图像编码器φ
image
、第一阶段预训练后的文本编码器φ
text
以及疾病查询网络φ
DQN
被配置为进行第二阶段预训练。
[0009]在本专利技术一个实施例中规定，所述医学知识增强的胸片自动诊断系统被配置为执行下列动作：
[0010]将待诊断胸片图像输入第二阶段预训练后的图像编码器φ
image
以生成待诊断图像特征编码；
[0011]将待诊断疾病名称输入第二阶段预训练后的文本编码器φ
text
中以生成待诊断疾病名称编码；以及
[0012]将所述待诊断图像特征编码以及所述待诊断疾病名称编码输入第二阶段预训练后的疾病查询网络φ
DQN
中以生成疾病预测以及病灶定位。
[0013]在本专利技术一个实施例中规定，根据医疗知识库构造知识增强的文本编码器φ
text
包括：
[0014]对医疗知识库进行预处理，其中包括从医疗知识库中提取医学实体，所述医学实体的表达方式包括实体名称、实体定义以及实体间关系；
[0015]根据所述医学实体的表达方式构造正负样本对，其中根据同一医学实体的不同表达方式形成正样本对，并且根据不同医学实体的表达方式形成负样本对；以及
[0016]由文本编码器对所述正负样本对进行编码，并且进行对比学习训练，其中通过对比损失进行监督以生成知识增强的文本编码器φ
text
。
[0017]在本专利技术一个实施例中规定，对知识增强的文本编码器φ
text
进行第一阶段预训练包括：
[0018]根据所述对比损失结合深度学习梯度下降算法对所述知识增强的文本编码器φ
text
进行第一阶段预训练。
[0019]在本专利技术一个实施例中规定，对图像编码器φ
image
、第一阶段预训练后的文本编码器φ
text
进行对比学习，并且通过疾病查询网络φ
DQN
进行疾病预测包括下列步骤：
[0020]将报告文本转化为医学实体的序列，医学实体的序列包括医学实体及其分类，其中医学实体的分类包括解剖学位置、观察存在、观察不存在以及观察不确定，在此术语“解剖学位置”是指器官或位置的实体(例如“肺”)，术语“观察”是指疾病或症状(例如“肺炎”)。
[0021]统计医学实体的观察分类形成查询疾病集合Q；
[0022]以x
i
表示图像，以t
i
表示与图像x
i
对应的报告文本的序列；
[0023]由图像编码器φ
image
对图像x
i
进行编码，表示为下式：x
i
＝φ
image
(x
i
)，其中x
i
表示图像编码特征；
[0024]由第一阶段预训练后的文本编码器φ
text
对所述报告文本的序列t
i
进行编码，表示为下式：t
i
＝φ
text
(t
i
)，其中t
i
表示文本编码特征；
[0025]由第一阶段预训练后的文本编码器φ
text
对所述查询疾病集合Q进行编码，表示为下式：Q＝φ
text
(Q)，其中Q表示查询疾病集合编码特征；
[0026]将所述图像编码特征x
i
或者所述文本编码特征t
i
以及所述查询疾病集合编码特征Q输入疾病查询网络φ
DQN
中，并且由所述疾病查询网络φ
DQN
输出对查询疾病集合Q中的疾病进行预测，表示为下式：s
i
＝φ
DQN
(x
i
，t
i
，Q)，其中s
i
表示疾病预测输出；
[0027]对图像编码特征x
i
以及文本编码特征t
i
进行对比学习，并且通过对比损失L
contrastive
进行监督，其中正样本对包括同一病例的图像文本对，负样本对包括不同病例的图像文本对；
[0028]通过二元交叉熵损失L
BCE
对疾病预测输出s
i
进行监督；以及
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学知识增强的胸片自动诊断系统，其特征在于，包括：第一模块，被配置为提供知识增强的文本编码器φ
text
，其根据医疗知识库来进行构造，其中所述文本编码器φ
text
被配置为进行第一阶段预训练；第二模块，被配置为提供图像编码器φ
image
，其被配置为于第一阶段预训练后的文本编码器φ
text
进行对比学习；以及第三模块，被配置为提供疾病查询网络φ
DQN
，其被配置为进行疾病预测，其中图像编码器φ
image
、第一阶段预训练后的文本编码器φ
text
以及疾病查询网络φ
DQN
被配置为进行第二阶段预训练。2.根据权利要求1所述的医学知识增强的胸片自动诊断系统，其特征在于，该系统被配置为执行下列动作：将待诊断胸片图像输入第二阶段预训练后的图像编码器φ
image
以生成待诊断图像特征编码；将待诊断疾病名称输入第二阶段预训练后的文本编码器φ
text
中以生成待诊断疾病名称编码；以及将所述待诊断图像特征编码以及所述待诊断疾病名称编码输入第二阶段预训练后的疾病查询网络φ
DQN
中以生成疾病预测以及病灶定位。3.根据权利要求1所述的医学知识增强的胸片自动诊断系统，其特征在于，根据医疗知识库构造知识增强的文本编码器φ
text
包括：对医疗知识库进行预处理，其中包括从医疗知识库中提取医学实体，所述医学实体的表达方式包括实体名称、实体定义以及实体间关系；根据所述医学实体的表达方式构造正负样本对，其中根据同一医学实体的不同表达方式形成正样本对，并且根据不同医学实体的表达方式形成负样本对；以及由文本编码器对所述正负样本对进行编码，并且进行对比学习训练，其中通过对比损失进行监督以生成知识增强的文本编码器φ
text
。4.根据权利要求2所述的医学知识增强的胸片自动诊断系统，其特征在于，对知识增强的文本编码器φ
text
进行第一阶段预训练包括：根据所述对比损失结合深度学习梯度下降算法对所述知识增强的文本编码器φ
text
进行第一阶段预训练。5.根据权利要求1所述的医学知识增强的胸片自动诊断系统，其特征在于，对图像编码器φ
image
、第一阶段预训练后的文本编码器φ
text
进行对比学习，并且通过疾病查询网络φ
DQN
进行疾病预测包括：将报告文本转化为医学实体的序列，医学实体的序列包括医学实体及其分类，其中医学实体的分类包括解剖学位置、观察存在、观察不存在以及观察不确定；统计医学实体的观察分类形成查询疾病集合Q；以x
i
表示图像，以t
i
表示与图像x
i
对应的报告文本的序列；由图像编码器φ
image
对图像x
i
进行编码，表示为下式：x
i
＝φ
image
(x
i
)，其中x
i
表示图像编码特征；由第一阶段预训练后的文本编码器φ
text
对所述报告文本的序列t
i
进行编码，表示为下式：t
i
＝φ
text
(t
i
)，其中t
i
表示文本编码特征；
由第一阶段预训练后的文本编码器φ
text
...

【专利技术属性】
技术研发人员：王延峰，张小嫚，吴超逸，谢伟迪，张娅，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：