【技术实现步骤摘要】
本专利技术属于报告生成的，具体涉及一种基于领域知识增强的医疗影像报告自动生成方法及系统。
技术介绍
1、随着深度学习相关技术迅猛发展，视觉与语言的跨模态任务取得巨大进步，极大的推动了深度学习在医疗影像技术的应用。医疗影像技术在放射学、病理学图像等医学领域的广泛应用，为疾病的准确诊断和科学治疗提供了有力支持。医疗影像报告自动生成任务旨在通过给定的医学影像，生成符合图像内容描述的结构化的诊断报告，是一种影像图像处理和自然语言生成技术结合的新方法。自动生成医疗影像报告是改善临床放射学诊断的有效途径，不仅能够减轻经验丰富的放射科医生的负担，同时辅助缺乏经验的医生发现异常情况，从而减少误诊和漏诊的概率。
2、最近的研究方法提出将领域知识用于医学报告生成来缓解模型难以捕捉罕见且多样化的异常区域特征的问题上取得了一些成功实践。
3、2018年li y等人提出了一种新颖的混合检索生成强化代理，这是首次尝试将人类的先验知识与基于学习的医学报告生成相结合。该方法通过强化学习连接基于检索和基于学习的生成，从而实现结构化、稳健和多样化的报告生成，生成了在医学异常结果检测和最佳人类偏好方面具有高精度的稳健报告。其中，模板数据库是根据人类从现有医疗报告中收集的先验知识建立的。2020年zhang y尝试了使用具有胸部x光先验知识的胸部异常图来辅助放射学报告生成。该方法采用注意力机制和图卷积来学习图嵌入特征，利用图节点的解开特征来促进分类和报告生成。该方法证明了将图模块与先验知识相结合所带来的性能增益，从而允许发现之间的代表性特征进行
4、在现有技术中，多数模型都是通过显式或者隐式的视觉特征来生成报告或依赖于预先定义的医学术语来增强报告生成。然而，从医学报告中提取有效表示的领域知识可能面临人工工作量大的问题，且基于特定领域知识的模型在泛化到不同数据集时可能也存在挑战。此外，生成的报告在自然语言生成的评估指标具备优势的模型在临床评估指标却表现出劣势，导致医学影像文本报告的生成效率和精度较低。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于领域知识增强的医疗影像报告自动生成方法及系统，使用n-gram表示和tf-idf算法相结合的方式，获取与当前图像和报告直接相关的统一领域知识，不仅提高了应用在不同数据集的泛化能力，同时能够使得模型利用统一的领域知识能够学习到更多有用的图像区域特征以生成具有高临床准确性的影像报告。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种基于领域知识增强的医疗影像报告自动生成方法，包括下述步骤：
4、对数据集进行预处理，所述数据集包括报告文本数据和医疗影像数据；
5、利用先验知识探索模块提取报告文本数据的语料特征，将语料特征筛选后，获得统一的领域先验知识集；所述语料特征包括候选的一元领域知识和候选的二元领域知识；
6、利用视觉特征提取模块提取医疗影像数据的视觉特征，获得视觉特征信息；
7、利用文本特征编码模块对领域先验知识集进行向量化和嵌入处理，获取语义特征信息；
8、在图像处理模块中，采用图文对应的方式对视觉特征信息与语义特征信息进行对应处理，获取融合领域知识的视觉特征；在双向对齐关注模块中，对视觉特征信息与语义特征信息进行对齐关注处理，获取对齐增强的视觉文本特征；
9、通过使用不同的权重参数，将融合领域知识的视觉特征和对齐增强的视觉文本特征进行线性加权求和，作为编码器的总输出结果；将总输出结果输入解码器，经过计算损失后，获取预测的医疗影像报告。
10、作为优选的技术方案，所述利用先验知识探索模块提取报告文本数据的语料特征，包括以下步骤：
11、将报告文本数据切分为单词，针对停顿词语进行过滤，获得语料库；
12、将语料库划分为n元集合，计算n元集合中的每一个n元的tf-idf分数，对tf-idf分数进行逆序排序，并选择前k个n元作为先验知识，获取语料特征；
13、其中，将n设置为1时，获取的语料特征为候选的一元领域知识，将n设置为2时，获取的语料特征为候选的二元领域知识。
14、作为优选的技术方案，所述tf-idf分数计算，如下式：
15、
16、其中，ni，j表示第i个词wi在第j个报告rj中出现的频率，|r|表示报告语料库中报告的数量，{j：wi∈rj}|表示包含wi的报告数量。
17、作为优选的技术方案，所述将语料特征筛选，具体为：
18、将候选的一元领域知识和候选的二元领域知识合并，获取合并的语料特征集；
19、利用医学主题词语料库和设定的词频阈值对合并的语料特征集进行过滤和最终筛选。
20、作为优选的技术方案，所述视觉特征提取模块包括预训练的深度神经网络；
21、利用预训练的深度神经网络生成视觉特征信息，所述视觉特征信息包括块特征和平均特征；
22、所述块特征保留了影像中每个位置的特征，所述平均特征是对整个影像的全局特征的平均值。
23、作为优选的技术方案，所述向量化和嵌入处理，具体为：使用clinicalbert对领域先验知识集处理为多维向量，并将分类标记cls嵌入多维向量，获取词嵌入序列。
24、作为优选的技术方案，所述双向对齐关注模块的核心组件包括多头注意力机制和前馈神经网络。
25、作为优选的技术方案，所述双向对齐关注模块包括后验知识探索模块和先验知识对齐模块；
26、后验知识探索模块使用视觉特征信息v查找最相关的语义特征信息对不相关的领域知识进行过滤，使用所关注的领域知识来获取疾病相关的视觉特征先验知识对齐模块使用语义特征信息t作为查询来查找视觉特征信息v中最相关的视觉区域v′，使用疾病相关的视觉特征来查找最相关的领域知识t′；
27、将疾病相关的视觉特征和对应最相关的领域知识t′连本文档来自技高网...
【技术保护点】
1.基于领域知识增强的医疗影像报告自动生成方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述利用先验知识探索模块提取报告文本数据的语料特征，包括以下步骤：
3.根据权利要求2所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述TF-IDF分数计算，如下式：
4.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述将语料特征筛选，具体为：
5.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述视觉特征提取模块包括预训练的深度神经网络；
6.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述向量化和嵌入处理，具体为：使用ClinicalBERT对领域先验知识集处理为多维向量，并将分类标记CLS嵌入多维向量，获取词嵌入序列。
7.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述双向对齐关注模块的核心组件包括多头注意力机制和前馈神
8.根据权利要求7所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述双向对齐关注模块包括后验知识探索模块和先验知识对齐模块；
9.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，在计算损失时，采用交叉熵损失LCE，如下式：
10.基于领域知识增强的医疗影像报告自动生成系统，其特征在于，应用于权利要求1-7中任一项所述的基于领域知识增强的医疗影像报告自动生成方法，包括预处理模块，先验知识探索模块、视觉特征提取模块、文本特征编码模块、图像处理模块、双向对齐关注模块以及报告生成模块；
...【技术特征摘要】
1.基于领域知识增强的医疗影像报告自动生成方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述利用先验知识探索模块提取报告文本数据的语料特征，包括以下步骤：
3.根据权利要求2所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述tf-idf分数计算，如下式：
4.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述将语料特征筛选，具体为：
5.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述视觉特征提取模块包括预训练的深度神经网络；
6.根据权利要求1所述基于领域知识增强的医疗影像报告自动生成方法，其特征在于，所述向量化和嵌入处理，具体为：使用clinicalbert对领域先验知识集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。