基于细粒度对齐的单阶段医疗图像差异问答方法技术

本发明专利技术提出了一种基于细粒度对齐的单阶段医疗图像差异问答方法，实现步骤为：获取训练样本集和测试样本集；构建基于细粒度对齐的单阶段医疗图像差异问答模型并对其进行迭代训练；获取单阶段医疗图像差异问答结果。本发明专利技术构建了细粒度特征对齐模块，加强模型对图像文本粗粒度和细粒度特征感知，充分挖掘文本细粒度信息，并将文本细粒度信息与图像的细粒度信息对齐，实现了对多模态细粒度信息之间关系的建模，并构建了基于Transformer结构的单阶段医疗图像差异问答模型，保证了各个模块结构一致性，降低了多种模态特征在语义表征上的差距，有效提高了图像差异问答的准确度。

【技术实现步骤摘要】

本专利技术属于多模态学习，涉及到一种单阶段医疗图像差异问答方法，具体涉及到一种基于细粒度对齐的单阶段医疗图像差异问答方法。

技术介绍

1、图像差异问答将图像问答任务与差异检测任务结合，旨在通过模型理解在不同时间维度上的图像内容和图像内容的差异，并根据问题给出相应的答案，在视觉、文本模态理解方面需要较高的要求。主流的视觉差异问答模型采用多流网络结构，分别提取不同时间的图像特征，处理得到差异特征，提取问题文本特征，最后将多种特征融合，最后送入到解码器中生成答案。

2、医学图像在医疗领域有着重要的参考意义，是临床医生判断患者病情的重要依据。在当前社会，医疗资源仍然较为紧张，医生相较于患者供不应求，随着医疗图像问答的发展以及更加适合现实的临床诊断和复诊方案，图像差异问答被运用到了医疗领域，形成了专门的医疗图像差异问答任务，旨在对比患者不同时期的医学影像，理解问题并回答。但在现实中，医学图像每次采样的视角存在差异，图像的亮度、对比度等参数也会不同，通过像素相减的方法无法准确感知图像的变化差异，同时医学图像包含大量的信息，对于模型来说需要更细粒度的信息感知本文档来自技高网...

【技术保护点】

1.一种基于细粒度对齐的单阶段医疗图像差异问答方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的问题文本Qn和答案文本An，其中Qn包括对其中一幅图像症状和与的症状差异的询问，An包括对其中一幅图像症状的描述和对比两幅图像症状差异的说明。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的单阶段医疗图像差异问答模型构建，其中：

4.根据权利要求1所述的方法，其特征在于，步骤(3)中所述的对单阶段医疗图像差异问答模型进行迭代训练，实现步骤为：

5.根据权利要求4所述的方法，其特征在于，步骤...

【技术特征摘要】

1.一种基于细粒度对齐的单阶段医疗图像差异问答方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的问题文本qn和答案文本an，其中qn包括对其中一幅图像症状和与的症状差异的询问，an包括对其中一幅图像症状的描述和对比两幅图像症状差异的说明。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的单阶...

【专利技术属性】
技术研发人员：王义峰，王引，王笛，王泉，万波，罗雪梅，钟昊迪，李少峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：