【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种基于医学影像的答案生成方法、装置、设备及存储介质。
技术介绍
1、随着人工智能的发展，涌现出大量基于超声图像来智能检测和分析超声病灶的算法，实现了利用计算机辅助对医学图像进行病灶检测的目的。当前智能图像分析算法，几乎全部是基于超声图像和超声视频对当前视频进行分析，实现对当前视频的分析目的，数据维度比较单一。
2、然而在超声复查时，仍然需要医生对比回看病人之前的超声影像，评估病灶变化情况并评价诊疗过程，需要由经验丰富的医生处理，费时费力，不能实现完全自动化。
技术实现思路
1、本申请提供了一种基于医学影像的答案生成方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
2、根据本申请的第一方面，提供了一种基于医学影像的答案生成方法，所述方法包括：获取所述目标对象对应的目标问题，根据所述目标问题获取所述目标对象对应的第一时期医学影像和第二时期医学影像；通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征；对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息；对所述目标问题进行文本嵌入处理，得到文本嵌入特征；基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图；基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图；基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差
3、在一可实施方式中，所述通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征，包括：通过所述病灶提取模型对所述第一时期医学影像进行特征提取，获取第一原始特征，所述病灶提取模型通过训练样本对特征提取模型进行训练获得；对所述第一原始特征进行置信度排名，将排名满足置信度标准的第一原始特征确定为所述第一病灶特征；通过所述病灶提取模型对所述第二时期医学影像进行特征提取，获取第二原始特征；对所述第二原始特征进行置信度排名，将排名满足置信度标准的第二原始特征确定为所述第二病灶特征。
4、在一可实施方式中，所述对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息，包括：通过尺度不变特征变换算法对所述第一病灶特征和第二病灶特征进行病灶特征匹配，得到病灶匹配信息。
5、在一可实施方式中，所述基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图，包括：将所述第一病灶特征和所述文本嵌入特征进行拼接，得到第一时期拼接图，所述第一时期拼接图包含多个第一图节点和第一连接边；确定所述第一图节点对应的第一病灶权重和第一病灶框权重；根据所述第一病灶权重和第一病灶框权重确定所述第一图节点对应的第一节点权重；通过第一节点权重对所述第一图节点进行更新，得到第一时期病灶图；将所述第二病灶特征和所述文本嵌入特征进行拼接，得到第二时期拼接图，所述第二时期拼接图包含多个第二图节点和第二连接边；确定所述第二图节点对应的第二病灶权重和第二病灶框权重；根据所述第二病灶权重和第二病灶框权重确定所述第二图节点对应的第二节点权重；通过第二节点权重对所述第二图节点进行更新，得到第二时期病灶图。
6、在一可实施方式中，所述基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图，包括：基于所述病灶匹配信息，将所述第一更新节点和对应的第二更新节点进行差异比较，将所述第一连接边和对应的第二连接边进行差异比较，得到病灶差异图。
7、在一可实施方式中，所述基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征，包括：根据文本嵌入特征确定问题相关权重；基于问题相关权重对所述第一时期病灶图、第二时期病灶图和病灶差异图进行更新，得到对应视觉特征。
8、在一可实施方式中，所述根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案，包括：确定所述目标答案对应的词类标签；根据所述词类标签对所述视觉特征进行动态调整，得到调整特征；通过答案生成器根据所述调整特征进行答案生成，得到得到对应所述目标问题的目标答案。
9、根据本申请的第二方面，提供了一种基于医学影像的答案生成装置，所述装置包括：获取模块，用于获取所述目标对象对应的目标问题，根据所述目标问题获取所述目标对象对应的第一时期医学影像和第二时期医学影像；提取模块，用于通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征；匹配模块，用于对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息；嵌入模块，用于对所述目标问题进行文本嵌入处理，得到文本嵌入特征；更新模块，用于基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图；比较模块，用于基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图；所述提取模块，还用于基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征；生成模块，用于根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案。
10、在一可实施方式中，所述提取模块，包括：提取子模块，用于通过所述病灶提取模型对所述第一时期医学影像进行特征提取，获取第一原始特征，所述病灶提取模型通过训练样本对特征提取模型进行训练获得；排名子模块，用于对所述第一原始特征进行置信度排名，将排名满足置信度标准的第一原始特征确定为所述第一病灶特征；所述提取子模块，还用于通过所述病灶提取模型对所述第二时期医学影像进行特征提取，获取第二原始特征；所述排名子模块，还用于对所述第二原始特征进行置信度排名，将排名满足置信度标准的第二原始特征确定为所述第二病灶特征。
11、在一可实施方式中，所述匹配模块，包括：通过尺度不变特征变换算法对所述第一病灶特征和第二病灶特征进行病灶特征匹配，得到病灶匹配信息。
12、在一可实施方式中，所述更新模块，包括：拼接子模块，用于将所述第一病灶特征和所述文本嵌入特征进行拼接，得到第一时期拼接图，所述第一时期拼接图包含多个第一图节点和第一连接边；确定子模块，用于确定所述第一图节点对应的第一病灶权重和第一病灶框权重；所述确定子模块，还用于根据所述第一病灶权重和第一病灶框权重确定所述第一图节点对应的第一节点权重；更新子模块，用于通过第一节点权重对所述第一图节点进行更新，得到第一时期病灶图；所述拼接子模块，还用于将所述第二病灶特征和所述文本嵌入特征进行拼接，得到第二时期拼接图，所述第二时期拼接图包含多个第二图节点和第二连接边；所述确定子模块，还用于确定所述第二图节点对应的第二病灶权重和第二病灶框权重；本文档来自技高网...
【技术保护点】
1.一种基于医学影像的答案生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于病灶匹配信息对所述第一时期病灶图和第二时期病灶图进行差异比较，得到病灶差异图，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于第二注意力机制对所述第一时期病灶图、第二时期病灶图和病灶差异图进行特征提取，得到视觉特征，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述视觉特征进行答案生成，得到对应所述目标问题的目标答案，包括：
8.
9.一种电子设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种基于医学影像的答案生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过病灶提取模型对所述第一时期医学影像和第二时期医学影像进行特征提取，得到第一病灶特征和第二病灶特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述第一病灶特征和第二病灶特征进行特征匹配，得到病灶匹配信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于第一注意力机制对所述第一病灶特征、第二病灶特征和所述文本嵌入特征进行更新，得到第一时期病灶图和第二时期病灶图，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于病灶匹配信息对所述第一时...
【专利技术属性】
技术研发人员：李小星，陈登博，代玉婷，胡阳，丁佳，吕晨翀，
申请(专利权)人：北京医准医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。