一种基于细粒度硬区域挖掘用于医学图像文本对齐的算法制造技术

本发明专利技术公开了一种基于细粒度硬区域挖掘用于医学图像文本对齐的算法，与现有的跨模态单一匹配不同，本发明专利技术利用所有正区域来扩展跨模态对齐范围，使模型能够学习更鲁棒的图像表示。本发明专利技术还能够逐渐消除硬区域的模糊语义，并通过更多地关注硬区域的跨模态对齐来对更清晰划分的边界进行建模。此外，本发明专利技术通过消除报告中的语法差异来减轻图像文本对的早期对齐困难。综合实验证明了本发明专利技术在下游医学图像理解任务中的有效性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及人工智能的医学多模态学习，具体涉及一种基于细粒度硬区域挖掘策略的医学图像文本对齐算法。

技术介绍

1、近几十年来，当大规模带标签的数据集可用时，深度学习技术显着提高了医学图像的理解。然而，组装如此大的带注释数据既昂贵又耗时。作为替代方案，直接从带有医学图像的放射学报告中学习图像表征逐渐成为医学图像理解模型的主流范式，这无需任何额外的手动注释，其目的是从医生的详细病历中学习泛化的医学视觉表征，然后将学习到的表征转移到下游任务中。放射学报告包含丰富的高级语义信息，这对于学习医学图像语义至关重要。然而，与自然图像不同，考虑到病理通常只占据整个医学图像的一小部分这一限制，因此在医学领域进行跨模态全局对齐的同时，会更加关注跨模态图像文本对的细粒度对齐，这对于实现医疗精准定位病灶区域、辅助医生诊断病情至关重要。为了解决这个问题，最近已经有许多工作致力于研究更优的跨模态细粒度对齐方法。然而医学图像局部区域与报告中的句子之间没有明确的标签约束匹配，因此直接计算多模态数据之间的余弦相似度来约束局部对齐并不是最优的。受在自然语言处理(nlp)中交叉注意力的启发，本文档来自技高网...

【技术保护点】

1.一种基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：所述步骤2中的具体操作如下：引入了K个可学习的查询向量，计算查询与文本之间的余弦相似度作为权重，加权查询特征作为查询从文本中学习到的语义特征，基于L1损失实现查询特征和原始文本特征的对齐；L1损失代表平均绝对值误差损失。

3.根据权利要求1所述的基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：所述步骤3中的具体操作如下：对于包含N个区域的第i张图像，利用原始图像的第j个区域作为锚点区域，...

【技术特征摘要】

1.一种基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：所述步骤2中的具体操作如下：引入了k个可学习的查询向量，计算查询与文本之间的余弦相似度作为权重，加权查询特征作为查询从文本中学习到的语义特征，基于l1损失实现查询特征和原始文本特征的对齐；l1损失代表平均绝对值误差损失。

3.根据权利要求1所述的基于细粒度硬区域挖掘用于医学图像文本对齐的算法，其特征在于：所述步骤3中的具体操作如下：对于包含n个区域的第i张图像，利用原始图像的第j个区域作为锚点区域，计算与增强图像的第k个候选区域之间的余弦相似度得分，生成一个的原始图像到增强图像的挖掘图iim∈rn×n；定义阈值{tdown,tup}，如果介于tdown和tup之间，则认为图像的第k个区域是第j个区域的硬区域，如果大于tup代表是图像的第k个区域是第j个区域的正区域，否则小于tdown则是负区域...

【专利技术属性】
技术研发人员：乔丽红，程龙，舒禹程，栾晓，肖斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：