【技术实现步骤摘要】
本专利技术属于医学影像处理，具体涉及解剖学区域引导的医学视觉-语言预训练系统。
技术介绍
1、近年来，视觉-语言预训练模型已取得令人瞩目的成功。这些模型使用数百万的网络图像-文本对进行训练，通过匹配图像与其相应的标题进行表征学习，而不需要费时费力的手动标签。在医学领域，这种模式也越来越受到关注。通过医学图文联合学习方法，从配对的放射学报告中直接学习医学影像和报告的表征，并将所学习到的表征转移到下游任务。
2、针对医学视觉语言预训练模型，一方面，考虑病理通常占据整个图像的一小部分，一些研究人员尝试引入不同的对比学习策略来学习局部表征，捕获医学图像中的细粒度语义，为后续下游任务的局部化提供便利，如医学目标检测、医学语义分割、细粒度医学问答等。在进行局部对齐时，大多研究人员采用图像块-单词的对齐方式，然而医学影像中直接切分提取的图像块既不能代表病变区域，也不能代表解剖器官；此外，单个独立的单词会拆散病灶以及与病灶相关的位置描述，这样的对齐方式缺少临床可解释性。另一方面，考虑到医学报告相对于自然图像的描述语句而言，更加专业和抽象，部...
【技术保护点】
1.一种解剖学区域引导的医学视觉-语言预训练系统，其特征在于，通过医学图文联合学习，从配对的放射学报告中学习医学多模态表征；包括：解剖学区域与报告分句对齐模块、内部表征学习强化模块、外部表征学习强化模块；其中：
2.根据权利要求1所述的医学视觉-语言预训练系统，其特征在于，所述解剖学区域与报告分句对齐模块，包含目标检测器、文本解析器、以及二者间的自动化对齐范式，具体流程为：
3.根据权利要求2所述的医学视觉-语言预训练系统，其特征在于，所述内部表征学习强化模块，利用“影像学观察”和“是否存在”信息为每张图像构造标签其中MQ为预定义的疾病类别，如...
【技术特征摘要】
1.一种解剖学区域引导的医学视觉-语言预训练系统，其特征在于，通过医学图文联合学习，从配对的放射学报告中学习医学多模态表征；包括：解剖学区域与报告分句对齐模块、内部表征学习强化模块、外部表征学习强化模块；其中：
2.根据权利要求1所述的医学视觉-语言预训练系统，其特征在于，所述解剖学区域与报告分句对齐模块，包含目标检测器、文本解析器、以及二者间的自动化对齐范式，具体流程为：
3.根据权利要求2所述的医学视觉-语言预训练系统，其特征在于，所述内部表征学习强化模块，利用“影像学观察”和“是否存在”信息为每张图像构造标签其中mq为预定义的疾病类别，如果当前图像存在疾病类别j...
【专利技术属性】
技术研发人员：李清秋，冯瑞，张玥杰，张晓波，沈全力，
申请(专利权)人：复旦大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。