当前位置: 首页 > 专利查询>大连大学专利>正文

用于放射学报告生成的眼睛注视引导的跨模态对齐方法技术

技术编号:41760339 阅读:26 留言:0更新日期:2024-06-21 21:41
本发明专利技术提供一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法,步骤包括:双细粒度分支通过图像与报告之间的细粒度对齐以及图像与句子之间的细粒度对齐,从不同细粒度的跨模态比较中收集有效信息,并生成用于标签匹配的放射学报告;多任务分支从眼睛注视区域主题的跨模态对齐引入有效信息,并生成用于标签匹配的放射学报告;将双细粒度分支和多任务分支的放射学报告结果使用标签匹配机制选择最佳报告生成,再使用多分支损失融合方法对两个分支组成的报告生成模型进行训练;将医学图片输入到训练完的报告生成模型中。该方法有效结合了放射科医生的眼睛凝视区域的先验知识,提高报告生成的准确性和可解释性,减少误诊率,提高临床诊断效率。

【技术实现步骤摘要】

本专利技术属于计算机视觉及医学人工智能领域,涉及医学影像分析处理技术,具体涉及一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法


技术介绍

1、医院每天都在接收、存储和检验大量的医学图像,比如放射学和病理学图像,导致医生在分析图像这项工作上被施加了越来越大的压力。放射学报告生成技术旨在从单个提供的放射学图像产生临床准确和连贯的短语,已经引起了极大的关注并取得了显著的进步。作为一种潜在的智能辅助工具,可以减轻放射科医生的工作量,提高临床病人的护理质量。

2、尽管放射学报告生成技术在医疗行业具有巨大潜力,但它仍处于起步阶段,与其相关的研究还比较少。而且现有的数据驱动方法缺乏必要的医学先验知识,限制了它们的性能。此外,建立放射学图像和相关报告之间的全局对应关系,同时实现与先验知识和文本相关的图像之间的局部对准,仍然是一项具有挑战性的任务。为了提高放射学报告生成的准确性和可解释性,需要将适当的医学先验知识融合到报告生成过程中。

3、现有方法使用注意力机制通过疾病主题和给定图像之间的多模态交互来检测异常区域,从而使异常区域与相关疾病主题对本文档来自技高网...

【技术保护点】

1.一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤2具体包括:

3.根据权利要求2所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤3具体包括:

4.根据权利要求3所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤4具体包括:

5.根据权利要求4所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤4.1中评分过程分别用公式(11)、(12)表示,其中是p...

【技术特征摘要】

1.一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤2具体包括:

3.根据权利要求2所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,其特征在于,步骤3具体包括:

4.根据权利要求3所述的用于放射学报告生成的眼睛注视引导的跨模态对齐方法,...

【专利技术属性】
技术研发人员:樊万姝彭培爔周东生刘文飞
申请(专利权)人:大连大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1