一种医疗图像的分析方法及存储介质技术

本发明专利技术公开了一种医疗图像的分析方法，收集不同类型的医学图像数据和对应的病例报告，在特定任务上针对性进行微调训练，构建专注于该类型数据的多模态医疗大模型；针对小数据集难以微调大模型的问题，我们设计了针对文本与图像配对数据的数据增强策略，同时利用BiomedCLIP进行迁移学习，实现对CLIP模型在特定医学领域的有效微调和应用；不仅实现了各个数据集上的疾病零样本分类与诊断，同时在疾病相关区域标记、病例报告生成任务上也完成了有效性验证。本发明专利技术的优点在于病例分析准确，训练成本低，提高了本方法在实际临床场景下的应用价值，可以帮助医生和患者快速分析疾病类型、病变位置，并生成相应的病例报告。

【技术实现步骤摘要】

本专利技术涉及机器学习，尤其涉及一种医疗图像的分析方法及存储介质。

技术介绍

1、诸如clip和chatgpt等大模型是目前人工智能的研究热点。大模型，如其名，通常指包含大量参数的训练模型。它们具有强大的功能和灵活性，可以解决各种复杂的任务，从自然语言处理到复杂的游戏战略决策。这些大模型的好处在于其强大的泛化能力，可以从大量数据中学习并应用到各种不同的环境和任务中。

2、然而，在医疗图像与病例报告的多模态分析领域，大模型的训练和应用还有很大的探索空间。尽管有许多现存的模型都已经在该领域取得了一些进展，但对于特定任务而言，经过针对性训练的大模型可能会有更出色的表现。

3、clip (对比式语言－图像预训练) 是openai提出的一种大规模多模态预训练方案。其核心准则是对图像和文本的配对处理，与之配套的进一步学习训练。在我方试验中，clip在零样本分类及图像文本检索方面展现出优越的性能。

4、在clip的基础上，微软研究院尝试利用大量pubmed central文章里的图像－标题对来训练一个专注于生物医学领域的biomedc本文档来自技高网...

【技术保护点】

1.一种医疗图像的分析方法，其特征在于，包括：

2.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述病例数据采集步骤与所述特征提取步骤之间，还包括如下步骤：

3.如权利要求2所述的医疗图像的分析方法，其特征在于，

4.如权利要求2所述的医疗图像的分析方法，其特征在于，

5.如权利要求1所述的医疗图像的分析方法，其特征在于，

6.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述模型训练步骤之后，还包括如下步骤：

7.如权利要求6所述的医疗图像的分析方法，其特征在于，

8.如权利要求7所述的医...

【技术特征摘要】

1.一种医疗图像的分析方法，其特征在于，包括：

2.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述病例数据采集步骤与所述特征提取步骤之间，还包括如下步骤：

3.如权利要求2所述的医疗图像的分析方法，其特征在于，

4.如权利要求2所述的医疗图像的分析方法，其特征在于，

5.如权利要求1所述的医疗图像的分析方法，其特征在于，

6.如权利要求1所述的医疗图像的分析方法，其特征在于，在所...

【专利技术属性】
技术研发人员：张立箎，宋志云，袁豪磊，赵翔宇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：