【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种医疗图像的分析方法及存储介质。
技术介绍
1、诸如clip和chatgpt等大模型是目前人工智能的研究热点。大模型，如其名，通常指包含大量参数的训练模型。它们具有强大的功能和灵活性，可以解决各种复杂的任务，从自然语言处理到复杂的游戏战略决策。这些大模型的好处在于其强大的泛化能力，可以从大量数据中学习并应用到各种不同的环境和任务中。
2、然而，在医疗图像与病例报告的多模态分析领域，大模型的训练和应用还有很大的探索空间。尽管有许多现存的模型都已经在该领域取得了一些进展，但对于特定任务而言，经过针对性训练的大模型可能会有更出色的表现。
3、clip (对比式语言－图像预训练) 是openai提出的一种大规模多模态预训练方案。其核心准则是对图像和文本的配对处理，与之配套的进一步学习训练。在我方试验中，clip在零样本分类及图像文本检索方面展现出优越的性能。
4、在clip的基础上，微软研究院尝试利用大量pubmed central文章里的图像－标题对来训练一个专注于生物医学领域的biomedclip，通过精心设计的文本编码器和训练策略，biomedclip在文本－图像检索、零样本分类、视觉问题回答等任务上均取得了优越性能。
技术实现思路
1、本专利技术提供一种医疗图像的分析方法及存储介质，用以解决现有病例分析不准确，训练成本高以及无法满足临床实际需求的问题。
2、为了解决上述技术问题，本专利技术公开了如下技
3、本专利技术提供一种医疗图像的分析方法，包括病例数据采集步骤，特征提取步骤以及模型训练步骤。
4、所述病例数据采集步骤用以采集至少一组病例数据，每一组病例数据包括彼此对应的一病例报告及一医疗图像；将同属一组的病例报告以及医疗图像记为第一文本图像对；所述特征提取步骤是利用文本编码器提取至少一病例报告的文本特征，利用图像编码器提取至少一医疗图像的图像特征；所述模型训练步骤是将n个文本特征和n个图像特征作为训练样本进行对比学习训练，n个文本特征和n个图像特征分别配对，预测n2种可能的文本图像对的相似度，该相似度转化为文本特征和图像特征之间的余弦相似度，获得一个clip模型。
5、进一步地，在所述病例数据采集步骤与所述特征提取步骤之间，还包括数据增强步骤，所述数据增强步骤是对每一组病例数据中的病例报告及医疗图像进行数据增强处理；随机选择被增强后的一病例报告及一医疗图像记为第二文本图像对。
6、进一步地，所述数据增强步骤包括图像裁剪步骤以及插值处理步骤。
7、所述图像裁剪步骤是在一医疗图像上随机选择一个矩形区域，裁剪出一个矩形图像，该矩形区域与该医疗图像的面积比在0.9-1.0之间，该矩形区域的长
8、宽比在0.75到1.33之间；所述插值处理步骤是将所述矩形图像的尺寸放大至与该医疗图像一致，将被裁剪的图像进行双三次插值处理，获得多个被增强的图像。
9、进一步地，所述数据增强步骤还包括翻译步骤，所述翻译步骤是利用gpt 3.5模型对病例报告进行翻译，改变随机种子翻译5次，获得5个英文文本。
10、进一步地，在所述特征提取步骤与所述模型训练步骤之间，还包括初始化步骤，所述初始化步骤是将biomedclip大模型开源的预训练权重加载至未经训练的所述clip模型进行初始化处理。
11、进一步地，在所述模型训练步骤之后，还包括如下步骤文本构建步骤，图像采集步骤以及零样本分类步骤。
12、所述文本构建步骤是根据任务需求构建两种以上的描述文本，利用所述文本编码器提取每种描述文本对应的文本特征；所述图像采集步骤用以采集第二医疗图像，利用图像编码器提取该第二医疗图像的图像特征；所述零样本分类步骤是将所述描述文本对应的文本特征以及所述第二医疗图像的图像特征录入至所述clip模型，计算所述描述文本对应的文本特征以及所述第二医疗图像的图像特征的余弦相似度，余弦相似度最大的文本特征对应的类别即为所述第二医疗图像的分类结果。
13、进一步地，在所述零样本分类步骤之后，还包括病灶标记步骤以及报告生成步骤。
14、所述病灶标记步骤是基于clip surgery方法，根据所述第二医疗图像的类别对所述第二医疗图像进行病灶标记；所述报告生成步骤是根据所述零样本分类步骤的分类结果，相似度最大的文本特征对应的描述文本即为所述第二医疗图像的文本描述，根据所述第二医疗图像的文本描述生成第二病例报告。
15、进一步地，在所述报告生成步骤之后，还包括二次翻译步骤，所述二次翻译步骤是利用helsinki翻译模型将所述第二病例报告翻译为中文。
16、进一步地，所述文本编码器为自然语言处理模型；所述图像编码器为卷积神经网络模型或vision transformer模型。
17、本专利技术还提供一种存储介质，用以存储可执行程序代码；处理器用以读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行所述的医疗图像的分析方法中的至少一步骤。
18、与现有技术相比，本专利技术至少具备以下技术效果：
19、本专利技术提供一种医疗图像的分析方法，收集不同类型的医学图像数据和对应的病例报告，在特定任务上针对性进行微调训练，构建专注于该类型数据的多模态医疗大模型，以满足相应临床需求，实现更加精确的疾病诊断和评估；针对小数据集难以微调大模型的问题，我们设计了针对文本与图像配对数据的数据增强策略，同时利用biomedclip进行迁移学习，实现对clip模型在特定医学领域的有效微调和应用；不仅实现了各个数据集上的疾病零样本分类与诊断，同时在病例报告生成、疾病相关区域标记任务也完成了有效性验证，病例分析准确，训练成本低，提高了本方法在实际临床场景下的应用价值，可以帮助医生和患者快速分析疾病类型、病变位置，并生成相应的病例报告。
本文档来自技高网...【技术保护点】
1.一种医疗图像的分析方法，其特征在于，包括：
2.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述病例数据采集步骤与所述特征提取步骤之间，还包括如下步骤：
3.如权利要求2所述的医疗图像的分析方法，其特征在于，
4.如权利要求2所述的医疗图像的分析方法，其特征在于，
5.如权利要求1所述的医疗图像的分析方法，其特征在于，
6.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述模型训练步骤之后，还包括如下步骤：
7.如权利要求6所述的医疗图像的分析方法，其特征在于，
8.如权利要求7所述的医疗图像的分析方法，其特征在于，
9.如权利要求1所述的医疗图像的分析方法，其特征在于，
10.一种存储介质，其特征在于，用以存储可执行程序代码；处理器读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行权利要求1-9中任一项所述的医疗图像的分析方法中的至少一步骤。
【技术特征摘要】
1.一种医疗图像的分析方法，其特征在于，包括：
2.如权利要求1所述的医疗图像的分析方法，其特征在于，在所述病例数据采集步骤与所述特征提取步骤之间，还包括如下步骤：
3.如权利要求2所述的医疗图像的分析方法，其特征在于，
4.如权利要求2所述的医疗图像的分析方法，其特征在于，
5.如权利要求1所述的医疗图像的分析方法，其特征在于，
6.如权利要求1所述的医疗图像的分析方法，其特征在于，在所...
【专利技术属性】
技术研发人员：张立箎，宋志云，袁豪磊，赵翔宇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。