一种基于图文识别模型的医学图像向量化方法及装置制造方法及图纸

技术编号:42457186 阅读:23 留言:0更新日期:2024-08-21 12:47
本申请提供了一种基于图文识别模型的医学图像向量化方法及装置,所述方法包括:对医学图像进行下采样,得到下采样医学图像;将所述医学图像和所述下采样医学图像输入编码结构,得到编码特征图;将所述编码特征图输入大语言模型,生成向量化信息。本申请中,通过将医学图像进行向量化,生成向量化信息作为与医学图像关联的标注信息,从而在筛选时直接通过关键词等进行筛选,无需逐个筛查。

【技术实现步骤摘要】

本申请涉及医疗器械,具体而言,涉及一种基于图文识别模型的医学图像向量化方法及装置


技术介绍

1、在整个医学图像的深度模型训练过程中,需要大量的对应类型的医学图像。但是医学图像采集过程中,往往仅采集了对应的医学图像,而无法提前对每个医学图像的具体内容进行描述。

2、这就使得使用者在对医学图像进行深度模型训练的过程中,往往需要先从整个医学图像数据库中逐个筛选,带来了繁重工作量的同时,降低了模型训练的时效性。


技术实现思路

1、本申请解决的问题是很难解决当前医学图像的深度模型训练需要逐个筛选医学图像的问题。

2、为解决上述问题,本申请第一方面提供了一种基于图文识别模型的医学图像向量化方法,包括:

3、下采样模块,其用于对医学图像进行下采样,得到下采样医学图像;

4、编码模块,其用于将所述医学图像和所述下采样医学图像输入编码结构,得到编码特征图;

5、向量化生成模块,其用于将所述编码特征图输入大语言模型,生成向量化信息。

6、本申请第二方面提供本文档来自技高网...

【技术保护点】

1.一种基于图文识别模型的医学图像向量化方法,其特征在于,包括:

2.根据权利要求1所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述对医学图像进行下采样,得到下采样医学图像之前,还包括:

3.根据权利要求2所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述样本医学图像的标注信息的生成过程包括:

4.根据权利要求3所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述整体损失的计算公式为:

5.根据权利要求1-4中任一项所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述下采样医学图像的分辨率为对应的医学图...

【技术特征摘要】

1.一种基于图文识别模型的医学图像向量化方法,其特征在于,包括:

2.根据权利要求1所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述对医学图像进行下采样,得到下采样医学图像之前,还包括:

3.根据权利要求2所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述样本医学图像的标注信息的生成过程包括:

4.根据权利要求3所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述整体损失的计算公式为:

5.根据权利要求1-4中任一项所述的基于图文识别模型的医学图像向量化方法,其特征在于,所述下采样医学图像的分辨率为对应的医学图像的1/4。

6.根据...

【专利技术属性】
技术研发人员:刘星宇张逸凌
申请(专利权)人:北京长木谷医疗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1