基于多模态的眼部疾病识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于多模态的眼部疾病识别方法、装置、设备及存储介质，其中方法包括：输入眼底图像数据至预先训练好的图像编码器进行特征提取，得到图像特征；获取预先设定的每种眼部疾病类型对应的文本模板，并利用预先训练好的文本编码器从文本模板中提取得到每种眼部疾病类型对应的文本特征，图像编码器和文本编码器基于预先准备的样本图像和基于样本图像生成的文本信息训练得到；将图像特征和每种眼部疾病类型的文本特征进行匹配，并将匹配成功的文本特征对应的眼部疾病类型输出。本发明专利技术的模型通过样本图像和基于样本图像生成的文本进行跨模态训练得到，从而能够捕捉到图像之外的文本信息，用以增强图像信息，从而提升模型的性能。

【技术实现步骤摘要】

本申请涉及医疗，特别是涉及一种基于多模态的眼部疾病识别方法、装置、设备及存储介质。

技术介绍

1、随着人口的增长和老龄化，加上现代社会人们用眼过度等问题突出，眼科疾病患病人群庞大，而且还在不断增多。有报告估计，2019年，在全球范围内，至少有22亿人视力受损或失明，其中至少10亿人的视力损伤问题可预防或尚待解决。而在我国，视力损害状况也不容乐观。我国最常见的眼部疾病包括年龄相关性黄斑变性、青光眼、白内障、糖尿病视网膜病变以及病理性近视等。某些眼部疾病在早期往往没有明显的症状，眼部疾病患者通常不知道无症状病情的加重，患者若不能得到及时治疗，眼部疾病病情加重，严重影响患者的正常生活，甚至会导致残疾，早期发现视网膜疾病是防止患者部分或永久失明的最重要手段之一。

2、随着机器学习模型的发展，其在辅助诊断眼部疾病上取得了重大进步。目前，在视网膜成像以及更广泛的医学成像领域，占主导地位的深度学习范式是监督模式完成非常具体的任务，其中，卷积神经网络(convolutional neural networks,cnn)和transformer模型仍然是医学成像本文档来自技高网...

【技术保护点】

1.一种基于多模态的眼部疾病识别方法，其特征在于，其包括：

2.根据权利要求1所述的基于多模态的眼部疾病识别方法，其特征在于，预先训练所述图像编码器和所述文本编码器，包括：

3.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述构建每张目标样本图像的疾病描述文本，包括：

4.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述损失函数表示为：

5.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述构建样本图像数据集，包括：

6.根据权利要求1所述的基于多模态的眼部疾病识别方法，其特征...

【技术特征摘要】

1.一种基于多模态的眼部疾病识别方法，其特征在于，其包括：

2.根据权利要求1所述的基于多模态的眼部疾病识别方法，其特征在于，预先训练所述图像编码器和所述文本编码器，包括：

3.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述构建每张目标样本图像的疾病描述文本，包括：

4.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述损失函数表示为：

5.根据权利要求2所述的基于多模态的眼部疾病识别方法，其特征在于，所述构建样本图像数据集，包括：

6.根据权利要求1所述的基于多模态的眼部疾病识别方法，其特征在于，所述将所述图像特征和每种眼部疾病类型的文本...

【专利技术属性】
技术研发人员：熊绍奎，陈世峰，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：