基于双模型的眼底图像质量评价方法、装置及相关介质制造方法及图纸

本发明专利技术公开了基于双模型的眼底图像质量评价方法、装置及相关介质，该方法包括：获取批量眼底图像，并选取目标图像；利用ResNet50网络对目标图像提取第一局部信息，以及利用ViT网络对目标图像提取第一全局信息；基于第一局部信息和第一全局信息预测得到目标图像的图像质量评价结果，以此构建图像质量评价模型；利用图像质量评价模型对下一图像进行评价，得到图像质量差异信息；利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。本发明专利技术基于双模型对眼底图像进行多任务学习，以通过局部和全局相结合的方式对眼底图像进行评价，同时利用不同眼底图像之间的差异信息，从而提高对于眼底图像的质量评价效果。从而提高对于眼底图像的质量评价效果。从而提高对于眼底图像的质量评价效果。

【技术实现步骤摘要】
基于双模型的眼底图像质量评价方法、装置及相关介质


[0001]本专利技术涉及图像处理
，特别涉及基于双模型的眼底图像质量评价方法、装置及相关介质。

技术介绍

[0002]眼底图像由眼科医生通过专业的眼底相机拍摄得到，包含了视杯、视盘，黄斑、渗出物和视网膜血管等生理结构，是一种重要的医学影像，被广泛的应用于辅助医疗诊断中。当前在临床上对眼底疾病的诊断，主要是通过眼科医生对患者眼底图像或眼球进行观察分析做出主观判断，通过观察眼底图像上是否存在硬渗出物、软渗出物、微动脉瘤和出血等可以辅助判断患者是否患有糖尿病视网膜病变，青光眼则可以则通过观察眼底图像中视杯视盘的大小和位置来进行判断，观察眼底图像上黄斑的变化可以提前预测老年性黄斑病变，全身性的心血管疾病也可以通过观察眼底图像中的视网膜结构来进行辅助诊断。然而眼底图像质量往往受到设备、操作人员和环境变化的影响，导致眼底图像质量不同程度的退化，而眼底图像的质量退化将会影响临床医生对眼底疾病的诊断产生影响。因此，如何提高眼底图像评价质量，以使眼底图像更好地辅助医疗诊断，是本领域技术人员需要解决的问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模型的眼底图像质量评价方法，其特征在于，包括：获取批量眼底图像，并选取其中一张作为目标图像；利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。2.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用ResNet50网络对所述目标图像提取第一局部信息，包括：利用ResNet50网络的输入层对所述目标图像依次进行卷积、批量正则化、Relu激活函数和最大池化处理，以获取所述目标特征对应的特征图；通过ResNet50网络的中间层的多个3*3卷积对所述特征图进行局部特征提取，并由输出层输出对应的第一局部信息。3.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用ViT网络对所述目标图像提取第一全局信息，包括：利用ViT网络将所述目标图像划分为多个图像块；对每一图像块进行线性映射和展开操作，以获取对应的预处理特征；基于预处理特征对每一图像块的相对位置进行位置编码；将经过位置编码的图像块输入至transformer编码器中，并由所述transformer编码器输出对应的第一全局信息。4.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，包括：通过全连接层对所述第一局部信息和第一全局信息分别进行线性映射，对应得到第一局部特征向量和第一全局特征向量；通过softmax函数对所述第一局部特征向量和第一全局特征向量进行归一化处理；将归一化处理后的所述第一局部特征向量和第一全局特征向量相加取均值，得到所述目标图像的图像质量评价结果。5.根据权利要求4所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息，包括：分别利...

【专利技术属性】
技术研发人员：岳广辉，李苑，汪天富，周天薇，武泓吕，魏佩珊，
申请(专利权)人：深圳大学，
类型：发明
国别省市：