【技术实现步骤摘要】
本公开的实施例属于医学图像处理，具体涉及一种眼表彩色照相图像分类方法、系统、电子设备及存储介质。
技术介绍
1、眼表病症的多样性和复杂性是分类眼表疾病中不可忽略的重要因素。一个眼科医生判读一张眼表影像至少需要近1分钟的时间，此外人工分类还可能由于医生的主观原因、经验不足等因素导致分类结果的误判或漏判。
2、近年来，人工智能技术发展迅速，已从以往的卷积神经网络（cnn）发展到现在主流的transformer网络。同时，对于ai自动分类的需求从仅区分出某种单一病变，也逐渐扩展为能够区分更多种类的病变以及更少见的异常。由于cnn卷积操作的局部局限性，需要长距离的建模才能够产生全局关注，而这同时又会带来更高的计算复杂度。因此，需要开发一种能同时考虑到全局和局部特征的眼表彩色照相图像自动分类方法。
技术实现思路
1、本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种眼表彩色照相图像分类方法、系统、电子设备及存储介质。
2、本公开的一个方面提供一种眼表彩色照相图像分类方法，包括：
3、获取实际眼表彩色照相图像；
4、将所述实际眼表彩色照相图像输入预先训练的眼表彩色照相图像分类模型，预测得到眼表彩色照相图像分类结果；其中，
5、所述眼表彩色照相图像分类模型包括：基于conformer网络搭建的主干网络，以及基于pfm模块搭建的特征提取支路网络，所述特征提取支路网络跳连接于所述主干网络。
6、可选的，所述主干网络
7、所述特征提取支路网络包括第一特征提取支路网络和第二特征提取支路网络；其中，
8、所述第一特征提取支路网络的输入端与所述第一级convtrans block的输出端相连，所述第一特征提取支路网络的输出端与所述第三级convtrans block的输出端相连；
9、所述第二特征提取支路网络的输入端与所述第二级convtrans block的输出端相连，所述第二特征提取支路网络的输出端与所述第四级convtrans block的输出端相连。
10、可选的，所述stem block包括依次连接的7×7卷积层、批量归一化层和relu激活函数、3×3最大池化层；
11、所述bottleneck layer和encoder block并行；其中，所述encoder block之前还连接一个4×4卷积层；
12、所述第一级convtrans block包括依次连接的三个convtrans block；所述第二级convtrans block包括依次连接的四个convtrans block；所述第三级convtrans block包括依次连接的三个convtransblock；所述第四级convtrans block包括一个convtransblock。
13、可选的，各所述convtrans block均包括并行的cnn分支和transformer分支；
14、所述第一特征提取支路网络的输入端与所述第一级convtrans block的最后一个convtrans block的cnn分支的第一个bottleneck layer的3×3卷积层的输出端相连；
15、所述第二特征提取支路网络的输入端与所述第二级convtrans block的最后一个convtrans block的cnn分支的第一个bottleneck layer的3×3卷积层的输出端相连。
16、可选的，所述特征提取支路网络包括依次连接的patch merging层、1×1卷积层、批量归一化层和frelu激活函数。
17、可选的，所述眼表彩色照相图像分类模型采用以下步骤训练得到：
18、获取训练眼表彩色照相图像，将所述训练眼表彩色照相图像划分为训练集和测试集；其中，所述训练眼表彩色照相图像携带有标签；
19、利用所述训练集中的训练眼表彩色照相图像对所述眼表彩色照相图像分类模型进行训练，得到训练好的眼表彩色照相图像分类模型；
20、利用所述测试集中的训练眼表彩色照相图像对所述训练好的眼表彩色照相图像分类模型进行测试。
21、本公开的另一个方面提供一种眼表彩色照相图像分类系统，包括：
22、获取模块，用于获取实际眼表彩色照相图像；
23、分类模块，用于将所述实际眼表彩色照相图像输入预先训练的眼表彩色照相图像分类模型，预测得到眼表彩色照相图像分类结果；其中，
24、所述眼表彩色照相图像分类模型包括：基于conformer网络搭建的主干网络，以及基于pfm模块搭建的特征提取支路网络，所述特征提取支路网络跳连接于所述主干网络。
25、可选的，所述系统还包括训练模块；所述训练模块用于：
26、获取训练眼表彩色照相图像，将所述训练眼表彩色照相图像划分为训练集和测试集；其中，所述训练眼表彩色照相图像携带有标签；
27、利用所述训练集中的训练眼表彩色照相图像对所述眼表彩色照相图像分类模型进行训练，得到训练好的眼表彩色照相图像分类模型；
28、利用所述测试集中的训练眼表彩色照相图像对所述训练好的眼表彩色照相图像分类模型进行测试。
29、本公开的又一方面提供一种电子设备，包括：
30、至少一个处理器；以及，
31、与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现如上所述的一种眼表彩色照相图像分类方法。
32、本公开的再一方面提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行时能实现如上所述的一种眼表彩色照相图像分类方法。
33、本公开实施例的一种眼表彩色照相图像分类方法，通过在医学领域利用人工智能进行疾病的自动分类，只需要拍摄出患者的眼表彩色图像，不需要复杂的人工分类流程，实现在有限条件下的眼表疾病自动分类，极大地提高了临床分类效率。出于结合全局与局部特征并提取多病种体现的病理特征的目的，本公开以conformer为主干网络，并设计了用于结构特征提取的pfm模块跳连接于主干网络进行空间结构特征提取，将底层特征和顶层特征进行融合，提供了更加丰富的特征表示，提高了模型的性能和泛化能力，相比于单一地使用conformer网络取得了更高的检测精度。
本文档来自技高网...【技术保护点】
1.一种眼表彩色照相图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的眼表彩色照相图像分类方法，其特征在于，
3.根据权利要求2所述的眼表彩色照相图像分类方法，其特征在于，
4.根据权利要求1所述的眼表彩色照相图像分类方法，其特征在于，所述特征提取支路网络包括依次连接的Patch Merging层、1×1卷积层、批量归一化层和FReLU激活函数。
5.根据权利要求1至4任一项所述的眼表彩色照相图像分类方法，其特征在于，所述眼表彩色照相图像分类模型采用以下步骤训练得到：
6.根据权利要求5所述的眼表彩色照相图像分类方法，其特征在于，所述利用所述训练集中的训练眼表彩色照相图像对所述眼表彩色照相图像分类模型进行训练，包括：
7.一种眼表彩色照相图像分类系统，其特征在于，所述系统包括：
8.根据权利要求7所述的眼表彩色照相图像分类系统，其特征在于，所述系统还包括训练模块；所述训练模块用于：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储
...【技术特征摘要】
1.一种眼表彩色照相图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的眼表彩色照相图像分类方法，其特征在于，
3.根据权利要求2所述的眼表彩色照相图像分类方法，其特征在于，
4.根据权利要求1所述的眼表彩色照相图像分类方法，其特征在于，所述特征提取支路网络包括依次连接的patch merging层、1×1卷积层、批量归一化层和frelu激活函数。
5.根据权利要求1至4任一项所述的眼表彩色照相图像分类方法，其特征在于，所述眼表彩色照相图像分类...
【专利技术属性】
技术研发人员：杨卫华，汪建涛，毛渝龙，龚迪，张哲，万程，
申请(专利权)人：深圳市眼科医院深圳市眼病防治研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。