【技术实现步骤摘要】
面向视网膜血管的自监督多模态分割方法、系统、设备及介质
[0001]本专利技术涉及一种图像分割技术，特别是涉及一种面向视网膜血管的自监督多模态分割方法、系统、设备及介质。
技术介绍
[0002]眼睛是人类日常捕获信息最常用的器官，人体拥有的大部分知识和记忆是通过眼睛感知到的外部信息，经大脑皮层反馈后存储到大脑中，它的重要性可见一斑。眼底的视网膜血管作为人体中唯一可使用非破坏方式直接观察的血管结构，在临床医疗中对它作出精准分割，可使医护人员更为直观的通过观察其形态结构的变化，对相关疾病作出预防或进一步的诊断。荧光血管造影是医疗检查中显示眼底血管的常规方法。做法是先将黄色荧光素注射入静脉，血液中的荧光素便可将眼底中的血管清楚显示出，最后通过照相把眼底血管的细节照下来，其副作用可能导致个别患者出现过敏反应甚至死亡的情况。如果荧光素钠渗漏的话，可能会引起局部软组织坏死，静脉炎，中毒性神经炎等等。因此，基于高识别精度的视网膜彩色造影血管分割方法的研究，可以避免侵入性检查带来的诸多副作用，具有极其重要的临床医学意义和实际价值。
...
【技术保护点】
【技术特征摘要】
1.面向视网膜血管的自监督多模态分割方法，其特征在于，包括下述步骤：利用成对的多模态视网膜图像数据集训练预先设立的CycleGAN生成网络，得到训练好的CycleGAN生成网络；所述训练好的CycleGAN生成网络用于学习第一彩色视网膜造影图像与第一荧光素血管造影图像之间的映射关系；并为预训练的视网膜病变数据集合成对应的第二荧光素血管造影图像；对所述视网膜病变数据集中的第二彩色视网膜造影图像依次进行转灰度图、归一化、直方图均衡化和伽马校正预处理操作，得到预处理后的第三彩色视网膜造影图像；将所述第二荧光素血管造影图像输入到Vision Transformer encoder中生成荧光素血管造影的编码向量，并重构成过滤器，即用于提取图片中向量特征的卷积滤波器；利用所述过滤器对第三彩色视网膜造影图像进行相关性过滤，得到多模态融合特征图谱；使用无监督的深度互信息损失函数对所述多模态融合特征图谱进行实例级的特征学习，得到特征参数；将所述特征参数迁移到下游血管分割网络中，作为分割网络模型的初始化参数，并在此基础上对分割网络进行训练，得到视网膜血管的分割结果。2.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述多模态视网膜造影图像数据集包含多对未注释的第一彩色视网膜造影图像和第一荧光素血管造影图像，每一对图像都来自同一个患者；所述利用成对的多模态视网膜图像数据集训练预先设立的CycleGAN生成网络是将第一彩色视网膜造影图像作为CycleGAN生成网络输入，以及对应的第一荧光素血管造影图像作为标签进行训练；所述训练好的CycleGAN生成网络是通过第一彩色视网膜造影图像生成第一荧光素血管造影图像的过程来学习第一彩色视网膜造影图像与第一荧光素血管造影图像之间映射关系。3.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述对所述视网膜病变数据集中的第二彩色视网膜造影依次进行转灰度图、归一化、直方图均衡化和伽马校正预处理操作，具体为：首先，将多通道的第二彩色视网膜造影图像按比例融合变为1通道灰度图；接着进行图像归一化处理，保证图像的仿射不变性，提高计算精度；然后通过限制对比度自适应直方图均衡化来增强血管系统；最后利用局部自适应伽马校正，提升图像亮度信息并降低伪影的干扰；其中，伽马校正中有补偿系数和伽马系数两个可调参数，根据伽马系数的不同取值选择性地增强低灰度区域的对比度或者高灰度区域的对比度。4.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述使用无监督的深度互信息损失函数对所述多模态融合特征图谱进行实例级的特征学习，得到特征参数；具体为：令x∈X表示患者的多模态融合特征图谱，z∈Z表示编码向量，对互信息I的定义如下：其中，互信息I表示X，Z之间的相关性，表示原始数据的分布，p(z)表示在p(z|x给定
之后整个Z的分布，即：为了获得一个好的编码器，互信息要更大，即：为了利于使得编码空间更加规整，有利于解耦特征，便于后续学习，因此，设q(z)为标准正态分布，最小化p(z与先验分布q(z)的KL散度：KL散度又称为相对熵，等价于两个概率分布的信息熵的差值；此时通过加权混合可以得到最小化的总目标函数：其中，x及其对应的z视为一个正样本对，x及随机抽取的z视为负样本对，λ为加权系数，考虑了整张图片之间的关联，但是图片的识别、分类是一个从局部到整体的过程，因此需要再引入一个局部互信息来描述中间层特征与z的关联,将中间层特征记为{C
ij
(x)|i＝1,2
…
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。