一种拼接显微图像的无监督自适应条纹校正方法技术

本发明专利技术提供了一种拼接显微图像的无监督自适应条纹校正方法，包括以下步骤：步骤S1：对带条纹的拼接显微图像进行数据预处理；步骤S2：构造非配对的正负样本作为训练数据；步骤S3：设计对生成结果进行评估的判别器；步骤S4：训练对抗式网络模型；步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。该方法不需要调整光学仪器的设置，且不依赖估计的物理参数或原始拼接信息。该方法可适用于大多数成像实验中训练数据不足的情况。况。况。

【技术实现步骤摘要】
一种拼接显微图像的无监督自适应条纹校正方法


[0001]本专利技术涉及显微镜图像处理以及计算机视觉
，特别是一种拼接显微图像的无监督自适应条纹校正方法。

技术介绍

[0002]荧光显微镜是生物医学研究中不可缺少的工具，可用于获取细胞内生物过程、组织病理诊断的高空间分辨率信息。目前获得大尺度高分辨显微图像最常见的方法是连续拼接多个视场(FOVs)。然而，荧光显微图像目前仍然存在阴影或渐晕的现象，也就是不均匀照明，通常反映为从光轴中心到边缘的亮度强度衰减。因此拼接后的荧光图像中经常会出现条纹、阴影、甚至是伪影，尤其会产生于无标记或大尺度拼接图像的弱信号区域。根据以往的研究成果，即使是最稳定的商用非线性光学显微成像设备，在获取的图像中也可能存在多种的条纹问题。在忽略光照校正的情况下，往往会导致图像中细胞的误检和漏检率增加。因此拼接后产生的条纹不仅降低了图像质量，还严重地给下游的定量分析带来巨大偏差。
[0003]在光学成像实验中，这些信息的真实记录不仅取决于所使用的光学显微镜器件，还取决于样品制备的质量、实验持续的时间和图像后处理算法。虽然成像质量也可以通过超快激光器、高数值孔径的物镜、高精度的载物台、高灵敏探测器等硬件去优化，然而显微系统的配置需要专业的光学工程师来操作。提高激光功率可以更大程度地激发荧光信号，但高功率也会增加样本光损伤的风险。此外商业显微镜软件可以放大扫描仪的扫描范围，只对中间无阴影的视场进行成像，或是增加相邻两块区域的拼接重叠。尽管如此，缩放单个区域会导致最终拼接图像尺寸变小。因此，图像后处理方法是条纹校正的首选方案。
[0004]现有的条纹校正算法可以分为前瞻性和回顾性方法。前瞻性方法需要在图像采集过程中去额外收集参考图像来估计目标图像的有效光照变化。在单次实验操作中，成像参数会随着样本的类型、质量，甚至激光器的功率而变化。因此，在确保与实际数据相同的实验条件下及有效的成像时间内，获取准确的参考图像是很难的。回顾性方法仅利用实际采集的图像数据来进行校正，或通过大量的图像数据集构建校正模型来更准确地获取光照变化。但是这些方法均只适用于从图像中心开始的强度衰减情况，即均匀的阴影条纹。随着深度学习技术的发展，基于深度神经网络的模型也可以应用于这项任务。然而，现有的深度学习方法都是基于监督学习，需要原始拼接前图像和专家修复的结果，以形成大量的配对图像来训练模型。这类过于依赖大量监督训练数据的方法限制了其在实际场景中的应用。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种拼接显微图像的无监督自适应条纹校正方法，该方法不需要调整光学仪器的设置，且不依赖估计的物理参数或原始拼接信息。该方法可适用于大多数成像实验中训练数据不足的情况。
[0006]为实现上述目的，本专利技术采用如下技术方案：一种拼接显微图像的无监督自适应条纹校正方法，包括以下步骤：
[0007]步骤S1：对带条纹的拼接显微图像进行数据预处理，根据条纹和伪影的位置对原图进行分块；利用干净的显微图像合成出条纹和伪影，根据条纹和伪影的位置对原图进行分块；
[0008]步骤S2：使用临近采样的策略，采样出足够的异常块和正常块，构造非配对的正负样本作为训练数据；
[0009]步骤S3：设计条纹校正模块、条纹合成模块，以及设计对生成结果进行评估的判别器；
[0010]步骤S4：基于步骤S2设计的模块，设计循环的对抗式训练的网络结构，并利用步骤S1获得的训练集来训练对抗式网络模型；
[0011]步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。
[0012]在一较佳的实施例中，步骤S1具体包括以下步骤：
[0013]步骤S11：根据拼接图像中水平条纹和垂直条纹的位置，将处于条纹区域的图像块采样为异常块；对于存在伪影的图像，将处于伪影区域的图像块采样为异常块；
[0014]步骤S12：按照荧光显微图像中存在的条纹，制造出模拟条纹的遮罩I
M
，将干净图像中的每个视场作为I
R
，将每个视场都和遮罩结合，形成条纹；按照荧光显微图像中存在的气泡伪影，制造出模拟气泡的遮罩I
M
，随机选择干净图像中的部分区域图作为I
R
，将该区域和遮罩结合，形成气泡；按照荧光显微图像中存在的失焦伪影，制造出模拟失焦的遮罩I
M
，选择干净图像中的角落区域图作为I
R
，将该区域和遮罩结合，形成失焦；具体表达式如下：
[0015]I
S
＝I
R
*(1
‑
α)*I
M
[0016]其中，I
M
是条纹或伪影的遮罩，I
R
是干净图像中的部分图，I
S
是合成出条纹或伪影的结果图，α是调整遮罩程度的参数；
[0017]按照荧光显微图像中存在的扫描伪影，制造出模拟扫描伪影的遮罩I
M
，将干净图像的一半区域作为I
R
，将其和遮罩结合，形成扫描伪影；具体表达式如下：
[0018]I
S
＝I
R
+β*I
M
*255
[0019]其中，I
M
是扫描伪影的遮罩，I
R
是干净图像中的一半区域，I
S
是合成出扫描伪影的结果图，β是调整遮罩程度的参数。
[0020]在一较佳的实施例中，步骤S2具体包括以下步骤：
[0021]步骤S21：采用临近采样的策略，从临近条纹的非条纹区域采样出正常块；对于水平条纹上的异常块沿垂直方向选择离条纹最近的图像块，作为其相应的正常块；对于垂直条纹上的异常块沿水平方向选择离条纹最近的图像块，作为其相应的正常块；对于水平和垂直条纹交界处的异常块，选择离其最近的对角线上的图像块作为相应的正常块；对于伪影区域，从临近的无伪影区域进行采样，作为其对应的正常块；
[0022]步骤S22：根据步骤S21采集出足够的异常块和正常块，构造非配对的正负样本作为训练数据。
[0023]在一较佳的实施例中，步骤S3具体包括以下步骤：
[0024]步骤S31：设计条纹校正网络和条纹合成网络，两个网络结构相同，是基于编码器和解码器的网络结构，分为三个阶段，由下采样层、中间层和上采样层组成；网络的输入为
图像块I，输出为校正后的图像块或合成条纹的图像块将原图像块输入到卷积层，进行图像到特征图的转换，得到C
×
H
×
W的特征图F0，具体的表达式为：
[0025]F0＝Conv(I)
[0026]其中，I表示输入的图像块；
[0027]第一阶段的下采样层由卷积层组成；F0每经过一个卷积层特征图尺寸变为原来的一半，通道数变为原来的两倍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拼接显微图像的无监督自适应条纹校正方法，其特征在于，包括以下步骤：步骤S1：对带条纹的拼接显微图像进行数据预处理，根据条纹和伪影的位置对原图进行分块；利用干净的显微图像合成出条纹和伪影，根据条纹和伪影的位置对原图进行分块；步骤S2：使用临近采样的策略，采样出足够的异常块和正常块，构造非配对的正负样本作为训练数据；步骤S3：设计条纹校正模块、条纹合成模块，以及设计对生成结果进行评估的判别器；步骤S4：基于步骤S2设计的模块，设计循环的对抗式训练的网络结构，并利用步骤S1获得的训练集来训练对抗式网络模型；步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。2.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S1具体包括以下步骤：步骤S11：根据拼接图像中水平条纹和垂直条纹的位置，将处于条纹区域的图像块采样为异常块；对于存在伪影的图像，将处于伪影区域的图像块采样为异常块；步骤S12：按照荧光显微图像中存在的条纹，制造出模拟条纹的遮罩I
M
，将干净图像中的每个视场作为I
R
，将每个视场都和遮罩结合，形成条纹；按照荧光显微图像中存在的气泡伪影，制造出模拟气泡的遮罩I
M
，随机选择干净图像中的部分区域图作为I
R
，将该区域和遮罩结合，形成气泡；按照荧光显微图像中存在的失焦伪影，制造出模拟失焦的遮罩I
M
，选择干净图像中的角落区域图作为I
R
，将该区域和遮罩结合，形成失焦；具体表达式如下：I
S
＝I
R
*(1
‑
α)*I
M
其中，I
M
是条纹或伪影的遮罩，I
R
是干净图像中的部分图，I
S
是合成出条纹或伪影的结果图，α是调整遮罩程度的参数；按照荧光显微图像中存在的扫描伪影，制造出模拟扫描伪影的遮罩I
M
，将干净图像的一半区域作为I
R
，将其和遮罩结合，形成扫描伪影；具体表达式如下：I
S
＝I
R
+β*I
M
*255其中，I
M
是扫描伪影的遮罩，I
R
是干净图像中的一半区域，I
S
是合成出扫描伪影的结果图，β是调整遮罩程度的参数。3.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：采用临近采样的策略，从临近条纹的非条纹区域采样出正常块；对于水平条纹上的异常块沿垂直方向选择离条纹最近的图像块，作为其相应的正常块；对于垂直条纹上的异常块沿水平方向选择离条纹最近的图像块，作为其相应的正常块；对于水平和垂直条纹交界处的异常块，选择离其最近的对角线上的图像块作为相应的正常块；对于伪影区域，从临近的无伪影区域进行采样，作为其对应的正常块；步骤S22：根据步骤S21采集出足够的异常块和正常块，构造非配对的正负样本作为训练数据。4.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S3具体包括以下步骤：
步骤S31：设计条纹校正网络和条纹合成网络，两个网络结构相同，是基于编码器和解码器的网络结构，分为三个阶段，由下采样层、中间层和上采样层组成；网络的输入为图像块I，输出为校正后的图像块或合成条纹的图像块将原图像块输入到卷积层，进行图像到特征图的转换，得到C
×
H
×
W的特征图F0，具体的表达式为：F0＝Conv(I)其中，I表示输入的图像块；第一阶段的下采样层由卷积层组成；F0每经过一个卷积层特征图尺寸变为原来的一半，通道数变为原来的两倍，最后得到的低层次视觉特征图F1，计算公式如下：F1＝Conv(Conv(F0)))第二阶段的中间层由残差块ResnetBlock堆叠组成，用来提取可描述细胞组织成分的高层语义特征；残差块结构相同，由两个卷积层组成；通过堆叠的ResnetBlock来增强特征，计算公式为：E0＝F1+Conv(Conv(F1))E1＝E0+Conv(Conv(E0))
……
E8＝E7+Conv(Conv(E7))其中，E0、E1、...、E8表示每个残差...

【专利技术属性】
技术研发人员：刘文犀，刘晓翔，王舒，孙新全，李越颖，
申请(专利权)人：福州大学，
类型：发明
国别省市：