一种基于多尺度信息提取的图像去噪系统及方法技术方案

本发明专利技术公开了一种基于多尺度信息提取的图像去噪系统及方法，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述显微图像采集装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。本发明专利技术能够灵活调整被测样本相对物镜的轴向距离，从而实现在不同深度进行对焦，在此基础上，使用多阶段去噪网络模型对含噪声的细胞图像进行恢复处理，在噪声去除和纹理信息保存上具有显著效果。理信息保存上具有显著效果。理信息保存上具有显著效果。

【技术实现步骤摘要】
一种基于多尺度信息提取的图像去噪系统及方法


[0001]本专利技术涉及图像处理领域，特别涉及一种基于多尺度信息提取的图像去噪系统及方法。

技术介绍

[0002]目前图像去噪方法的包括：传统的图像去噪方法和基于深度学习的去噪方法。传统的图像去噪方法又可以分为空域像素特征去噪算法和变换域去噪算法；前者是直接在图像空间中进行的处理，后者是间接在图像变换域中进行处理。
[0003]基于空域像素特征的方法，是通过分析在一定大小的窗口内，中心像素与其他相邻像素之间在灰度空间的直接联系，来获取新的中心像素值的方法，因此往往都会存在一个典型的输入参数即滤波半径，其中滤波半径可用于在局部窗口内计算像素的相似性，也作为一些高斯或拉普拉斯算子的计算窗口。在邻域滤波方法里面，最具有代表性的滤波方法有以下几种：算术均值滤波、高斯滤波、统计中值滤波、引导滤波、NLM(Non
‑
Local means)算法，虽然上述方法能够滤除细胞显微图像噪声，但是都存在一个相同的问题就是在降噪的同时往往会丢失细胞显微图像的细节信息或边缘信息，并且会导致图像的模糊和虚化。
[0004]图像变换域去噪算法的基本思想就是首先进行某种变换，将图像从空间域转换到变换域，然后从频率上把噪声分为高中低频噪声，用这种变换域的方法就可以把不同频率的噪声分离，之后进行反变换将图像从变换域转换到原始空间域，最终达到去除图像噪声的目的。图像从空间域转换到变换域的方法很多，其中最具代表性的有傅里叶变换、离散余弦变换、小波变换以及多尺度几何分析方法等。虽然上述方法在降噪性能上优于基于空域像素特征的方法，但是依旧会丢失细胞显微图像的细节信息和边缘信息。同时该类方法的去噪效果高度依赖人为选取的分解变换域和阈值确定方法，另一方面也会有较高的计算代价和时耗。
[0005]目前存在的主流深度学习去噪方法，包括了对高斯白噪声去噪、高斯盲去噪、真实含噪图像去噪、超糅合含噪图像去噪。DnCNN网络模型通过学习理想图像与加噪图像的映射关系，并在网络模型中加入批量归一化操作、建立网络输入图像与输出图像之间的残差学习提高了图像去噪性能。CBDNet网络模型使用真实世界的噪声干净图像对来训练卷积盲降噪网络，并将具有非对称学习的噪声估计子网络嵌入到网络模型中以抑制噪声水平的低估。虽然上述两种去噪网络模型在合成噪声或真实宏观领域的噪声数据集中有合格的表现，但是由于显微成像过程存在多种噪声的叠加以及样本表面特性的影响，使得这些去噪网络模型在应用于细胞显微噪声图像时性能表现虽然超过了传统去噪方法如高斯滤波、中值滤波和BM3D等，但是对于显微图像的修复效果有限。

技术实现思路

[0006]本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种基于多尺度信息提取的图像去噪系统及方法，能够灵活调整被测样本相对物镜的轴向距离，从而实现在不同
深度进行对焦，在此基础上，使用多阶段去噪网络模型对含噪声的细胞图像进行恢复处理，在噪声去除和纹理信息保存上具有显著效果。
[0007]本专利技术采用如下技术方案：
[0008]一方面，一种基于多尺度信息提取的图像去噪系统，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述图像去噪装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。
[0009]优选的，所述显微图像采集装置，包括：
[0010]光源模块、传输模块和成像模块；在光路传播方向，所述光源模块依次包括光源、扩束镜和准直光透镜组，所述传输模块依次包括空间光调制器、中继透镜组、全内反射棱镜、半反半透镜、物镜和XYZ载物台，所述成像模块依次包括聚焦透镜、探测器和上位机；所述空间光调制器对来自准直光透镜组入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器中；被测样本信息的光束由XYZ载物台出发反向传输至半反半透镜，并经过半反半透镜反射后到达聚焦透镜，然后到达探测器获取到编码信息，并将获取到的细胞显微图像传送到上位机。
[0011]优选的，所述空间光调制器为单个微元可调的空间光调制器。
[0012]优选的，所述显微图像采集装置的成像调试方法包括：
[0013]将样品放置于XYZ载物台上，由上位机控制空间光调制器所有微镜状态为“开”，在粗调阶段载物台位置不移动而是调整物镜相对XYZ载物台的位置，在精细调整阶段保持物镜不移动而是调整XYZ载物台的位置；
[0014]上位机观察到被测样本的位置信息、形状信息和亮度信息，并控制空间光调制器独立微元的转动角度从而控制其单个微元的开启或闭合。
[0015]优选的，所述图像去噪装置部署在上位机上，包括：
[0016]训练数据集构建模块，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；
[0017]模型构建与训练模块，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；
[0018]模型保存模块，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；
[0019]实时处理模块，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像。
[0020]优选的，所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了Conv+ReLU，最后一层输出只使用Conv，中间8层采用相同的结构即Conv+BN+ReLU；上述通道关联单元的第一层及中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；
[0021]所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的U
‑
Net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；
[0022]所述融合压缩单元采用了4个BottleNeck单元，所述BottleNeck单元中使用2个卷积层并进行BN操作，之后分别是ReLU层和卷积层操作；上述BottleNeck单元的每个卷积层中，特征通道的数量的增长率被设置为32，卷积核大小为3x3。
[0023]优选的，所述多阶段去噪网络模型表示如下：
[0024][0025]其中，I1表示细胞显微噪声图像，即采集到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度信息提取的图像去噪系统，其特征在于，包括显微图像采集装置和图像去噪装置；所述显微图像采集装置用于采集训练和调试用的显微图像数据集，还用于采集待处理样本的细胞图像；所述图像去噪装置用于使用所述显微图像数据集对多阶段去噪网络模型进行训练和调试，获得参数最优的多阶段去噪网络模型，还用于使用该多阶段去噪网络模型对输入的待处理样本的细胞图像进行处理输出去噪后的图像。2.根据权利要求1所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述显微图像采集装置，包括：光源模块、传输模块和成像模块；在光路传播方向，所述光源模块依次包括光源、扩束镜和准直光透镜组，所述传输模块依次包括空间光调制器、中继透镜组、全内反射棱镜、半反半透镜、物镜和XYZ载物台，所述成像模块依次包括聚焦透镜、探测器和上位机；所述空间光调制器对来自准直光透镜组入射的光束进行整形并出射，并且入射的光束将以特定角度入射到空间光调制器中；被测样本信息的光束由XYZ载物台出发反向传输至半反半透镜，并经过半反半透镜反射后到达聚焦透镜，然后到达探测器获取到编码信息，并将获取到的细胞显微图像传送到上位机。3.根据权利要求2所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述空间光调制器为单个微元可调的空间光调制器。4.根据权利要求2所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述显微图像采集装置的成像调试方法包括：将样品放置于XYZ载物台上，由上位机控制空间光调制器所有微镜状态为“开”，在粗调阶段载物台位置不移动而是调整物镜相对XYZ载物台的位置，在精细调整阶段保持物镜不移动而是调整XYZ载物台的位置；上位机观察到被测样本的位置信息、形状信息和亮度信息，并控制空间光调制器独立微元的转动角度从而控制其单个微元的开启或闭合。5.根据权利要求1所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述图像去噪装置部署在上位机上，包括：训练数据集构建模块，接收显微图像采集装置采集的细胞显微图像数据，完成模型训练所需数据集的构建；模型构建与训练模块，构建多阶段去噪网络模型，使用模型训练数据集中的数据完成模型参数的构建；所述多阶段去噪网络模型包括通道关联单元、多尺度去噪单元和融合压缩单元；模型保存模块，通过设置随训练轮数逐渐减小的损失函数，观测到网络模型最适合的训练轮数；并通过对验证集的测试将性能最好的参数权重进行保存；最后将保存模型用于对输入图像进行处理并输出去噪后的图像；实时处理模块，使用保存的模型对显微图像采集装置采集的待处理样本的细胞图像进行处理输出去噪后的图像。6.根据权利要求5所述的基于多尺度信息提取的图像去噪系统，其特征在于，所述通道关联单元使用10层结构对输入图像进行处理并且将输出结果与输入图像在通道域上进行串联作为多尺度去噪单元的输入；其中10层网络结构在第一层使用了Conv+ReLU，最后一层输出只使用Conv，中间8层采用相同的结构即Conv+BN+ReLU；上述通道关联单元的第一层及
中间层的卷积操作中，特征通道的数量被设置为64，卷积核大小被设置为3x3；所述多尺度去噪单元采用了五层并行特征金字塔的设计结构，从而实现同时捕获不同尺度的目标信息；首先对通道关联单元输出的图分别进行1x1、2x2、4x4、8x8和16x16的并行池化操作从而得到不同尺度的特征表示，然后将它们分别输入到各自的U
‑
Net中进行去噪处理，最后将多级去噪特征信息进行融合并将它们与通道关联单元输出的图在通道域上进行并联作为融合压缩单元的输入；所述融合压缩单元采用了4个BottleNeck单元，所述BottleNeck单元中使用2个卷积层并进行BN操作，之后分别是ReLU层和卷积层操作；上述BottleNeck单元的每个卷积层中，特征通道的数量的增长率...

【专利技术属性】
技术研发人员：易定容，乐炜桦，周博聪，胡欢欢，陈思嘉，
申请(专利权)人：华侨大学，
类型：发明
国别省市：