基于卷积神经网络的三维单分子定位系统技术方案

本发明专利技术公开了一种基于卷积神经网络的三维单分子定位系统，该系统利用荧光小球样本对点扩散函数进行标定；利用点扩散函数图像以及相机噪声模型模拟激发生成训练样本，并生成每张训练图像对应的真值三维矩阵；将训练样本输入到无监督降噪网络中得到降噪模型参数；将降噪后的训练样本以及真值三维矩阵输入定位神经网络中进行训练，得到定位模型参数；通过荧光显微镜对待观测样本进行成像，并将图像分割为与训练集相同的大小；对处理后的图像进行降噪；将降噪后图像输入到训练后的定位网络中进行测试；最终将输出结果通过稀疏编码的方法进行超分辨重建，得到超分辨图像。该系统可对高重叠率、高密度激发的点扩散函数保持轴向定位的高精度与高准确度。

Three dimensional single molecule positioning system based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络的三维单分子定位系统
本专利技术涉及计算机视觉和计算机图形学
，特别涉及一种基于神经网络的三维单分子定位系统。
技术介绍
在显微成像领域，实现更高精度的三维成像是当前的前沿问题。单分子定位显微技术可以突破传统光学显微镜的衍射极限，大幅度提升成像的定位精度，是生物医学领域观测细胞内部物质的最重要的技术之一。特别地，近年提出的PSFEngineering方法通过特殊订制的光学系统点扩散函数可以有效地提升荧光分子的轴向定位精度，吸引了领域学者的广泛关注。目前大部分的三维单分子定位算法对荧光分子的稀疏性和信噪比都具有较高的要求：一方面，因为算法无法可靠辨识点扩散函数重叠的荧光分子，在采集过程只能采用低能量的激光照射样本，以保证单次激发的荧光点足够稀疏，这导致激发过程往往需要重复上万次。另一方面，研究者们需要长曝光时间来保证采集低分辨率图像的信噪比。综上，单分子定位显微成像需要很长的采集过程。同时，相比传统的点扩散函数，面向单分子定位特殊订制的PSF往往点扩散函数重叠概率更高，信噪比更低，极大限制了其广泛采用。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于卷积神经网络的三维单分子定位系统。为达到上述目的，本专利技术实施例提出了基于卷积神经网络的三维单分子定位系统，包括：荧光显微镜样本采集处理模块、训练数据生成模块、降噪神经网络模块、定位神经网络模块和三维重建模块，其中，所述荧光显微镜样本采集处理模块，用于通过超分辨荧光显微镜采集待定位样本，在测试图像的处理过程中，根据预设训练图像尺寸，对所述待定位样本进行切割，得到测试样本；所述训练数据生成模块，用于利用荧光小球样本对点扩散函数进行标定，得到所述训练数据集，并生成所述训练数据集中每个训练图像对应的真值三维矩阵；所述降噪神经网络模块，用于在训练过程中，通过所述训练数据集对无监督降噪网络进行训练，得到降噪模型参数，以对所述训练数据集进行降噪，再将降噪后的训练数据集输出至所述定位神经网络模块；在测试过程中，仿照训练过程对所述测试样本进行降噪；所述定位神经网络模块，用于在测试过程中，通过所述降噪后的训练数据集和所述真值三维矩阵对所述定位神经网络中进行训练，生成模型参数，以对所述待定位样本进行三维定位，生成三维定位数据；所述三维重建模块，用于利用稀疏编码法对所述三维定位数据进行重建，得到超分辨图像。本专利技术实施例的基于卷积神经网络的三维单分子定位系统，在对低密度、少重叠的图像保持较高定位精度的同时，提高三维单分子定位对于高密度多重叠、低信噪比的鲁棒性，从而使得单分子定位过程中，提高单次采集的的荧光点数，减少曝光时间，节省工作量。另外，根据本专利技术上述实施例的基于卷积神经网络的三维单分子定位系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述训练数据生成模块具体通过空间中的随机激发点与标定的点扩散函数进行卷积求和得到所述训练数据集，其中，随机激发过程采用随机数生成器，在空间中对三维坐标进行预设范围的随机生成，激发点的亮度同时也通过所述随机数生成器生成，以保证所述每个训练图像的强度保持不变。进一步地，在本专利技术的一个实施例中，所述训练数据生成模块中所述点扩散函数为所述荧光显微镜样本采集处理模块张的三维矩阵，第三维度代表轴向位置，卷积过程按照所述轴向位置将随机激发点与点扩散函数进行卷积。进一步地，在本专利技术的一个实施例中，所述降噪神经网络模块包括噪声自动生成器以及一个以U-net为基础的无监督降噪网络。进一步地，在本专利技术的一个实施例中，所述无监督降噪网络以加入随机噪声的训练数据集为输入，以未加入随机噪声的训练数据集为目标值，采用均方差作为损失函数对U-net网络进行训练。进一步地，在本专利技术的一个实施例中，采用回归模型对所述定位卷积神经网络结构进行设计。进一步地，在本专利技术的一个实施例中，所述定位神经网络模块包括四个U-net通道相复合，测试时将所述所述降噪后的训练数据集分别输入到四个通道中，通过四个通道分别输出四个中间结果，其大小与所述所述真值三维矩阵相同，然后将四个中间结果相叠加，通过一个卷积层输出所述三维定位数据。进一步地，在本专利技术的一个实施例中，所述四个U-net通道之间互不相同，在U-net的前四个卷积层分别采用卷积核的大小为3×3、4×4、5×5、6×6。进一步地，在本专利技术的一个实施例中，在U-net的编码过程中，每一个深度由两次保持图像大小不变的卷积、激活、批标准化和一次下采样构成。进一步地，在本专利技术的一个实施例中，所述三维重建模块具体用于：利用稀疏编码法将所述三维定位数据进行快速的拼接与整合，仅将每个矩阵定位出的激发点的坐标记录，通过换算定位到整体图像中，最终通过所有图像不断更新点集，得到所述超分辨图像。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于卷积神经网络的三维单分子定位系统结构示意图；图2为根据本专利技术一个实施例的基于卷积神经网络的三维单分子定位系统中定位卷积神经网络整体结构示意图；图3为根据本专利技术一个实施例的基于卷积神经网络的三维单分子定位系统的定位卷积神经网络中特征提取网络结构示意图；图4为根据本专利技术一个实施例的基于卷积神经网络的三维单分子定位系统具体执行流程图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于卷积神经网络的三维单分子定位系统。图1是本专利技术一个实施例的基于卷积神经网络的三维单分子定位系统结构示意图。如图1所示，该系统包括：荧光显微镜样本采集处理模块100、训练数据生成模块200、降噪神经网络模块300、定位神经网络模块400和三维重建模块500。其中，荧光显微镜样本采集处理模块100，用于主要通过超分辨荧光显微镜采集待定位样本，在测试图像的处理过程中，根据预设训练图像尺寸，对待定位样本进行切割，将切割后的图像和切割尺寸以及重叠尺寸(即测试样本)输出。训练数据生成模块200，用于利用荧光小球样本对点扩散函数进行标定，得到训练数据集，并生成训练数据集中每个训练图像对应的真值三维矩阵。进一步地，在本专利技术的一个实施例中，训练数据生成模块200主要通过空间中的随机激发点与标定的点扩散函数进行卷积求和得到训练数据集，其中，随机激发过程采用随机数生成器，在空间中对三维坐标进行预设范围的随机生成，激发点的亮度同时也通过随机数生成器生成，以保证每个训练本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的三维单分子定位系统，其特征在于，包括：荧光显微镜样本采集处理模块、训练数据生成模块、降噪神经网络模块、定位神经网络模块和三维重建模块，其中，/n所述荧光显微镜样本采集处理模块，用于通过超分辨荧光显微镜采集待定位样本，在测试图像的处理过程中，根据预设训练图像尺寸，对所述待定位样本进行切割，得到测试样本；/n所述训练数据生成模块，用于利用荧光小球样本对点扩散函数进行标定，得到所述训练数据集，并生成所述训练数据集中每个训练图像对应的真值三维矩阵；/n所述降噪神经网络模块，用于在训练过程中，通过所述训练数据集对无监督降噪网络进行训练，得到降噪模型参数，以对所述训练数据集进行降噪，再将降噪后的训练数据集输出至所述定位神经网络模块；在测试过程中，仿照训练过程对所述测试样本进行降噪；/n所述定位神经网络模块，用于在测试过程中，通过所述降噪后的训练数据集和所述真值三维矩阵对所述定位神经网络中进行训练，生成模型参数，以对所述待定位样本进行三维定位，生成三维定位数据；/n所述三维重建模块，用于利用稀疏编码法对所述三维定位数据进行重建，得到超分辨图像。/n

【技术特征摘要】
1.一种基于卷积神经网络的三维单分子定位系统，其特征在于，包括：荧光显微镜样本采集处理模块、训练数据生成模块、降噪神经网络模块、定位神经网络模块和三维重建模块，其中，
所述荧光显微镜样本采集处理模块，用于通过超分辨荧光显微镜采集待定位样本，在测试图像的处理过程中，根据预设训练图像尺寸，对所述待定位样本进行切割，得到测试样本；
所述训练数据生成模块，用于利用荧光小球样本对点扩散函数进行标定，得到所述训练数据集，并生成所述训练数据集中每个训练图像对应的真值三维矩阵；
所述降噪神经网络模块，用于在训练过程中，通过所述训练数据集对无监督降噪网络进行训练，得到降噪模型参数，以对所述训练数据集进行降噪，再将降噪后的训练数据集输出至所述定位神经网络模块；在测试过程中，仿照训练过程对所述测试样本进行降噪；
所述定位神经网络模块，用于在测试过程中，通过所述降噪后的训练数据集和所述真值三维矩阵对所述定位神经网络中进行训练，生成模型参数，以对所述待定位样本进行三维定位，生成三维定位数据；
所述三维重建模块，用于利用稀疏编码法对所述三维定位数据进行重建，得到超分辨图像。


2.根据权利要求1所述的基于卷积神经网络的三维单分子定位系统，其特征在于，所述训练数据生成模块具体通过空间中的随机激发点与标定的点扩散函数进行卷积求和得到所述训练数据集，其中，随机激发过程采用随机数生成器，在空间中对三维坐标进行预设范围的随机生成，激发点的亮度同时也通过所述随机数生成器生成，以保证所述每个训练图像的强度保持不变。


3.根据权利要求2所述的基于卷积神经网络的三维单分子定位系统，其特征在于，所述训练数据生成模块中所述点扩散函数为所述荧光显微镜样本采集处理模块张的三维矩阵，第三维度代表轴向位置，卷积过程按照所述轴向位置将随机激发点与点扩散函数进行卷积...

【专利技术属性】
技术研发人员：索津莉，张志宏，张伟航，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11