一种基于卷积神经网络的无透镜全息显微微粒表征方法技术

本发明专利技术公开了一种基于卷积神经网络的无透镜全息显微微粒表征方法。该方法的步骤为：S1先采集暗场图像，然后采集光源均匀照射下的明场图像；S3在传感器上方放置样本，采集不同折射率的样本的显微图像，并标注每张图像对应的折射率；S3对所有全息显微图像进行平场校正；S4计算图像中所有微粒的中心，并切割各个微粒的图像；S5清洗切割后的所有图像，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。本发明专利技术的方法可以对大视场下的生物样本进行快速、方便、准确的表征。

A method for characterization of lensless holographic microparticles based on convolution neural network

【技术实现步骤摘要】
一种基于卷积神经网络的无透镜全息显微微粒表征方法
本专利技术属于显微图像领域，尤其涉及一种基于卷积神经网络的无透镜全息显微微粒表征方法。
技术介绍
无透镜全息显微镜近年来已经成为新的成像技术。传统的光学显微镜为了获得高分辨率，必须使用放大倍率的物镜与目镜，才得以观察到微小的生物图像。而无透镜全息显微，完全摒弃了光学镜头，直接对透过物体的光线采样。作为数字全息技术，通过传感器的感光阵列捕捉光线，并通过光电转化显示图像信息，后续可方便地进行图像处理。此外，无透镜全息显微的结构紧凑，并具有与成像传感器一致大小的视场，为资源有限的环境中大视场下多微粒的同时表征提供了一种可能的解决方案。定位和表征胶体粒子对于生物医学、流体力学、软物质物理学等领域的研究有着重要意义。通常这类研究都利用全息显微技术，结合光传播理论和光散射理论，从显微图像中获取有用信息。先前的一些解决表征和追踪胶体粒子或其他软物质的工作，都以标准倒置光学显微为基础，并利用散射理论、光的传播理论来定量地分析单个粒子的全息显微图像，并得到粒子精确的空间信息、尺寸信息以及其折射率。此方法被延伸使用至胶体凝聚体、蛋白质凝聚体以及水质中各类微粒或其凝聚物的表征中，可以得到它们的等效折射率，以此区别于其他悬浮物。为了将全息图更好地拟合至对应的散射理论，上述技术均采用启发式算法，如最小二乘方法进行迭代计算，这通常是耗时、计算复杂度高的方法。近年来，随着机器学习和深度学习的普及与发展，机器学习与深度学习也逐渐运用于无透镜显微及对胶体粒子的研究中。得益于卷积神经网络的快速性和高效性，无透镜显微领域中的自动对焦算法可由深度卷积神经网络快速地等效实现，对胶体粒子的追踪也可由深度卷积神经网络完成，而现有对各类微粒的表征仍采用上述的启发式算法，进行复杂且耗时的迭代，这已经远远不能满足需求。
技术实现思路
针对以上现有技术中存在的缺陷，本专利技术的目的在于提供一种基于卷积神经网络的无透镜全息显微微粒表征方法。本专利技术采用的技术方案为：一种基于卷积神经网络的无透镜全息显微微粒表征方法，包括如下步骤：S1，先采集暗场图像，然后采集光源均匀照射下的明场图像；S2，在传感器上方放置微粒悬浮液，并保证微粒悬浮液到传感器的距离远小于微粒悬浮液到光源的距离；打开光源，采集不同折射率的微粒悬浮液的显微图像，并标注每张图像对应的折射率；S3，对步骤S2采集的所有显微图像进行平场校正；S4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并作为中心，以固定尺寸为半径，切割各个微粒的图像；S5，将切割后的所有图像清洗后，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。进一步地，所述步骤S2中，先将微粒悬浮液稀释至几乎没有微粒重合的程度，微粒随机分布于悬浮液中。进一步地，所述步骤S2中，每次采集拍摄的显微图像只包含一种折射率的微粒，每种折射率的悬浮液随机取若干滴，分别拍摄多组图像。进一步地，所述步骤S3中，平场校正的具体方法为：将采集的暗场图像表示为Id，采集的明场图像表示为I0，采集的图像序列中的任意一张全息图表示为I，则对全息图I进行平场校正后的图像b表示为：进一步地，所述步骤S4中，利用方向对准变换方法计算所有微粒的中心，并根据卷积神经网络的输入尺寸进行相同尺寸的裁剪，得到相同尺寸的数据集；其中，方向对准变换方法的具体步骤为：(1)进行方向对准变换将平场校正后的图像b(r)与Savitzky-Golay滤波器卷积得到梯度图像r为表示坐标的矢量，平场校正后的图像b(r)中梯度的空间变化方向ψ(r)为：其中表示梯度的幅度值，表示梯度图中每一个像素所指定的方向与x轴的夹角，ψ(r)的相位分布在[0，2π]；将ψ(r)与一个对称的转换核作卷积，其中θ表示K(r)的相位，并且K(r)的相位与ψ(r)的相位是相互补充的关系，即对应于每个像素点，K(r)的相位与ψ(r)的相位的和为2π；r表示衰减因子，确保每个像素点对其中心的估计具有相等的权重；卷积运算后得到Ψ(r)＝∫K(r-r′)ψ(r′)d2r′Ψ(r)即为进行方向对准变换后得到的复振幅图；(2)亚像素定位对步骤(1)得到的复振幅图Ψ(r)取模的平方|Ψ(r)|2，表示方向对准变换后的强度图；因此平场校正后的图像b(r)的微粒中心转换成方向对准变换后的强度图|Ψ(r)|2的亮度中心，通过设定合适的阈值挑选出图像中的局部亮度较大值即前景图像，将图像二值化；然后标记二值图像的八连通区域，每个连通区域标记类别标签；按照标记结果，分别对每个连通区域进行扫描，存储区域内每个像素的坐标和方向对准变换后的强度值；最后计算出每个连通区域内的亮度中心位置，亮度中心的位置通过连通的像素点的坐标的加权平均得到，加权系数由每个像素点的亮度决定，亮度越大则权值越高，每个亮度中心即代表了一个微粒的中心。本专利技术的方法巧妙地将微粒的折射率表征问题转化为分类问题，与现有技术相比，其显著优点为：(1)无透镜全息显微能满足生物样本的大视场观测需求，实现大视场下的生物样本的表征、识别。(2)相比于利用复杂的理论和非线性拟合技术对微粒进行表征、计算复杂度大耗时长的传统启发式算法，本专利技术基于卷积神经网络的微粒表征方法在网络训练完成后，可方便又快速地表征微粒的折射率信息，几乎可以实时地完成一次显微成像中所有微粒的折射率表征，进而统计该悬浮液样本中微粒的分布情况。附图说明图1是本专利技术基于卷积神经网络的无透镜全息显微微粒表征方法的流程图。图2是本专利技术实施例中所用装置的结构示意图，其中，1-相干光源，2-样本，3-传感器。图3是本专利技术实施例中拍摄的大视场全息图。图4是利用方向对准变换标定微粒中心并进行切割的结果示意图。具体实施方式参见图1，本专利技术基于卷积神经网络的无透镜全息显微微粒表征方法，具体步骤如下：S1：关闭光源，在暗室条件下(无环境杂散光的情况)利用图像传感器3拍摄暗场图像。用于拍摄图像的无透镜全息显微装置参见图2，包括相干光源1、图像传感器3等。打开光源，在暗室条件下(无环境杂散光的情况)采集光源均匀照射下的明场图像。S2，在传感器3的上方放置样本2(悬浮液样本)。样本2到传感器3的距离远小于样本2到相干光源1的距离。这一方面使得从样本2传播到传感器3平面的入射波可以视为平面波，另一方面保证了无透镜全息显微装置的单倍放大率(即对样本2基本不存在放大)，提供和芯片大小一致的大视场(FOV，field-of-view，)的同时不需要任何其他光学元件。打开光源1，线极化的激光束入射到样本2平面，样本2散射入射光，在传感器3平面入射光与散射光发生干涉，传感器3采集干涉图案即全息图。每份悬浮液样本内只包含同一种折射本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，包括如下步骤：/nS1，先采集暗场图像，然后采集光源均匀照射下的明场图像；/nS2，在传感器上方放置微粒悬浮液，并保证微粒悬浮液到传感器的距离远小于微粒悬浮液到光源的距离；打开光源，采集不同折射率的微粒悬浮液的显微图像，并标注每张图像对应的折射率；/nS3，对步骤S2采集的所有显微图像进行平场校正；/nS4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并作为中心，以固定尺寸为半径，切割各个微粒的图像；/nS5，将切割后的所有图像清洗后，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。/n

【技术特征摘要】
1.一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，包括如下步骤：
S1，先采集暗场图像，然后采集光源均匀照射下的明场图像；
S2，在传感器上方放置微粒悬浮液，并保证微粒悬浮液到传感器的距离远小于微粒悬浮液到光源的距离；打开光源，采集不同折射率的微粒悬浮液的显微图像，并标注每张图像对应的折射率；
S3，对步骤S2采集的所有显微图像进行平场校正；
S4，对平场校正后的每张显微图像计算所有微粒在平面内的位置，并作为中心，以固定尺寸为半径，切割各个微粒的图像；
S5，将切割后的所有图像清洗后，随机分为训练集、验证集和测试集；将训练集作为卷积神经网络的输入，训练分类网络，在验证集上验证效果训练参数，最后在测试集上测试分类效果，微粒对应的分类标签即为微粒的折射率表征结果。


2.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S2中，先将微粒悬浮液稀释至几乎没有微粒重合的程度，微粒随机分布于悬浮液中。


3.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S2中，每次采集拍摄的显微图像只包含一种折射率的微粒，每种折射率的悬浮液随机取若干滴，分别拍摄多组图像。


4.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S3中，平场校正的具体方法为：将采集的暗场图像表示为Id，采集的明场图像表示为I0，采集的图像序列中的任意一张全息图表示为I，则对全息图I进行平场校正后的图像b表示为：


5.根据权利要求1所述的一种基于卷积神经网络的无透镜全息显微微粒表征方法，其特征在于，所述步骤S4中，利用方向对准变换方法计算所有微粒的中心，并根据卷积神经网络的输入尺寸进行相同尺寸的裁剪，得到相同尺寸的数据集；其中，方向对准变换方法的具体步骤为：...

【专利技术属性】
技术研发人员：曹汛，黄烨，华夏，闫锋，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32