一种基于深度学习的Shack-Hartmann波前探测器制造技术

本发明专利技术公开了一种基于深度学习的Shack‑Hartmann波前探测器，通过重新设计传统Shack‑Hartmann波前探测器波前重建算法，利用卷积神经网络算法替代传统算法，用强噪声数据对卷积神经网络训练，不仅能在强噪声下准确重建出波前，而且因为算法是端到端的波前探测，运算速度上比传统方法具有明显的优势。满足这两个设计要求以后，本发明专利技术能够解决在双光子显微系统中，随着在生物组织内部成像深度加深，组织所产生的强噪声使得波前无法准确探测的问题，并能满足双光子显微系统对波前探测速度的要求，而这两点是一直限制波前探测器在双光子显微系统中应用的因素，本发明专利技术正好解决了这两大限制，具有非常大的应用价值和意义。

Shack Hartmann wavefront detector based on deep learning

【技术实现步骤摘要】
一种基于深度学习的Shack-Hartmann波前探测器
本专利技术属于光波波前探测
，具体涉及一种基于深度学习的Shack-Hartmann波前探测器。
技术介绍
双光子激发显微镜(Two-photonExcitationMicroscopy)是一种荧光成像技术，可以对活体组织进行深度约1毫米的成像，它不同于传统的荧光显微镜，其激发波长短于发射波长，因为两个激发光子的波长长于所得发射光的波长。双光子激发显微术通常使用近红外激发光，其也可以激发荧光染料，然而对于每次激发，两个光子的红外光被吸收。使用红外线可最大限度地减少组织中的散射，由于多光子吸收，背景信号被强烈抑制，这两种效果都会导致这些显微镜的穿透深度增加。由于其更深的组织穿透，有效的光检测和减少的光漂白，双光子激发可以是共聚焦显微镜的优越替代品，但由于成像过程中系统和组织所带来的像差，严重影响了双光子显微镜的成像质量。自适应光学(AdaptiveOptics)是一项使用可变形镜面矫正因传输介质不均匀造成光波波前发生畸变，从而改进光学系统性能的技术；自适应光学的概念和原理最早是在1953年由海尔天文台的胡瑞斯·拜勃库克(HoraceBabcock)提出的，但是超越了当时的技术水平所能达到的极限，只有美国军方在星球大战计划中秘密研发这项技术；冷战结束后，1991年5月，美国军方将自适应光学的研究资料解密，计算机和光学技术也足够发达，自适应光学技术才得以广泛应用。目前自适应光学被越来越多的应用到了其他成像领域，双光子显微镜由于是在生物组织内部成像，不规则的生物组织也会产生光波波前的畸变，所以自适应光学技术也被应用于双光子系统进行波前矫正，但由于生物组织的强噪声以及低透光性，这对波前探测元件Shack-Hartmann带来了极大的挑战。近年来，随着计算机计算能力的提升，深度学习取得了极大的发展，并被用到越来越多的领域解决该领域的问题，因此如果用深度学习方法取代传统Shack-Hartmann波前重建算法，将有望克服双光子系统中存在的高散射噪声，使得Shack-Hartmann实现对双光子显微镜更深层组织成像的像差探测。2006年，HongGuo、NinaKorablinova等人利用人工全连接神经网络算法重建人类眼睛中的波前，在该方法中通过Shack-Hartmann波前探测器采集到的点阵列图在x,y方向的偏移δx和δy预测波前的zernike多项式系数，在网络训练过程中还通过对δx,δy中加入噪声来提高算法的鲁棒性。但通过δx,δy进行波前重建，前提是准确计算出δx,δy，该方法并未能解决怎样在强噪声环境下准确计算出δx,δy，而且先计算出δx,δy，再用δx,δy进行波前预测，整个算法的速度也会降低。2018年ZiqiangLi、XinyangLi等人提供了一种在含有噪声的情况下对Shack-Hartmann波前探测器中点阵列质心计算的方法，在噪声或者环境光污染的情况下，Shack-Hartmann中传统计算质心的方法将失效，该方法把将质心检测问题转化为一个分类问题，具体是把每个微透镜负责的像素编号，然后网络预测出重心所在的像素，再计算出质心位置。但通过神经网络先计算出点阵质心，在用质心重建波前，问题同样是会降低整个算法的计算速度。
技术实现思路
鉴于上述，本专利技术提供了一种基于深度学习的Shack-Hartmann波前探测器，通过引入卷积神经网络设计一个端到端的波前重建算法，不仅具有克服强噪声的能力，而且在计算速度上也将非常具有优势；完成这两点设计要求以后，本专利技术将满足了双光子显微系统对波前探测器快速灵敏的要求，具有非常大应用价值和意义。一种基于深度学习的Shack-Hartmann波前探测器，包括：CMOS图像传感器，用于采集光波经微透镜阵列形成的点阵列图像并提供给上位机；上位机，用于根据点阵列图像计算出波前的前n项zernike多项式系数，从而重建出光波的波前，n为大于1的自然数。进一步地，所述CMOS图像传感器采用产品型号为Dhyana400BSIV2.0的背照式sCMOS相机。进一步地，所述微透镜阵列采用产品型号为MLA300-14AR的透镜阵列，且固定在距离CMOS图像传感器感光面f处，f为微透镜阵列的焦距。进一步地，所述上位机内加载有VGG16神经网络模块，其输入为点阵列图像且为归一化后的灰度图，输出为n维的zernike多项式系数向量。进一步地，在训练所述VGG16神经网络模块时，利用氦氖激光器发射出的光波经光学4F系统两级放大后打到变形镜上，随机产生2万组n维的zernike多项式系数向量逐一加载到变形镜上用以产生不同的光波波前，不同波前的各组光波经微透镜阵列聚焦后形成对应的点阵列图像并由CMOS图像传感器采集提供给上位机，每一张点阵列图像及其对应的zernike多项式系数向量即构成了一组训练样本，用以对VGG16神经网络模块进行训练。进一步地，所述VGG16神经网络模块从输入至输出依次由卷积层H1～H2、最大池化层P1、卷积层H3～H4、最大池化层P2、卷积层H5～H7、最大池化层P3、卷积层H8～H10、最大池化层P4、卷积层H11～H13、最大池化层P5以及全连接层Q1～Q2级联构成，每一卷积层的输出均经ReLu激活函数处理，其中：卷积层H1～H2中的卷积核大小为3×3，卷积核数量为64，卷积步长为1；卷积层H3～H4中的卷积核大小为3×3，卷积核数量为128，卷积步长为1；卷积层H5～H7中的卷积核大小为3×3，卷积核数量为256，卷积步长为1；卷积层H8～H13中的卷积核大小为3×3，卷积核数量为512，卷积步长为1；最大池化层P1～P5中的池化核大小为2×2，步长为2；全连接层Q1的输出个数1024且输出经ReLu激活函数处理；全连接层Q2的输出个数n，即为光波波前的前n项zernike系数。进一步地，对所述VGG16神经网络模块进行训练的具体过程为：成批将训练样本的点阵列图像输入至VGG16神经网络模块中进行训练，计算其输出结果与对应真值之间的损失函数L并通过Momentum算法对整个神经网络模块中的参数不断进行更新，直至损失函数L收敛或达到最大迭代次数，从而完成训练。进一步地，所述损失函数L的表达式如下：其中：yi'为同一批次中第i个训练样本的点阵列图像输入至VGG16神经网络模块所输出得到的zernike多项式系数向量，yi为同一批次中第i个训练样本的zernike多项式系数向量，m为每一批次中的训练样本数量。优选地，所述n取值为22。本专利技术通过重新设计传统Shack-Hartmann波前探测器波前重建算法，利用卷积神经网络算法替代传统算法，用强噪声数据对卷积神经网络训练，不仅能在强噪声下准确重建出波前，而且因为算法是端到端的波前探测，运算速度上比传统方法也具有明显的优势。满足这两个设计要求以后，本专利技术能够解决在双光子显微系统中，随着在生物组织本文档来自技高网...

【技术保护点】
1.一种基于深度学习的Shack-Hartmann波前探测器，其特征在于，包括：/nCMOS图像传感器，用于采集光波经微透镜阵列形成的点阵列图像并提供给上位机；/n上位机，用于根据点阵列图像计算出波前的前n项zernike多项式系数，从而重建出光波的波前，n为大于1的自然数。/n

【技术特征摘要】
1.一种基于深度学习的Shack-Hartmann波前探测器，其特征在于，包括：
CMOS图像传感器，用于采集光波经微透镜阵列形成的点阵列图像并提供给上位机；
上位机，用于根据点阵列图像计算出波前的前n项zernike多项式系数，从而重建出光波的波前，n为大于1的自然数。


2.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述CMOS图像传感器采用产品型号为Dhyana400BSIV2.0的背照式sCMOS相机。


3.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述微透镜阵列采用产品型号为MLA300-14AR的透镜阵列，且固定在距离CMOS图像传感器感光面f处，f为微透镜阵列的焦距。


4.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述上位机内加载有VGG16神经网络模块，其输入为点阵列图像且为归一化后的灰度图，输出为n维的zernike多项式系数向量。


5.根据权利要求4所述的Shack-Hartmann波前探测器，其特征在于：在训练所述VGG16神经网络模块时，利用氦氖激光器发射出的光波经光学4F系统两级放大后打到变形镜上，随机产生2万组n维的zernike多项式系数向量逐一加载到变形镜上用以产生不同的光波波前，不同波前的各组光波经微透镜阵列聚焦后形成对应的点阵列图像并由CMOS图像传感器采集提供给上位机，每一张点阵列图像及其对应的zernike多项式系数向量即构成了一组训练样本，用以对VGG16神经网络模块进行训练。


6.根据权利要求4所述的Shack-Hartmann波前探测器，其特征在于：所述VGG16神经网络模块从输入至输出依次由卷积层H1～H2、最大池化层P1、卷积层...

【专利技术属性】
技术研发人员：刘华锋，张瑞军，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33