一种三维图像获取系统及重建方法技术方案

本发明专利技术公开了基于深度学习的三维图像的重建方法，该方法可以快速重建不同离焦距离的全息图相位信息，同时生成的网络模型CUE

【技术实现步骤摘要】
一种三维图像获取系统及重建方法


[0001]本专利技术属于数字全息
，涉及一种基于深度学习的端到端相位重建方法。

技术介绍

[0002]数字全息术在图像重建和定量相位成像方法方面取得了显著进展，全息成像系统中的一个核心步骤是相位恢复。数字全息技术获得的全息图被记录在电荷耦合元件(charge
‑
coupled device,CCD)上，计算机连接CCD从而得到采集的全息图，计算机再通过模拟光学的衍射来实现全息图的重建。然而，受实验条件的限制，传统重建方法常常会面临采集全息图光路搭建复杂、步骤实施繁琐、数据采集困难以及结果易受干扰等难题，这些难题使得传统数字全息技术不能满足目前高精度且实时的成像需求。近年来，随着计算机硬件以及算法的提升，深度学习在工业识别、农业检测和医疗图像等各领域的应用层出不穷，与此同时深度学习也促进了全息重建技术的发展。
[0003]基于深度学习的相位检索算法也被证明可以使用训练好的神经网络来重建全息图。HUANG等人搭建卷积神经网络用于全息图重建，尽管卷积网络可以快速重建相位图和强度图，但卷积网络提取特征较少，导致重建效果不佳。王帅等人使用带有局部残差结构的亚像素卷积实现全息重建，不足在于实验样品不够丰富，所用的样品多为分辨率板图像，仅对少量的细胞图像进行了测试，且不满足实时性要求。PIRONE等人利用多尺度卷积神经网络实现了端到端全息细胞图像重建过程。Edmund等人提出了基于CNN网络(卷积神经网络)将距离估计转换为全息图预测和自聚焦转换为回归问题，其优点是可以在不知道任何物理参数的情况下预测距离。埃德蒙教授的团队提出了一种基于深度学习的数字全息端到端自聚焦重建网络，它不需要任何先验知识来重建无噪声图像，振幅和相位重建图像的SSIM值分别达到0.92和0.97。

技术实现思路

[0004]本专利技术申请为进一步满足重建实验聚焦及高精度的需求，提出了一种新的基于深度学习的全息图像重建方法，该算法基于改进的跨阶段U型网络U
‑
Net，融合跨阶段局部网络CSP，加入多尺度特征融合模块ASPP，不仅可以对全息图可以一步实现端到端重建，还可以对不同离焦距离的全息图达到自聚焦重建效果，使用已生成的网络模型还可对不同尺度的大视场的全息图进行重建，这样就可以采集到的任意尺寸全息图都可以实时重建。
[0005]本专利技术申请采用以下技术方案：
[0006]一种三维图像获取系统，其特征在于：包括He
‑
Ne激光器，扩束
‑
滤波
‑
准直装置，分束棱角，合束棱镜以及CCD传感器；其中，由He
‑
Ne激光器发出的波长为632.8nm的激光经扩束
‑
滤波
‑
准直装置后由分束棱镜分为两束，一束经样品后作为物光波，另一束作为参考光波，物光波和参考光波经合束棱镜合束，并在CCD传感器上形成全息图像，所述全息图像被CCD传感器记录并保存。
[0007]优选地，所述分束棱镜为偏振分束棱镜。
[0008]优选地，其利用上述的三维图像获取系统获取全息图像，并将该全息图像进行重建以得到样品的三维图像，将上述全息图像输入融合空洞空间卷积的跨阶段U型网络，即CUE
‑
Net，经CUE
‑
Net重建即可得到样品的三维图像；所述CUE
‑
Net包括编码网络和解码网络，其中编码网络包括多个输入层(input)，解码网络包括多个输出层(output)；其中，跨阶段局部网络cspblock为CUE
‑
Net的基本结构，设置在编码网络的输入层和解码网络的输出层中；在编码网络中，卷积核大小为3
×
3的卷积层(3x3conv)与跨阶段局部网络(cspblock)级联成下沉Down操作，其用于提取局部特征且用于图片级分类，在图像特征传播时得到抽象语义特征；在解码网络中，双线性插值(blinear)与跨阶段局部网络cspblock级联成上升Up操作，用于上采样，恢复通道大小；在解码网络的最后连接一个由两个内核大小为3
×
3的卷积层、残差模块、多尺度特征融合模块ASPP组成的卷积组块用于降维处理，并恢复到初始图像大小；
[0009]其中，跨阶段局部网络cspblock中包含注意力机制ECA，其具体结构为：左边是卷积核大小为1
×
1、步长为2的卷积层，右边是两层卷积核大小为1
×
1、步长为1的卷积层与注意力机制ECA堆叠，之后将两边的结果进行拼接；
[0010]其中，多尺度特征融合模块ASPP包括多个不同扩张率的空洞卷积，卷积后的各个结构拼接到一起，然后通过一个卷积核大小为1
×
1的卷积层。
[0011]优选地，解码网络的最后为输出卷积层，在输出卷积层的残差块后加入多尺度特征融合模块ASPP。
[0012]本申请提出了一种三维图像重建方法，该方法可以快速重建不同离焦距离的全息图相位信息，同时生成的网络模型CUE
‑
Net可以对多尺度大视场的全息图进行重建。并与传统角谱重建方法相比，该方法提高了重建图像的质量，同时也提高了重建速度。与现有的U型网络相比，CUE
‑
Net输出重建结果的峰值信噪比PSNR和结构相似性指数SSIM分别由原来的18.5dB和0.89提高至23.98dB和0.97，能够很好地抑制散斑噪声影响。
附图说明
[0013]图1获取全息图的光路系统示意图；
[0014]图2通过全息图重建物体三维图像的基本流程图；
[0015]图3部分数据集展示图；
[0016]图4 CUE
‑
Net网络结构的整体结构；
[0017]图5 CUE
‑
Net网络结构的DOWN结构；
[0018]图6 CUE
‑
Net网络结构的UP结构；
[0019]图7 CSPblock的结构示意图；
[0020]图8 ASPP的结构示意图；
[0021]图9测试结果，其中，(a)人血细胞全息图；(b)传统方法的真血细胞相位值；(c)CUE
‑
NET输出结果；(d)鸡血细胞全息图；(e)传统方法的真血细胞相位值；(f)CUE
‑
NET输出结果；
[0022]图10 SSIM及PSNR值的示意图；
[0023]图11四种方法误差图；
[0024]图12 U
‑
Net和CUE
‑
Net的剖面分析对比图，其中，(a)全息图；(b)真值；(c)U
‑
NET输
出结果；(d)b和c像素的相位高轮廓图；(e)真值；(f)CUE
‑
NET网络输出；(g)e和f像素的相位高轮廓图；
[0025]图13不同尺寸的全息图重建结果比较图；其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维图像获取系统，其特征在于：包括He
‑
Ne激光器，扩束
‑
滤波
‑
准直装置，分束棱角，合束棱镜以及CCD传感器；其中，由He
‑
Ne激光器发出的波长为632.8nm的激光经扩束
‑
滤波
‑
准直装置后由分束棱镜分为两束，一束经样品后作为物光波，另一束作为参考光波，物光波和参考光波经合束棱镜合束，并在CCD传感器上形成全息图像，所述全息图像被CCD传感器记录并保存。2.根据权利要求1所述的三维图像获取系统，其特征在于：所述分束棱镜为偏振分束棱镜。3.一种三维图像重建方法，其利用权利要求1所述的三维图像获取系统获取全息图像，并将该全息图像进行重建以得到样品的三维图像，其特征在于：将上述全息图像输入融合空洞空间卷积的跨阶段U型网络，即CUE
‑
Net，经CUE
‑
Net重建即可得到样品的三维图像；所述CUE
‑
Net包括编码网络和解码网络，其中编码网络包括多个输入层（input），解码网络包括多个输出层（output）；其中，跨阶段局部网络cspblock为CUE

【专利技术属性】
技术研发人员：江夏男，江丁男，冯晓霞，王华英，王学，门高夫，
申请(专利权)人：河北博夏光电信息科技有限公司，
类型：发明
国别省市：