大焦深显微成像系统及图像复原方法技术方案

本发明专利技术涉及一种光学成像系统及方法，具体涉及一种大焦深显微成像系统及图像复原方法。克服基于三次方型相位掩膜板的波前编码显微成像方法针对活动目标成像时，存在的易于出现伪像的问题。系统包括波前编码成像镜头、图像探测器以及图像处理单元；波前编码成像镜头包括沿光路依次设置的成像镜头与旋转对称相位掩膜板；图像探测器设置在波前编码成像镜头的出光光路中；图像处理单元用于接收图像探测器的图像，并复原图像。本发明专利技术将深度学习神经网络复原与基于重建的复原相结合的两步图像复原框架，通过离线学习和在线推演，实时化波前编码成像，能够兼顾焦深拓展、清晰成像以及准实时化等多重要求。实时化等多重要求。实时化等多重要求。

【技术实现步骤摘要】
大焦深显微成像系统及图像复原方法


[0001]本专利技术涉及一种光学成像系统及方法，具体涉及一种大焦深显微成像系统及图像复原方法。

技术介绍

[0002]扩展光学系统的焦深一直都是学术界研究的热点，从20世纪80年代中期开始，虽然形形色色的方法被提出用于焦深扩展，但是直到美国科罗拉多大学的Dowski博士和Cathey教授于1995年提出波前编码的概念之后，焦深延拓才有了真正意义上的突破。
[0003]以一维光学系统为例，其离焦光学传递函数OTF可以通过广义光瞳函数的自相关运算来获得，如下所示：
[0004][0005]其中，u和x分别是归一化的空间频率与孔径平面横向坐标；W
20
是最大离焦波像差系数；k是波数；而f则代表相位掩膜板通用表达式，j为复数虚部；
[0006]对于传统成像系统来说，上式中的f项不存在，因此可以轻松得到离焦OTF的具体表达式为：
[0007][0008]可以看到，当系统未引入相位掩膜板时，其离焦光学传递函数OTF对离焦是非常敏感的，而且会在频率空间周期性地出现零点，从而造成不可逆的信息损失。但是一旦将E.R.Dowski博士所专利技术的三次方型相位掩膜板(f(x)＝αx3)引入到光学系统的入瞳面上之后，通过静态相位近似法就可以得到一个完全不同的离焦光学传递函数OTF，如下：
[0009][0010]其中，α是调制因子，sgn()是阶跃函数；
[0011]显而易见，此时离焦光学传递函数OTF的模，即MTF(调制传递函数)与离焦波像差系数是无关的，也就是说三次方型相位掩膜板可以使系统MTF对离焦不敏感；虽然OTF的相位部分与离焦参量W
20
有关，但是只要调制因子α增大，其对W
20
的依赖度就会显著降低。同时最为重要的是，在添加了三次方型相位掩膜板之后，MTF在有效频率范围之内只是在幅度上有一定程度的下降，而不存在零点或近零点，即系统出现离焦时，超出原始系统景深范围的信息并没有丢失，之后通过数字图像复原算法就可以被有效地恢复。同时，由于相位掩膜板对系统的通光量和分辨率都不会造成影响，所以波前编码是一种非常不同于缩小孔径法、中心遮拦法或切趾法的新型大景深成像方法。
[0012]显微成像是特别需要拓展焦深的成像领域。显微物镜的数值孔径NA越大，分辨率越高，其对应的焦深则越小。这就意味着，对于高分辨率大数值孔径显微物镜来说，每一次
能够高清晰成像的范围将非常有限，如果要看清楚样本在不同深度的细节，就必须通过调焦的方式获取不同深度的样本图像。对于静态样本显微成像而言，这种方式没有问题，而对于可动样本比如活体生物细胞、水体中的藻类等，很难通过调焦的方式实现不同深度样本图像的获取。
[0013]因此，将波前编码技术应用于显微成像非常合适。经典的三次方型相位掩膜板虽然能够将焦深拓展10倍以上，甚至达到20倍，但是由于其所对应的点扩散函数也是非旋转对称的，在复原的过程中由于相位残差导致复原图像中会出现大量的伪像，对样本细节的辨识产生了干扰。

技术实现思路

[0014]为了克服基于三次方型相位掩膜板的波前编码显微成像方法针对活动目标成像时，存在的易于出现伪像的问题。本专利技术提供一种大焦深显微成像系统，同时还提供一种适用于该成像系统的图像复原方法。
[0015]本专利技术的构思是：
[0016]本专利技术采用旋转对称相位掩模板，没有复原过程中相位残差的影响，所以不会出现伪像，尽管其焦深拓展能力通常为5倍左右，最大很难超过10倍，但是对于显微成像应用从原始的几微米焦深度拓展至几十微米来说，也将显著提升应用效能。进一步地，基于深度学习神经网络，通过离线学习和在线推演，实时化波前编码成像，能够兼顾焦深拓展、清晰成像以及准实时化等多重要求。
[0017]本专利技术的技术方案是提供一种大焦深显微成像系统，其特殊之处在于：包括波前编码成像镜头、图像探测器以及图像处理单元；
[0018]所述波前编码成像镜头包括沿光路依次设置的成像镜头与旋转对称相位掩膜板；
[0019]所述图像探测器设置在波前编码成像镜头的出光光路中；
[0020]所述图像处理单元用于接收图像探测器的图像，并复原图像。
[0021]进一步地，所述旋转对称相位掩膜板为扩展球差相位掩模板，对应的二维掩膜函数形式为：
[0022][0023]其中：
[0024]α，β以及γ代表扩展球差相位掩膜板的相位调制强度；x以及y均为半孔径坐标，X
max
与Y
max
为扩展球差相位掩膜板的通光半孔径，单位均为mm，所述x取值范围为[
‑
X
max
，X
max
]，所述y取值范围为[
‑
Y
max
，Y
max
]。
[0025]进一步地，为了实时复原图像，所述图像处理单元基于深度学习神经网络实时复原图像，具体为：
[0026]采用训练完成的去模糊卷积神经网络PAR1，对编码图像序列B2在线实时复原得到图像序列C；其中编码图像序列B2为图像探测器实时输出的图像；
[0027]采用基于重建的复原方法对图像序列C进行去卷积得到图像序列D；
[0028]采用训练完成的去模糊卷积神经网络PAR2，对图像序列D在线实时复原得到清晰
图像序列E。
[0029]进一步地，以图像序列A和编码图像序列B1作为训练集，离线训练去模糊卷积神经网络PAR1；图像序列A为：调节载物台获取的标准成像镜头下模糊到清晰再到模糊的一系列图像；编码图像序列B1为：调节载物台获取的所述波前编码成像镜头下模糊到清晰再到模糊的一系列图像；图像序列A和编码图像序列B1中具有相同序列号的图像的离焦尺度相同。
[0030]进一步地，以图像序列A和图像序列D作为训练集，离线训练去模糊卷积神经网络PAR2。
[0031]进一步地，所述波前编码成像镜头中全部镜片的通光口径均为圆形，除扩展球差相位掩模板之外，其他镜片均为球面镜。
[0032]进一步地，所述成像镜头包括沿光路依次设置的第一镜片、第二镜片、第三镜片、第四镜片、第五镜片、第六镜片以及第七镜片。
[0033]进一步地，扩展球差相位掩模板前表面的通光半孔径为8.4416mm，后表面的通光半孔径为8.5222mm；所述扩展球差相位掩膜板的前表面与扩展球差相位掩膜板的后表面之间的距离，即相位掩膜板的厚度为5mm；所述相位掩膜板的后表面与所述第一镜片前表面之间的距离为0.5mm。
[0034]进一步地，所述第一镜片的前表面的曲率半径是39.7619mm，前表面通光半孔径为8.5889mm；所述第一镜片的后表面的曲率半径是
‑
162.5013mm，后表面通光半孔径为8.5020mm；所述第一镜片的前表面与第一镜片的后表面之间的距离，即第一镜片的中心厚度是2.8mm；所述第一镜片的后表面与所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大焦深显微成像系统，其特征在于：包括波前编码成像镜头、图像探测器以及图像处理单元；所述波前编码成像镜头包括沿光路依次设置的成像镜头与旋转对称相位掩膜板；所述图像探测器设置在波前编码成像镜头的出光光路中；所述图像处理单元用于接收图像探测器的图像，并复原图像。2.根据权利要求1所述的大焦深显微成像系统，其特征在于：所述旋转对称相位掩膜板为扩展球差相位掩模板，对应的二维掩膜函数形式为：其中：α，β以及γ代表扩展球差相位掩膜板的相位调制强度；x以及y均为半孔径坐标，X
max
与Y
max
为扩展球差相位掩膜板的通光半孔径，单位均为mm，所述x取值范围为[
‑
X
max
，X
max
]，所述y取值范围为[
‑
Y
max
，Y
max
]。3.根据权利要求2所述的大焦深显微成像系统，其特征在于：所述图像处理单元基于深度学习神经网络实时复原图像，具体为：采用训练完成的去模糊卷积神经网络PAR1，对编码图像序列B2在线实时复原得到图像序列C；其中编码图像序列B2为图像探测器实时输出的图像；采用基于重建的复原方法对图像序列C进行去卷积得到图像序列D；采用训练完成的去模糊卷积神经网络PAR2，对图像序列D在线实时复原得到清晰图像序列E。4.根据权利要求3所述的大焦深显微成像系统，其特征在于：以图像序列A和编码图像序列B1作为训练集，离线训练去模糊卷积神经网络PAR1；图像序列A为：获取的标准成像镜头下模糊到清晰再到模糊的一系列图像；编码图像序列B1为：获取的所述波前编码成像镜头下模糊到清晰再到模糊的一系列图像；图像序列A和编码图像序列B1中具有相同序列号的图像的离焦尺度相同。5.根据权利要求4所述的大焦深显微成像系统，其特征在于：以图像序列A和图像序列D作为训练集，离线训练去模糊卷积神经网络PAR2。6.根据权利要求5所述的大焦深显微成像系统，其特征在于：所述波前编码成像镜头中全部镜片的通光口径均为圆形，所述成像镜头中的镜片均为球面镜。7.根据权利要求6所述的大焦深显微成像系统，其特征在于：所述成像镜头包括沿光路依次设置的第一镜片、第二镜片、第三镜片、第四镜片、第五镜片、第六镜片以及第七镜片。8.根据权利要求7所述的大焦深显微成像系统，其特征在于：所述扩展球差相位掩模板前表面的通光半孔径为8.4416mm，后表面的通光半孔径为8.5222mm；所述扩展球差相位掩膜板的厚度为5mm；所述相位掩膜板的后表面与所述第一镜片前表面之间的距离为0.5mm。9.根据权利要求8所述的大焦深显微成像系统，其特征在于：所述第一镜片的前表面的曲率半径是39.7619mm，前表面通光半孔径为8.5889mm；所述第一镜片的后表面的曲率半径是
‑
162.5013mm，后表面通光半孔径为8.5020mm；所述第一镜片的中心厚度是2.8mm；所述第一镜片与所述第二镜片之间的间隔为0.7mm；
所述第二镜片的前表面的曲率半径是34.9171mm，前表面通光半孔径为8.2787mm；所述第二镜片的后表面的曲率半径是67.3760mm，后表面通光半孔径为7.9253mm；所述第二镜...

【专利技术属性】
技术研发人员：赵惠，杨明洋，张希铭，夏思宇，沈强，
申请(专利权)人：水利部中国科学院水工程生态研究所，
类型：发明
国别省市：