一种显微镜图像的景深延拓方法及装置制造方法及图纸

本发明专利技术公开了一种显微镜图像的景深延拓方法：对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息；对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；将高频信息和深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；将大分辨率的相对深度图以最大值原则获取决策图；由决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。本发明专利技术还公开了一种显微镜图像的景深延拓装置，包括：高频信息提取模块、深度估计模块和融合模块。该方法及装置可以有效减小显微镜直接获取图像的弥散斑对最终大景深图像对比度的影响。斑对最终大景深图像对比度的影响。斑对最终大景深图像对比度的影响。

【技术实现步骤摘要】
一种显微镜图像的景深延拓方法及装置


[0001]本专利技术涉及图像处理领域，主要涉及图像融合与景深延拓两大
，特别涉及一种显微镜图像的景深延拓方法及装置。

技术介绍

[0002]景深延拓技术是指将同一个观测对象，不同聚焦层下拍摄的图像融合成一幅大景深图像的技术，该技术在显微数码成像领域有非常大的意义。
[0003]目前获取大景深图像的主要方法是通过步进电机控制显微镜的Z轴调节旋钮，将不同层的图像成像到图像传感器，在定位以后，一张张保存下来，然后对所有图像进行清晰度区域提取，最后融合得到一幅大景深的图像。如公开号为CN111989608A的中国专利公开的对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法。
[0004]另一种方法是通过步进电机精确控制Z轴调焦机械，对普通显微镜Z轴进行等步距扫描，边扫描边融合。这种方法也需要对传统的显微镜进行改装，对专业应用有一定的意义，但对普通用户，会增加成本，意义不大。如公开号为CN112241065A的中国专利公开的显微镜和用于产生具有扩展的景深的显微图像的方法。
[0005]除此以外，常见的景深延拓算法用于实时处理有很多困难，例如融合质量问题，即局部融合产生的图像撕裂现象，这是因为由小景深镜头产生的弥散斑容易被误判成高频信息进而被融合到最终的大景深图像中，使最终结果图对比度降低。

技术实现思路

[0006]本专利技术的目的在于提供一种显微镜图像的景深延拓方法及装置，可以有效减小显微镜直接获取图像的弥散斑对最终大景深图像对比度的影响。
[0007]本专利技术提供如下技术方案：
[0008]一种显微镜图像的景深延拓方法，所述方法包括以下步骤：
[0009](1)对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息；
[0010](2)对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；
[0011](3)将步骤(1)中的高频信息和步骤(2)中的深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；
[0012](4)将步骤(3)中的大分辨率的相对深度图以最大值原则获取决策图；
[0013](5)由步骤(4)获取的决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。
[0014]优选的，在本专利技术中，基于尽量让更多位于不同焦面深度的图像参与景深延拓且尽可能节约运算资源两个前提，筛选出焦面变化大的显微镜图像序列用于景深延拓方法。
[0015]在步骤(1)中，所述高频信息的获取方法为：
[0016]将单张图像输入图像建立拉普拉斯金字塔；记第i层原图像为G
i
，Down()为下采样
操作，Up()为上采样操作，拉普拉斯金字塔第i图像L
i
的获取方法如下：
[0017]L
i
＝G
i
‑
Up(Down(Gi))
[0018]得到的拉普拉斯金字塔只是图像的高频成分，残差层的像素值有正有负，不论像素值的符号如何都属于高频成分，对拉普拉斯金字塔的残差层图像取绝对值，完成多尺度图像高频信息的提取，最终得到的拉普拉斯金字塔的残差图层表达式为：
[0019]L
i
＝abs(G
i
‑
Up(Down(Gi)))。
[0020]在步骤(1)中，所述高频信息用于后续大分辨率深度估计图像的重建。
[0021]其中，建立图像的拉普拉斯金字塔，对图像进行下采样得到小尺寸图像，再对小尺寸图像进行上采样，将上采样得到的图像与原图像取差值得到拉普拉斯差分图像，也就是原图像的高频成分。
[0022]优选的，图像清晰度包括图像分辨率和图像锐度。研究表明,彩色图像的清晰度主要取决于图像的亮度分量。图像的细节和边缘部分含有较多的图像特征和信息,同时也是影响图像清晰度的主要区域。基于这一研究，该专利技术对输入图像进行颜色空间转换，将图像从RGB空间转换到HSV空间，取HSV空间中的V分量建立拉普拉斯差分金字塔。
[0023]在步骤(2)中，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图的方法为：将拉普拉斯金字塔的残差图层作为先验信息结合自然图像抠图理论，具体为：
[0024]通过对先验信息应用Matting Laplacian矩阵得到图像每个像素的深度信息，它是通过最小化如下损失函数得到的图像深度信息：
[0025][0026]和D是向量形式的图像先验信息和图像深度信息，是一个对角矩阵，当i像素处于图像中物体的边缘位置时，L是Matting Laplacian矩阵，矩阵L的元素值为：
[0027][0028]δ
ij
是kronecker函数，U3是3阶单位阵，μ
k
和Σ
k
是窗口ω
k
的均值和协方差矩阵，ε是正则化参数，I
i
和I
j
是像素点i和j的像素值，|ω
k
|是窗口ω
k
的大小；
[0029][0030]求解上述方程得到最终深度估计信息图D。
[0031]在步骤(2)中，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，这是因为深度估计算法计算量大，对大分辨率图像进行深度估计会耗费大量内存并且求解效率很低。对金字塔顶层的小分辨率图像进行深度估计，得到深度估计信息图，结合得到的不同尺度的高频信息(拉普拉斯金字塔的残差图层)组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图。对于自然图像抠图理论：以图像的清晰度图作为先验信息结合自然图像抠图理论，得到的图像前景就是清晰区域，背景为模糊区域，像素值大的区域(前景)离镜头的距离更近，背景相对距离更远；以图像的高频区域作为清晰区域为根据获取图像的清晰度图，而拉普拉斯金字塔的残差图像层中包含了高频信号，将其视作先验信息输
入以获取深度估计图。
[0032]在步骤(4)中，获取决策图的方法为：根据得到的深度信息图像序列逐像素取大返回索引值得到决策图(其中，决策图的像素值是输入图像序列的序号)：
[0033][0034]其中，n表示深度信息图像序列组数，i表示深度信息图像中的i行，j表示深度信息图像中的j列。
[0035]在步骤(5)中，对决策图应用中值滤波除去椒盐噪声，用滤波后的决策图指导源图像序列进行融合，融合图像的像素值是对应索引图像像素点的像素值。逐像素对比的过程中没有受到局部像素的约束，得到的决策图中存在噪声，为了获得更好的显示效果，因此需要请出去噪声。
[0036]本专利技术还提供了一种显微镜图像的景深延拓装置，所述装置包括：
[0037]高频信息提取模块，对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息并输入到深度估计模块；
[0038]深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显微镜图像的景深延拓方法，其特征在于，所述方法包括以下步骤：(1)对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息；(2)对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；(3)将步骤(1)中的高频信息和步骤(2)中的深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；(4)将步骤(3)中的大分辨率的相对深度图以最大值原则获取决策图；(5)由步骤(4)获取的决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。2.根据权利要求1所述的显微镜图像的景深延拓方法，其特征在于，在步骤(1)中，所述高频信息的获取方法为：将单张图像输入图像建立拉普拉斯金字塔；记第i层原图像为G
i
，Down()为下采样操作，Up()为上采样操作，拉普拉斯金字塔第i图像L
i
的获取方法如下：L
i
＝G
i
‑
Up(Down(Gi))得到的拉普拉斯金字塔只是图像的高频成分，残差层的像素值有正有负，不论像素值的符号如何都属于高频成分，对拉普拉斯金字塔的残差层图像取绝对值，完成多尺度图像高频信息的提取，最终得到的拉普拉斯金字塔的残差图层表达式为：L
i
＝abs(G
i
‑
Up(Down(Gi)))。3.根据权利要求2所述的显微镜图像的景深延拓方法，其特征在于，在步骤(2)中，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图的方法为：将拉普拉斯金字塔的残差图层作为先验信息结合自然图像抠图理论，具体为：通过对先验信息应用Matting Laplacian矩阵得到图像每个像素的深度信息，它是通过最小化如下损失函数得到的图像深度信息：得到的图像深度信息：和D是向量形式的图像先验信息和图像深度信息，是一个对角矩阵，当i像素处于图像中物体的边缘位置时，L是Matting Laplacian矩阵，矩阵L的元素值为：δ
ij
是kronecker函数，U3是3阶单位阵，μ
k
和∑
k
是窗口ω
k
的均值和协方差矩阵，ε是正则化参数，I
i
和I
j
是像素点i和j的像素值，|ω
k
|是窗口ω
k
的大小；求解上述方程得到最终深度估计信息图D。4.根据权利要求1所述的显微镜图像的景深延拓方法，其特征在于，在步骤(4)中，获取决策图的方法为：根据得到的深度信息图像序列逐像素取大返回索引值得到决策图：其中，n表示深度信息图像序列组数，i表示深度信息图像中的i行，j表示深度信息图像中的j列。
5.根据权利要求1所述的显微镜图像的景深延拓方法，其特征在于，在步骤(5)中，对决策图应用中值滤波除去椒盐噪声，用滤波后的决策图指导源图像序列...

【专利技术属性】
技术研发人员：匡婷娜，周海洋，余飞鸿，
申请(专利权)人：杭州图谱光电科技有限公司，
类型：发明
国别省市：