一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法技术

本发明专利技术公开了一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，包括：筛选模块，根据景深变化判据筛选输入图像；配准模块，平衡亮度并估计图像间的形变，进行修正；融合模块，实时输入图像和前一次融合图像分别建立拉普拉斯金字塔，采用最大对比度原则融合金字塔各层，最后还原融合后的金字塔为最终融合图像。本发明专利技术针对实时处理需求，提出了一套完善的景深延拓方案，可用于实时处理显微观测图像，并获得大景深、高质量的景深延拓图像。借助上述方法，用户只需手动旋转细调焦旋钮，无需关心旋转速度的快慢，就可自动得到一幅超景深显微图像。上述方法对于景深变化具有较强鲁棒性，不易受景深变化程度或方向的改变而影响最终融合质量。

A real-time depth extension method based on Laplacian pyramid for microscope

The invention discloses a real-time depth extension method based on Laplacian pyramid for microscope, which includes: a filtering module, which filters input images according to the depth of field change criteria; a registration module, which balances brightness and estimates the deformation between images for correction; a fusion module, which establishes Laplacian pyramid respectively for real-time input image and the previous fusion image, and adopts the maximum contrast The degree principle fuses all layers of the pyramid, and finally restores the fused pyramid as the final fused image. According to the requirements of real-time processing, the invention proposes a set of perfect depth of field extension scheme, which can be used for real-time processing of microscopic observation images and obtaining large depth of field and high-quality depth of field extension images. With the help of the above method, the user only needs to manually rotate the fine focus knob, and does not need to care about the speed of rotation, then an ultra depth of field micro image can be automatically obtained. The above method is robust to the change of depth of field and is not easy to affect the final fusion quality due to the change of depth of field or direction.

【技术实现步骤摘要】
一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
本专利技术涉及图像处理
，具体涉及一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法。
技术介绍
景深延拓技术是指将同一个观测对象，在不同聚焦层下拍摄的图像融合成一幅大景深图像的技术，该技术在显微数码成像领域有非常重大的意义。目前获取大景深图像的主要方法是通过步进电机控制显微镜的Z轴调节旋钮，将不同层的图像成像到图像传感器，在定位以后，一张张保存下来，然后对所有不同层的图像进行后继的独立融合，最后得到一幅大景深的图像。例如，公开号为CN108319010A的专利说明书公开了一种超景深图像采集系统，采用一个含有能电动升降调景深的显微镜，所述的显微镜含有底座、立柱、调节主机升降的齿轮齿条传动机构和装在立柱上的步进电机，载物台及光源。此系统还包括装在显微镜底盘内的控制器和外置的计算机。其工作流程是；在载物台上放置待观察采集的物体，显微镜从上至下在计算机通过控制器控制步进电机等距运行，每停顿一次计算机通过CCD摄像头采集一幅局部清晰图像，然后计算机将采集的N幅局部清晰图像融合，则得到一幅突破景深限制的从上至下都清晰的图像。另一种方法是通过步进电机精确控制Z轴调焦机械，对普通显微镜Z轴进行等步距扫描，边扫描边融合。这种方法也需要对传统的显微镜进行改装，对专业应用有一定的意义，但对于普通用户，会增加成本，意义不大。除此以外，常见的景深延拓算法用于实时处理有很多困难。原因可以归结于以下几点，一是配准困难，实时处理时不能轻易的确定用于配准的参考图像，而且在焦深跨度大的情况下，并不一定能找到足够可信的特征点对；二是融合质量问题，局部融合产生的图像撕裂，或者连续融合时的不断加权都会影响最后的融合图像质量，这些运算需要大量的计算开支，也加剧了实时处理的难度。公开号为CN108020509A的专利说明书公开了一种光学投影层析成像的方法，拍摄生物样品若干张不同角度不同焦面的图像；利用拉普拉斯金字塔算法将同一个角度不同焦面的图像融合成长景深图片；利用滤波反投影算法将生物样品不同角度的长景深图片重建。该技术方案仍无法解决配准问题。
技术实现思路
针对本领域存在的不足之处，本专利技术提供了一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，可实现显微镜图像的实时景深延拓。一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，重复进行实时图像处理流程，直至完成实时景深延拓；所述实时图像处理流程包括将实时图像依次传入筛选模块、配准模块和融合模块，得到融合图像和输出图像；所述筛选模块用于判断当前实时图像与前一帧传入配准模块的实时图像的景深是否发生变化，若发生变化，则将当前实时图像作为输入图像传入所述配准模块，并作为参考图像用于对比下一帧实时图像的景深是否发生变化；若未发生变化，则直接进入下一帧实时图像的判断和筛选；所述配准模块用于平衡输入图像和前一次实时图像处理流程所得的融合图像的亮度，再通过建立输入图像和融合图像的图像金字塔，在不同尺度上计算两幅图像的形变关系，并将融合图像根据形变关系进行配准；所述融合模块根据输入图像和配准后的融合图像建立拉普拉斯金字塔，并根据最大对比度原则将两组拉普拉斯金字塔逐层融合得到一组融合金字塔，融合金字塔以带有锐化的方式还原，得到输出图像，以未锐化的方式还原，得到用于下一次融合的融合图像。本专利技术方法包括以下三大模块：筛选模块，根据景深变化判据筛选输入图像；配准模块，平衡亮度并估计图像间的形变，进行修正；融合模块，实时输入图像和前一次融合图像分别建立拉普拉斯金字塔，采用最大对比度原则融合金字塔各层，最后还原融合后的金字塔为最终融合图像。所述筛选模块从实时图像中筛选出图像进入融合队列，基于尽量让更多位于不同焦面深度的图像参与景深延拓且尽可能节约运算资源这两个前提，本专利技术将这个过程分为静止状态和焦面深度改变两种状态。后者由于焦面深度改变，图像原本成像清晰的部分变得模糊，原本不在景深范围内的部分变得清晰，而前者像素的改变主要来自于噪声。为了区分焦面深度变化和噪声引起的图像变化，作为优选，所述筛选模块判断景深是否发生变化的方法包括步骤：(1-A)将实时图像和参考图像灰度化后相减取绝对值获得差异图像；(1-B)将差异图像按式(I)进行阈值化处理：其中，T为阈值，为差异图像的像素均值和像素方差的线性组合；(1-C)阈值化处理后的差异图像经压缩得到8*8大小的压缩差异图像，所述压缩差异图像的像素值是原差异图像对应区域的像素平均值，若压缩差异图像的像素值均不小于1，判定实时图像和参考图像的景深发生了变化；否则，判定实时图像和参考图像的景深未发生变化。进一步优选，所述阈值T按式(II)计算：T＝ε+nσ(II)，其中，ε为差异图像的像素均值，σ为差异图像的像素方差，n为常数。经测试，在一优选例中，n为3。作为优选，所述筛选模块实时感应显微镜的Z轴状态，若显微镜的Z轴处于静止状态，所述筛选模块停止将未发生景深变化的实时图像传入配准模块，直至实时图像的景深发生变化。焦面深度的改变会影响图像的亮度，为了减小亮度变化对景深延拓结果的影响，需要平衡输入图像和前一次融合得到的融合图像的整体亮度。此外，本专利技术将输入图像作为参考图像，把前一次融合得到的融合图像向参考图像进行配准。作为优选，所述配准模块平衡输入图像和前一次实时图像处理流程所得的融合图像的亮度的方法包括步骤：(2-A)对输入图像和融合图像进行像素采样，并分别累加每幅图像的采样像素的R值、G值和B值；(2-B)将融合图像的各通道的采样像素之和与输入图像的同一通道的采样像素之和的比值作为平衡输入图像亮度的系数，所述系数与输入图像的同一通道的像素值相乘，完成输入图像的亮度平衡。在一优选例中，步骤(2-A)中的像素采样大小为：水平方向和竖直方向的步长分别为被采样图像的宽和高的百分之一。步骤(2-B)中，以R通道为例，平衡输入图像亮度的计算公式为：其中，为输入图像平衡亮度后的各像素R值，为输入图像平衡亮度前的各像素R值，为输入图像平衡亮度前的采样像素的R值之和，为融合图像的采样像素的R值之和。G通道、B通道的计算方法与R通道相同。作为优选，所述配准模块进行配准的方法包括步骤：建立输入图像和融合图像的图像金字塔，遵循由粗及细的原则，从尺度最小的一层开始计算形变系数，使得图像差值D为最小值，并将所得形变系数作为初始值传递到相邻尺度更大的下一层，如此循环，直至获得原始分辨率下的形变系数，并将融合图像根据所得形变系数进行配准；所述图像差值D按式(III)计算：D＝∑(I1(x,y)-I2(x,y；p))2(III)，其中，I1为输入图像，I2为融合图像，p为形变系数。进一步优选，所述形变系数以平移量t、缩放量s和旋转量r描述；除尺度最小的一层外，其它层的形变系数由相邻尺度较小一层的形变系数计算得到，按式(IV)～本文档来自技高网...

【技术保护点】
1.一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，重复进行实时图像处理流程，直至完成实时景深延拓；/n所述实时图像处理流程包括将实时图像依次传入筛选模块、配准模块和融合模块，得到融合图像和输出图像；/n所述筛选模块用于判断当前实时图像与前一帧传入配准模块的实时图像的景深是否发生变化，若发生变化，则将当前实时图像作为输入图像传入所述配准模块，并作为参考图像用于对比下一帧实时图像的景深是否发生变化；若未发生变化，则直接进入下一帧实时图像的判断和筛选；/n所述配准模块用于平衡输入图像和前一次实时图像处理流程所得的融合图像的亮度，再通过建立输入图像和融合图像的图像金字塔，在不同尺度上计算两幅图像的形变关系，并将融合图像根据形变关系进行配准；/n所述融合模块根据输入图像和配准后的融合图像建立拉普拉斯金字塔，并根据最大对比度原则将两组拉普拉斯金字塔逐层融合得到一组融合金字塔，融合金字塔以带有锐化的方式还原，得到输出图像，以未锐化的方式还原，得到用于下一次融合的融合图像。/n

【技术特征摘要】
1.一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，重复进行实时图像处理流程，直至完成实时景深延拓；
所述实时图像处理流程包括将实时图像依次传入筛选模块、配准模块和融合模块，得到融合图像和输出图像；
所述筛选模块用于判断当前实时图像与前一帧传入配准模块的实时图像的景深是否发生变化，若发生变化，则将当前实时图像作为输入图像传入所述配准模块，并作为参考图像用于对比下一帧实时图像的景深是否发生变化；若未发生变化，则直接进入下一帧实时图像的判断和筛选；
所述配准模块用于平衡输入图像和前一次实时图像处理流程所得的融合图像的亮度，再通过建立输入图像和融合图像的图像金字塔，在不同尺度上计算两幅图像的形变关系，并将融合图像根据形变关系进行配准；
所述融合模块根据输入图像和配准后的融合图像建立拉普拉斯金字塔，并根据最大对比度原则将两组拉普拉斯金字塔逐层融合得到一组融合金字塔，融合金字塔以带有锐化的方式还原，得到输出图像，以未锐化的方式还原，得到用于下一次融合的融合图像。


2.根据权利要求1所述的显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，所述筛选模块判断景深是否发生变化的方法包括步骤：
(1-A)将实时图像和参考图像灰度化后相减取绝对值获得差异图像；
(1-B)将差异图像按式(I)进行阈值化处理：



其中，T为阈值，为差异图像的像素均值和像素方差的线性组合；
(1-C)阈值化处理后的差异图像经压缩得到8*8大小的压缩差异图像，所述压缩差异图像的像素值是原差异图像对应区域的像素平均值，若压缩差异图像的像素值均不小于1，判定实时图像和参考图像的景深发生了变化；否则，判定实时图像和参考图像的景深未发生变化。


3.根据权利要求2所述的显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，所述阈值T按式(II)计算：
T＝ε+nσ(II)，
其中，ε为差异图像的像素均值，σ为差异图像的像素方差，n为常数。


4.根据权利要求1所述的显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，所述筛选模块实时感应显微镜的Z轴状态，若显微镜的Z轴处于静止状态，所述筛选模块停止将未发生景深变化的实时图像传入配准模块，直至实时图像的景深发生变化。


5.根据权利要求1所述的显微镜用的基于拉普拉斯金字塔的实时景深延拓方法，其特征在于，所述配准模块平衡输入图像和前一次实时图像处理流程所得的融合图像的亮度的方法包括步骤：
(2-A)对输入图像和融合图像进行像素采样，并分别累加每幅图像的采样像素的R值、G值和B值；
(2-B)将融合图像的各通...

【专利技术属性】
技术研发人员：余飞鸿，来腾飞，周海洋，
申请(专利权)人：杭州图谱光电科技有限公司，
类型：发明
国别省市：浙江;33