相机全清晰成像方法、装置与电子设备制造方法及图纸

本发明专利技术实施例提供一种相机全清晰成像方法、装置与电子设备，其中该方法包括：采用最大梯度流算子，提取目标物体聚焦栈图像中的真实边缘点，并计算真实边缘点的深度值；基于所述真实边缘点，提取结构边缘点，并基于所述结构边缘点，将所述真实边缘点的深度值向所述聚焦栈图像的所有像素点传播，获取全局深度图；基于所述全局深度图，获取所述目标物体初步融合的全聚焦图像，并基于所述全局深度图和所述结构边缘点的分布，从所述初步融合的全聚焦图像中去除结构边缘区域的模糊图案，获取最终的全聚焦图像；基于所述最终的全聚焦图像，进行所述目标物体的相机全清晰成像。本发明专利技术实施例能够有效改善全聚焦图像的质量及成像效果。

Method, device and electronic equipment of camera full clear imaging

【技术实现步骤摘要】
相机全清晰成像方法、装置与电子设备
本专利技术涉及全聚焦图像融合
，更具体地，涉及一种相机全清晰成像方法、装置与电子设备。
技术介绍
在相机成像时，为了对目标物体的各细节均清晰的成像，以便更好的提取结构特征，可通过全聚焦成像来实现。全聚焦图像合成算法是计算机领域的基础问题，主要通过融合一系列聚焦在不同深度位置下的图像(聚焦栈图像)，得到一张所有图像位置均清晰聚焦的图像，实现图像景深的扩展。利用聚焦栈图像进行图像的景深扩展在深度估计、医学成像、三维场景理解与生物识别等领域都有着广泛的应用。根据融合方法的不同，全聚焦图像融合算法主要分为基于变换域的融合算法和基于深度估计的融合算法两种。基于变换域的方法主要是通过将源彩色图像转换到某个变换域中，转换算法如DCT变换、DWT变换、DSIFT变换等，再对变换域上的系数进行加权求和等一系列处理后，将融合后的系数逆变换到图像域内，得到最终的全聚焦图像。但是，这种方法需要进行图像变换，计算复杂，且该类方法对变换域的稀疏非常敏感，轻微的系数估计的抖动都会在最终的全聚焦图像所有位置产生噪声。基本文档来自技高网...

【技术保护点】
1.一种相机全清晰成像方法，其特征在于，包括：/n采用最大梯度流算子，提取目标物体的聚焦栈图像中的真实边缘点，并计算所述真实边缘点的深度值；/n基于所述真实边缘点，提取结构边缘点，并基于所述结构边缘点，将所述真实边缘点的深度值向所述聚焦栈图像的所有像素点传播，获取全局深度图；/n基于所述全局深度图，获取所述目标物体初步融合的全聚焦图像，并基于所述全局深度图和所述结构边缘点的分布，从所述初步融合的全聚焦图像中去除结构边缘区域的模糊图案，获取最终的全聚焦图像；/n基于所述最终的全聚焦图像，进行所述目标物体的相机全清晰成像。/n

【技术特征摘要】
1.一种相机全清晰成像方法，其特征在于，包括：
采用最大梯度流算子，提取目标物体的聚焦栈图像中的真实边缘点，并计算所述真实边缘点的深度值；
基于所述真实边缘点，提取结构边缘点，并基于所述结构边缘点，将所述真实边缘点的深度值向所述聚焦栈图像的所有像素点传播，获取全局深度图；
基于所述全局深度图，获取所述目标物体初步融合的全聚焦图像，并基于所述全局深度图和所述结构边缘点的分布，从所述初步融合的全聚焦图像中去除结构边缘区域的模糊图案，获取最终的全聚焦图像；
基于所述最终的全聚焦图像，进行所述目标物体的相机全清晰成像。


2.根据权利要求1所述的相机全清晰成像方法，其特征在于，所述基于所述真实边缘点，提取结构边缘点的步骤具体包括：
采用经典Laplacian深度传播算法，将所述真实边缘点的深度值由所述真实边缘点向所述聚焦栈图像的所有像素点传播，若传播后任一真实边缘点周围像素的深度值发生跳变，且所述任一真实边缘点的深度值小于所述周围像素的深度值，则将所述任一真实边缘点作为结构边缘点，将所述结构边缘点之外的真实边缘点作为纹理边缘点。


3.根据权利要求1或2所述的相机全清晰成像方法，其特征在于，所述将所述真实边缘点的深度值向所述聚焦栈图像的所有像素点传播的步骤具体包括：
在深度值传播过程中，通过寻找最佳深度分布，最小化如下代价损失能量：



式中，E(d)表示代价损失能量，d表示待求的全局深度图的向量表示，λ表示平衡性因子，D为对角矩阵，表示真实边缘点的深度，L表示有标签的Laplacian矩阵，计算公式如下：



χ(i,k)＝(1-Πi)Ii+Πiμk；
式中，I表示RGB图像，(i,j)表示像素点，ωk表示覆盖了(i,j)的局部小窗，δij表示克罗内克符号，当i＝j时返回1，否则返回0，μk和∑k分别表示局部小窗ωk内的像素点均值和方差，∏i用来区分结构边缘点和纹理边缘点，当像素点是结构边缘点时返回1，当像素点是纹理边缘点时返回0，i表示真实边缘点i，ε表示正则化参数，U3表示3*3大小的单位矩阵。


4.根据权利要求1所述的相机全清晰成像方法，其特征在于，所述从所述初步融合的全聚焦图像中去除结构边缘区域的模糊图案的步骤具体包括：
基于所述结构边缘点的分布，从所述全局深度图中截取每个所述结构边缘点给定尺寸的邻域图像块，并利用聚类算法将每一所述邻域图像块中的像素聚类为第一类和第二类；
对任一邻域图像块，分别计算所述第一类像素的第一深度值和所述第二类像素的第二深度值，并基于所述第一深度值到所述聚焦栈图像中提取对应深度位置及像素位置的第一图像块，基于所述第二深度值到所述聚焦栈图像中提取对应深度位置及像素位置的第二图像块；
基于所有所述第一图像块和所述第二图像块，利用BEF-CNN网络模型，从所述初步融合的全聚焦图像中去除结构边缘区域的模糊图案。


5.根据权利要求4所述的相机全清晰成像方法，其特征在于，所述分别计算所述第一类像素的第...

【专利技术属性】
技术研发人员：王贵锦，范书沛，李文涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11