一种基于特征点密度由聚焦堆栈估计深度的方法和装置制造方法及图纸

本发明专利技术公开了一种基于特征点密度由聚焦堆栈估计深度的方法和装置，所述方法包括：提取聚焦堆栈中每个图像的特征点，建立基于特征点密度的聚焦测度；建立引入特征点密度的加权聚焦测度的估计深度的模型：以采用SML聚焦测度为例，建立SML与特征点密度的加权线性混合聚焦测度作为深度估计的目标函数，实现对场景深度的估计和全聚焦图。本发明专利技术的方案，建立关于特征点密度的聚焦测度及建立线性加权聚焦测度，并构建基于聚焦测度的深度估计模型，获取场景的深度信息，以实现场景的全聚焦与三维重构，可为现实三维重构提供精确的深度信息并获取全聚焦图像。

Method and apparatus for estimating depth by focusing stack based on feature point density

The invention discloses a feature point based on density estimation method and device by focusing the stack depth, the method includes: extracting feature points of each image focusing in the stack, the establishment of focus measure feature points based on density estimation; depth of focus measure introduced a weighted feature point density of the model: the focus measure by SML for example, a weighted linear mixed focus measure SML and the density of feature points as the objective function of depth estimation, estimation of scene depth and focus map. The scheme of the invention, a focus measure about the density of feature points and establish linear weighted focus measure, and construct the estimation model based on the depth of focus measure, obtaining the depth information of the scene, focus and 3D reconstruction to achieve the scene, can provide accurate depth information for realistic 3D reconstruction and obtain full focus image.

【技术实现步骤摘要】
一种基于特征点密度由聚焦堆栈估计深度的方法和装置
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种基于特征点密度由聚焦堆栈估计深度的方法和装置。
技术介绍
场景三维信息的数字化拓展了人类对三维空间的认知和表达方式，基于图像的三维重建一直是计算视觉的研究热点。场景深度信息重构可为虚拟现实、增强现实以及摄影测量等提供三维信息，是重构三维场景的关键。目前，基于图像的场景深度估计的方法主要分为立体视觉方法和单目视觉方法。对于立体视觉方法，深度估算方法以视差法较为常见，视差法以不同视点图像间产生的视差作为深度估计的依据，其核心问题在于匹配，因此视差法在平滑区域和遮挡区域存在较大误差。对于单目视觉方法而言，主要是利用聚焦和失焦信息。在同一场景不同聚焦深度图像的变焦数据实现对场景的深度估计，聚焦法核心问题在于聚焦度测量。图像中点距离聚焦平面距离的不同，相应地聚焦程度也不一样。目前，对图像上像素点的聚焦程度的刻画，大多采用散焦测度或聚焦测度，从而计算物点的深度。散焦测度的深度估计是利用系统点扩散函数反推求解，进行深度估计。对聚焦测度的刻画，应用比较广泛的有：Modifield-Laplacian、theTenengardAlgorithm和Gray-LevelVariance、小波变换和信息熵等。但是，现有技术中的聚焦测度方法在图像纹理区域检测的准确性不高。
技术实现思路
本专利技术的目的在于提供一种基于特征点密度由聚焦堆栈估计深度的方法和装置，其能够弥补常规聚焦测度方法在纹理区域检测不准确的问题。为实现上述目的，本专利技术提供一种基于特征点密度由聚焦堆栈估计深度的方法，所述方法包括：提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；根据图像中任意像素点的聚焦测度值估计图像中物点的深度。进一步地，所述提取聚焦堆栈中每个图像的特征点，具体根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点。进一步地，所述建立特征点密度的聚焦测度具体为：其中，R(x,y)(d)为像点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。进一步地，所述已有的聚焦测度具体为SML聚焦测度，相应的，所述利用特征点密度的聚焦测度和已有的聚焦测度，建立的线性加权的聚焦测度，具体为其中，表示SML聚焦测度，为改进的拉普拉斯算子，Id(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重。进一步地，所述根据图像中任意像素点的聚焦测度值估计图像中物点的深度，具体包括：计算图像中像素点(x,y)的聚焦测度{focus(x,y)(dk)|k＝1,2,…,N}；深度估计方式为d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆栈图像的总数，focus(x,y)(dk)表示图像在dk深度下像点(x,y)的聚焦测度值。本专利技术还提供一种基于特征点密度由聚焦堆栈估计深度的装置，所述装置包括：第一处理模块，用于提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；第二处理模块，用于根据所述第一处理模块得到的特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；深度估计模块，用于根据所述第二处理模块得到的图像中任意像素点的聚焦测度值估计图像中物点的深度。进一步地，所述第一处理模块包括提取单元和处理单元；所述提取单元，用于根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点；所述处理单元，用于根据所述提取单元提取的所述每个图像的特征点得到特征点密度的聚焦测度。进一步地，所述第一处理模块包括提取单元和处理单元；所述处理单元建立的特征点密度的聚焦测度具体为：式中，R(x,y)(d)为像点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。进一步地，所述已有的聚焦测度具体为SML聚焦测度，所述第二处理模块建立的线性加权的聚焦测度，具体为其中，表示SML聚焦测度，为改进的拉普拉斯算子，Id(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重。进一步地，所述深度估计模块具体包括计算单元和深度估计单元；所述计算单元，用于计算图像中像素点(x,y)的聚焦测度{focus(x,y)(dk)|k＝1,2,…,N}；所述深度估计单元，采用的深度估计方式为d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆栈图像的总数，focus(x,y)(dk)表示图像在dk深度下像点(x,y)的聚焦测度值。本专利技术提供的方案，考虑物点在不同深度下聚焦程度，利用聚焦测度和特征点的稠密度进行刻画。本专利技术以聚焦堆栈为数据，提取聚焦堆栈图像的特征点，建立关于特征点密度的聚焦测度函数。利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权聚焦测度。最后，建立基于聚焦测度的深度估计模型，获取场景的深度信息，以实现场景的全聚焦与三维重构，避免了现有技术的常规聚焦测度在图像纹理区域存在不准确的缺陷。附图说明图1是根据本专利技术第一实施例提供的基于特征点密度由聚焦堆栈估计深度的方法流程示意图。图2是根据本专利技术第一实施例提供的成像设备拍摄聚焦堆栈原理图。图3是根据本专利技术第一实施例提供的透镜成像的聚焦散焦原理图。图4是根据本专利技术第二实施例提供的基于特征点密度由聚焦堆栈估计深度的装置结构示意图。具体实施方式在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本专利技术的实施例进行详细说明。在本专利技术的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术保护范围的限制。如图1所示，本实施例所提供的基于特征点密度由聚焦堆栈估计深度的方法包括：步骤101，通过成像设备获取聚焦堆栈。该步骤中，成像设备包括透镜和探测器，聚焦堆栈的生成过程是聚焦在不同成像面的过程，可根据透镜与探测器的相互运动或改变透镜的焦距完成聚焦堆栈中图像序列的采集，本实施例采用前者，即沿成像设备的光轴同步移动探测器和透镜，通过探测器采集场景中物点(物体由多个物点组成)聚焦在不同成像面的图像序列，这些图像序列形成聚焦堆栈，根据如下的透镜成像原理：上述的“图像序列”中的各图像探测器沿成像设备的光轴从一端向另一端移动的过程中依次排序获得。容易理解的是，本专利技术实施例提供的方法同样可以应用于其它类似方式聚焦堆栈采集的场景。如图2所示，图本文档来自技高网...

【技术保护点】
一种基于特征点密度由聚焦堆栈估计深度的方法，其特征在于，所述方法包括：提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；根据图像中任意像素点的聚焦测度值估计图像中物点的深度。

【技术特征摘要】
2016.12.14 CN 20161115581481.一种基于特征点密度由聚焦堆栈估计深度的方法，其特征在于，所述方法包括：提取聚焦堆栈中每个图像的特征点，根据所述每个图像的特征点得到特征点密度的聚焦测度；利用特征点密度的聚焦测度和已有的聚焦测度，建立线性加权的聚焦测度，根据所述线性加权的聚焦测度得到图像中任意像素点的聚焦测度值；根据图像中任意像素点的聚焦测度值估计图像中物点的深度。2.如权利要求1所述的方法，其特征在于，所述提取聚焦堆栈中每个图像的特征点，具体根据透镜与探测器的相互运动或改变透镜的焦距，提取出聚焦堆栈中每个图像的特征点。3.如权利要求1所述的方法，其特征在于，所述建立特征点密度的聚焦测度具体为：其中，R(x,y)(d)为像点(x,y)的特征点密度的聚焦测度，表示落入像素点(x,y)邻域Ω(x,y)内的特征点数。4.如权利要求3所述的方法，其特征在于，所述已有的聚焦测度具体为SML聚焦测度，相应的，所述利用特征点密度的聚焦测度和已有的聚焦测度，建立的线性加权的聚焦测度，具体为其中，表示SML聚焦测度，为改进的拉普拉斯算子，Id(x,y)表示在d深度下所成图像，step表示SML算子中的步进值，参数N决定计算像素点(x,y)的聚焦测度的窗口大小，α∈[0,1]是平衡聚焦测度算子与特征点测度算子的权重。5.如权利要求1所述的方法，其特征在于，所述根据图像中任意像素点的聚焦测度值估计图像中物点的深度，具体包括：计算图像中像素点(x,y)的聚焦测度{focus(x,y)(dk)|k＝1,2,…,N}；深度估计方式为d(x,y)＝argmaxd{focus(x,y)(dk)}，其中，N表示聚焦堆栈图像的总数，focus(x,y)(dk)表示图像在dk深度下像点(x,y)的聚焦测度值。6.一种基于特征点密度由聚焦堆栈估计深度的装置，其特征在于，所述...

【专利技术属性】
技术研发人员：邱钧，何建梅，刘畅，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11