一种基于多尺度Harris的光场图像特征点检测方法技术

本发明专利技术公开了一种基于多尺度Harris的光场图像特征检测方法，具体过程为：将光场原始图像参数文件读入MATLAB，解码并处理为有效四维光场矩阵；将角度分辨率[u,v]中的最大值作为斜率列表的长度n，得到斜率列表，斜率列表中每个斜率进行重聚焦，得到斜率对应的焦点堆栈图像；对每一个焦点堆栈图像进行多尺度Harris角点检测；对当前角点堆栈的每一个尺度检测的角点进行非极大值抑制，减少多响应的影响。再对候选角点进行多尺度判断，若在多个尺度出现，则保留；否则删除；最终保留的角点即为光场图像的特征点；采用光场图像中的位置信息和角度信息获得整个空间的真实信息，克服了传统成像存在遮挡，丢失深度等缺点，对场景的描述更加的全面。

A method of feature point detection in optical field image based on multi-scale Harris

The invention discloses a feature detection method of light field image based on multi-scale Harris. The specific process is: read the original image parameter file of light field into Matlab, decode and process it into an effective four-dimensional light field matrix; take the maximum value in the angle resolution [u, v] as the length n of the slope list, get the slope list, refocus each slope in the slope list, and get the corresponding slope Focus stack image; multi-scale Harris corner detection for each focus stack image; non maximum suppression for each corner detected in the current corner stack to reduce the impact of multi response. Then, the candidate corner points are judged by multi-scale, if they appear in multiple scales, they will be retained; otherwise, they will be deleted; the final corner points are the feature points of the light field image; the position information and angle information in the light field image are used to obtain the real information of the whole space, which overcomes the shortcomings of traditional image, such as occlusion, loss of depth, etc., and describes the scene more comprehensively.

【技术实现步骤摘要】
一种基于多尺度Harris的光场图像特征点检测方法
本专利技术属于数字图像处理
，具体涉及一种基于多尺度Harris的光场图像特征点检测方法。
技术介绍
图像中总是存在一些独特的像素点，这些点可以看做是这幅图像的特征，称作特征点。计算机视觉领域的许多应用都是基于图像特征点为基础而进行的，因此，图像特征点的定义与检测变得尤为重要。在计算机视觉领域，图像特征点的检测得到了广泛的应用，例如图像匹配、图像拼接、故障检测和三维重建等等。图像特征点检测是图像分析与识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的的数据矩阵中，很难直接提取到有用的信息，所以必须根据这些原始的图像数据提取出图像中的关键信息及它们的关系。从图像中选取某些特征点并对图像进行局部分析，而非观察整幅图像。只要图像中有足够多可检测的特征点，并且这些特征点各不相同且特征稳定，能被精确地定位，针对其的应用也就十分有效。特征点检测与匹配分为三个环节。在“特征检测”环节，从每一幅图像中寻找那些独特的点，可以和其他图像很好匹配的位置的点。在“特征描述”环节，将检测到的关键点与其邻域结合起来，生成一组数字或向量的稳定而独特的局部描述子来表征当前特征。图像的特征主要分为两种：色度信息和形状特征。色度信息又要有颜色、亮度等。形状特征包括几何形状、边缘特征、纹理特征及空间关系等等。图像特征有三大类别：像素级特征、局部特征和全局特征。像素级特征是从像素点计算的特征，如颜色、位置。局部特征是从局部的区域计算的特征，如几何特征、边缘特征、纹理特征等等。全局特征是从整个图像级提取的特征。特征检测与匹配中局部特征是一个非常重要的概念，而局部特征的研究发展的核心问题是不变性和鲁棒性。局部不变性特征是指局部特征不随图像的变形而改变，主要有尺度不变性、平移不变性、旋转不变性及灰度不变性等等。局部特征的鲁棒性是指局部特征对噪声、图像压缩和图像模糊等不敏感。尺度不变性是指人类在识别物体时，不论距离物体的远近，总是可以正确地对其进行辨别。当用计算机视觉系统分析未知场景时，计算机没有办法预知图像中物体尺度，因此，需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。所以我们会将图像构建为一系列不同尺度的图像集，在不同的尺度中去检测我们感兴趣的特征，即尺度空间理论。图像的尺度空间理论是指图像在所有尺度下的描述，通过对原始图像进行尺度变化，获得图像多尺度下的尺度空间表示序列。高斯金字塔是一种经典的尺度表示方法，通过对原始图像进行一系列降采样和平滑处理得到。图像的特征点主要分为斑点、边缘点和角点。其中角点是局部窗口沿各方向移动，灰度均产生明显变化的点，也是局部曲率突变的点。Harris角点检测算法是经典的角点检测算法之一。而且Harris角点检测算子对亮度和对比度变化不敏感，也具有旋转不变性，但是不具有尺度不变性。光场成像理论是计算成像领域的热门话题之一，与传统成像只记录二维光强不同，光场成像利用二维成像平面同时记录光场的四维信息，即二维的位置信息和二维的角度信息，称作平行双平面光场成像系统。光场成像可以用位置信息和角度信息获得整个空间的真实信息，克服了传统成像存在遮挡，丢失深度等缺点，对场景的描述更加的全面。
技术实现思路
本专利技术的目的是提供一种基于多尺度Harris的光场图像特征点检测方法，能够准确提取反映光场图像特征点的Harris角点。本专利技术采用的技术方案是，一种基于多尺度Harris的光场图像特征检测方法，具体按照以下步骤实施：步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB，对初始角度分辨率[U,V]取整得角度分辨率[u,v]，根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵；对四维的光场矩阵进行归一化和灰度化，得有效四维光场矩阵；步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n，得到斜率列表，斜率列表中每个斜率进行重聚焦，得到斜率对应的焦点堆栈图像；步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm]，分别计算该焦点堆栈图像在不同尺度下的自相关矩阵再计算当前尺度σi处的Harris角点响应值R；若角点响应值R大于设定的阈值T，认为当前角点是候选角点；否则不是；步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制，减少多响应的影响；再对候选角点进行多尺度判断，若在多个尺度出现，则保留；否则删除，最终保留的角点即为光场图像的特征点。本专利技术的特点还在于：步骤1具体过程为：步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp，再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt，name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t]，第二行为光场原始图像的旋转角，第三行为光场原始图像的初始角度分辨率[U,V]；步骤1.2、对初始角度分辨率[U,V]取整得：更新光场图像的角度分辨率为[u,v]；步骤1.3、通过公式(2)计算光场图像大小为[M',N']，通过公式(3)计算真实的图像与理论图像的差值，在真实图像的最末行和最末列后补Δx行的0和Δy列的0，得到大小为[M',N',3]的光场图像；Δx＝M'-M,Δy＝N'-N(3)；步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N']；再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列，将其重塑为[u,v,s,t]的四维格式，记为LF4，该四维格式即为解码后的四维的光场矩阵；步骤1.5、通过公式(4)对四维的光场矩阵进行归一化，得有效四维光场矩阵；LF4′＝LF4/max(LF4(:))(4)。步骤2得到斜率列表具体过程为：根据公式(5)确定光场图像的焦点堆栈的数目n，并强制焦点堆栈的数目n为奇数；n＝round(max(u,v)/2)*2+1(5)；令当前光场图像的相对深度范围为[-1,1]，通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1]，即斜率列表。步骤2得到斜率对应的焦点堆栈图像具体过程为：记斜率列表中的任一斜率为cur_slope，用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF′4中对应的坐标索引(curS,curT,curU,curV)，其中Scent＝(u-1)/2+1，Tcent＝(v-1)/2+1，ui∈[1,u],vi∈[1,v]；对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF′4中的像素值，作为重聚焦图像中(curS,curT)点的像素值，本文档来自技高网...

【技术保护点】
1.一种基于多尺度Harris的光场图像特征检测方法，其特征在于，具体按照以下步骤实施：/n步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB，对初始角度分辨率[U,V]取整得角度分辨率[u,v]，根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵；对四维的光场矩阵进行归一化和灰度化，得有效四维光场矩阵；/n步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n，得到斜率列表，斜率列表中每个斜率进行重聚焦，得到斜率对应的焦点堆栈图像；/n步骤3、对任一焦点堆栈图像定义尺度列表[σ

【技术特征摘要】
1.一种基于多尺度Harris的光场图像特征检测方法，其特征在于，具体按照以下步骤实施：
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB，对初始角度分辨率[U,V]取整得角度分辨率[u,v]，根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵；对四维的光场矩阵进行归一化和灰度化，得有效四维光场矩阵；
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n，得到斜率列表，斜率列表中每个斜率进行重聚焦，得到斜率对应的焦点堆栈图像；
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm]，分别计算该焦点堆栈图像在不同尺度下的自相关矩阵再计算当前尺度σi处的Harris角点响应值R；
若角点响应值R大于设定的阈值T，认为当前焦点是候选角点；否则不是；
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制，减少多响应的影响；再对候选角点进行多尺度判断，若在多个尺度出现，则保留；否则删除，最终保留的角点即为光场图像的特征点。


2.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法，其特征在于，步骤1具体过程为：
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp，再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt，所述name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t]，第二行为光场原始图像的旋转角，第三行为光场原始图像的初始角度分辨率[U,V]；
步骤1.2、对初始角度分辨率[U,V]取整得：
u＝round(U)
v＝round(V)(1)
更新光场图像的角度分辨率为[u,v]；
步骤1.3、通过公式(2)计算光场图像大小为[M',N']，通过公式(3)计算真实的图像与理论图像的差值，在真实图像的最末行和最末列后补Δx行的0和Δy列的0，得到大小为[M',N',3]的光场图像；



Δx＝M'-M,Δy＝N'-N(3)；
步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N']；再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列，将其重塑为[u,v,s,t]的四维格式，记为LF4，该四维格式即为解码后的四维的光场矩阵；
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化，得有效四维光场矩阵；
LF4′＝LF4/max(LF4(:))(4)。


3.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法，其特征在于，步骤2所述得到斜率列表具体过程为：根据公式(5)确定光场图像的焦点堆栈的数目n，并强制焦点堆栈的数目n为奇数；
n＝round(max(u,v)/2)*2+1(5)；
令当前光场图像的相对深度范围为[-1,1]，通过MATLAB中的linspace函数将深度范围划分...

【专利技术属性】
技术研发人员：金海燕，张萌，肖照林，蔡磊，李秀秀，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61