一种双目视觉的图像超分辨率融合去噪方法技术

本发明专利技术公开了一种双目视觉的图像超分辨率融合去噪方法。其步骤为：(1)输入待超分辨率融合的双目图像；(2)全局位置配准图像；(3)局部位置匹配图像；(4)更新双目图像；(5)图像超分辨率融合；(6)图像去噪；(7)输出最终高分辨率图像。本发明专利技术在图像配准中加入局部位置配准方法，并采用拉普拉斯算子应用于图像超分辨率融合，再对融合图像使用非局部均值滤波方法去噪，克服了现有技术无法解决图像局部位置不匹配，细节增强不足，以及不具备抑制噪声的缺陷，得到图像细节增强，噪声减小的超分辨率融合图像。

【技术实现步骤摘要】

本专利技术属于图像处理
，更进一步涉及图像超分辨率
中的一种双目视觉的图像超分辨率融合去噪方法。本专利技术可以应用在智能终端设备或专业摄像设备的图像后处理。
技术介绍
双目视觉的图像超分辨率融合方法是指从双目摄像机获得的同一场景的左灰度图和右灰度图，利用它们在时空上的相关性及信息上的互补性，采用重建技术进行图像超分辨率融合。重建技术假定超分辨率图像在适当的变形、平移和子采样及噪声干扰下，利用多帧低分辨率图像作为数据一致性约束，并结合图像先验知识进行求解。该方法一般包括两个重要部分：配准和重建。配准是获得多帧低分辨率图像间的亚像素精度的相对运动；重建是利用先验知识，对目标图像进行优化求解。华南理工大学申请的专利“一种基于SIFT的场景物体实时配准方法”(申请日：2015年9月30日，申请号：CN201510646525.7，公开号：CN105279522A)公开了一种图像配准的方法。该方法是对图像提取SIFT特征，然后利用RANSAC优化算法和轮廓排除法优化匹配结果，得到匹配的特征点对，并采用SIFT算子来提取特征点，然后利用RANSAC优化算法和轮廓排除法来得到优化的匹配结果。该方法能够较好的匹配双目图像的全局位置，但是仍然存在的不足之处是，双目图像的左灰度图和右灰度图的不仅存在全局位置的仿射变换，还存在局部位置的平移、旋转、遮挡等变换，该方法不能解决局部位置的变换问题。Farsiu S,Robinson M D,Elad M,et al.“Fast and robust multiframe superresolution”([J].Image processing,IEEE Transactions on,2004,13(10):1327-1344.)中提出一种多帧图像的超分辨率方法。该方法采用BTV算子应用于图像超分辨率融合中。该方法对融合后的图像的边缘保持较好，对匹配的精确度有一定鲁棒性。但是，该方法仍然存在的不足之处是，该方法对于图像的细节增强不足，对于噪声较大的图像，不具备去噪能力。
技术实现思路
本专利技术的目的在于克服上述已有技术的缺点，提出一种双目图像超分辨率的方法，以解决局部位置无法匹配的问题，同时增强图像细节，减小图像噪声。为实现上述目的，本专利技术的技术方案是首先将左灰度图与右灰度图做SIFT全局位置配准，然后再对两图做局部位置匹配，得到完全匹配的左灰度图与右灰度图，接着利用拉普拉斯算子对两图进行超分辨率融合，最后，利用非局部均值滤波方法对融合后的图像进行去噪，得到最终高分辨率图像。本专利技术的具体步骤如下：(1)输入待超分辨率融合的双目图像：输入待超分辨率融合的的双目图像，其中，左摄像头拍摄的图像为左灰度图，右摄像头拍摄的图像为右灰度图；(2)全局位置配准图像：(2a)采用尺度不变特征转换SIFT方法，对左灰度图和右灰度图处理，得到左灰度图特征点和右灰度图的特征点；(2b)利用欧氏距离，从左灰度图中选取一个最终特征点，并在右灰度图找与该最终特征点最近的两个特征点，计算这两个特征点中距离中最近的距离与次近的距离的比值，判断该比值是否小于0.4，若是，则将选取的左灰度图的最终特征点与这两个特征点中距离最近的特征点匹配，将匹配好的特征点匹配对加入特征点匹配对集合；否则，丢弃选取的左灰度图的最终特征点；(2c)判断左灰度图中的最终特征点是否选取完，若是，执行步骤(2d)，否则，执行步骤(2b)；(2d)利用随机抽样一致RANSAC算法，剔除误特征点匹配对，得到特征点匹配对；(2e)利用得到特征点匹配对的坐标对应关系，列出坐标对应方程组，求解方程组，得到仿射变换矩阵；(2f)利用仿射变换矩阵，配准左灰度图和右灰度图，得到全局位置配准后的左灰度图和右灰度图；(3)局部位置匹配图像：(3a)将左灰度图的像素值拷贝至一个空白的图像集中，得到参考图像；将右灰度图的像素值拷贝至另一个空白的图像集中，得到目标图像；创建一个空白的重构图
像集；(3b)在参考图像和重构图像中，以40个像素为宽度，等距离的将参考图像和重构图像均分为多个正方形的宏块，得到均分宏块后的参考图像和重构图像；选取均分宏块后的参考图像左上角的第一个宏块，作为参考宏块；选取均分宏块后的重构图像左上角的第一个宏块，作为重构宏块；将运动向量初始化为零向量；(3c)判断参考宏块是否位于参考图像左侧第一列，若是，则将参考宏块的臂长取值为20个像素；否则，按照下式，计算参考宏块的臂长：Γ＝MAX{CX,CY本文档来自技高网...

【技术保护点】
一种双目视觉的图像超分辨率融合去噪方法，包括如下步骤：(1)输入待超分辨率融合的双目图像：输入待超分辨率融合的的双目图像，其中，左摄像头拍摄的图像为左灰度图，右摄像头拍摄的图像为右灰度图；(2)全局位置配准图像：(2a)采用尺度不变特征转换SIFT方法，对左灰度图和右灰度图处理，得到左灰度图特征点和右灰度图的特征点；(2b)利用欧氏距离，从左灰度图中选取一个最终特征点，并在右灰度图找与该最终特征点最近的两个特征点，计算这两个特征点中距离中最近的距离与次近的距离的比值，判断该比值是否小于0.4，若是，则将选取的左灰度图的最终特征点与这两个特征点中距离最近的特征点匹配，将匹配好的特征点匹配对加入特征点匹配对集合；否则，丢弃选取的左灰度图的最终特征点；(2c)判断左灰度图中的最终特征点是否选取完，若是，执行步骤(2d)，否则，执行步骤(2b)；(2d)利用随机抽样一致RANSAC算法，剔除误特征点匹配对，得到特征点匹配对；(2e)利用得到特征点匹配对的坐标对应关系，列出坐标对应方程组，求解方程组，得到仿射变换矩阵；(2f)利用仿射变换矩阵，配准左灰度图和右灰度图，得到全局位置配准后的左灰度图和右灰度图；(3)局部位置匹配图像：(3a)将左灰度图的像素值拷贝至一个空白的图像集中，得到参考图像；将右灰度图的像素值拷贝至另一个空白的图像集中，得到目标图像；创建一个空白的重构图像集；(3b)在参考图像和重构图像中，以40个像素为宽度，等距离的将参考图像和重构图像均分为多个正方形的宏块，得到均分宏块后的参考图像和重构图像；选取均分宏块后的参考图像左上角的第一个宏块，作为参考宏块；选取均分宏块后的重构图像左上角的第一个宏块，作为重构宏块；将运动向量初始化为零向量；(3c)判断参考宏块是否位于参考图像左侧第一列，若是，则将参考宏块的臂长取值为20个像素；否则，按照下式，计算参考宏块的臂长：Γ＝MAX{CX,CY}其中，Γ表示参考宏块的臂长，MAX表示取最大值操作，CX表示运动向量的水平分量，CY表示运动向量的垂直分量；(3d)以参考宏块在参考图像中的坐标，在目标图像的相同坐标处，划定大小相同的目标宏块；(3e)取目标宏块的上下左右方向、距离为臂长的四个宏块，再取目标宏块用运动向量指向位置的宏块，将这五个宏块和目标宏块，共6个宏块作为检测宏块；(3f)按照下式，分别计算6个检测宏块与参考宏块的代价值：D＝∑|E‑O|其中，D表示检测宏块与参考宏块的代价值，∑表示求和操作，|·|表示取绝对值操作，E表示参考宏块，O表示检测宏块；(3g)从6个代价值中找出代价值最小的检测宏块，用代价值最小的检测宏块替换目标宏块，得到十字宏块；(3h)取十字宏块的上下左右四个方向、距离为1的四个宏块，将这四个宏块和十字宏块，共5个宏块作为比较宏块；(3i)按照下式，分别计算比较宏块与参考宏块的5个代价值：G＝∑|N‑I|其中，G表示比较宏块与参考宏块的代价值，∑表示求和操作，|·|表示取绝对值操作，N表示参考宏块，I表示比较宏块；(3j)从5个代价值中找出代价值最小的比较宏块，判断该代价值最小的比较宏块是否为十字宏块，若是，则执行步骤(3k)，否则，用该代价值最小的比较宏块替换十字宏块，执行步骤(3h)；(3k)将运动向量更新为十字宏块相对于参考宏块的矢量距离，将十字宏块的像素值拷贝到重构宏块；(3l)判断参考宏块是否为参考图像的最后一个宏块，若是，则得到重构图像，执行步骤(4)；否则，选取参考图像的下一个宏块，作为参考宏块；选取重构图像的下一个宏块，作为重构宏块，执行步骤(3c)；(4)更新双目图像：(4a)将重构图像与目标图像相减，得到差值图像；(4b)创建一个空白的新重构图像集；(4c)按照长宽均为40像素，分别对差值图像和新重构图像等距离的划分大小相同的宏块，得到划分宏块后的差值图像；(4d)从划分宏块后的差值图像中，每次选取一个宏块，判断该宏块的像素值总和是否大于差值阈值1600，若是，则用参考图像对应位置的宏块替换新重构图像对应位置的宏块，否则，按照下式，计算新重构图像对应的宏块：J＝(1‑K)×L+K×M其中，J表示新重构图像对应的宏块，K表示宏块边界权值矩阵，L表示重构宏块，M表示参考宏块；(4e)判断选取的宏块是否为差值图像的最后一个宏块，若是，则得到新重构图像，执行步骤(4f)，否则，执行步骤(4d)；(4f)将参考图像的像素值拷贝至左灰度图，将新重构图像的像素值拷贝至右灰度图，完成左灰度图和右灰度图的更新；(5)图像超分辨率融合：(5a)利用光流法，计算左灰度图与右灰度图的估计位移；(5b)按照下式，计算低分辨率帧间位移和高分辨率帧间位移：u＝FLO(RND(a*2)/2)v＝MOD(RND(a*2),2)其中，u表示低分辨率帧间位移，FLO表示向...

【技术特征摘要】
1.一种双目视觉的图像超分辨率融合去噪方法，包括如下步骤：(1)输入待超分辨率融合的双目图像：输入待超分辨率融合的的双目图像，其中，左摄像头拍摄的图像为左灰度图，右摄像头拍摄的图像为右灰度图；(2)全局位置配准图像：(2a)采用尺度不变特征转换SIFT方法，对左灰度图和右灰度图处理，得到左灰度图特征点和右灰度图的特征点；(2b)利用欧氏距离，从左灰度图中选取一个最终特征点，并在右灰度图找与该最终特征点最近的两个特征点，计算这两个特征点中距离中最近的距离与次近的距离的比值，判断该比值是否小于0.4，若是，则将选取的左灰度图的最终特征点与这两个特征点中距离最近的特征点匹配，将匹配好的特征点匹配对加入特征点匹配对集合；否则，丢弃选取的左灰度图的最终特征点；(2c)判断左灰度图中的最终特征点是否选取完，若是，执行步骤(2d)，否则，执行步骤(2b)；(2d)利用随机抽样一致RANSAC算法，剔除误特征点匹配对，得...

【专利技术属性】
技术研发人员：宋彬，杨荣坚，曹茸，李莹华，秦浩，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61