本发明专利技术提供了一种基于显著图像块分析的图像运动模糊去除方法，涉及图像处理领域，本发明专利技术生成超像素，利用基于密度的聚类算法融合成一个超像素，以超像素为单位进行兴趣图计算；获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，本发明专利技术将选取显著图像块的方法应用于去模糊算法的输入，与去模糊算法相结合，实现最终的图像恢复过程，最终得到图像前景区域更加自然的模糊去除结果。本发明专利技术有效恢复模糊图像中人眼感兴趣的前景部分，核估计速度大幅提高。
【技术实现步骤摘要】
一种基于显著图像块分析的图像运动模糊去除方法
本专利技术涉及图像处理领域，尤其是一种图像运动模糊去除方法。
技术介绍
图像运动模糊通常发生在相机曝光时间内，由相机拍摄点和拍摄场景之间的相对运动引起，导致图像质量的极大退化。如何仅从单张模糊图像中准确估计模糊核并恢复出清晰图像，近几年逐渐成为计算机领域中一项热门话题。文献“PanJ,SunD,PfisterH,etal.BlindImageDeblurringUsingDarkChannelPrior[C].IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2016:1628-1636.”公开了一种基于暗通道的模糊核估计方法。该方法将整张模糊图像作为初始输入，在迭代过程中对图像暗通道的零范数进行约束，利用半二次分解算法计算中间图像并估计模糊核。文献所述方法基于全图计算，由于零范数优化问题高度非凸，处理结果虽然精度高但非常耗时，尤其针对大尺寸图像，速度过慢。文献“BaeH,FowlkesCC,ChouPH.PatchMosaicforFastMotionDeblurring[C].AsianConferenceonComputerVision.SpringerBerlinHeidelberg,2012:322-335.”公开了一种基于图像块拼接的图像模糊核快速估计方法。该方法筛选并拼接模糊图像中适合核估计的区域，根据拼接结果实现模糊核的快速估计。文献所述方法针对图像块的选择策略过于简单，且没有考虑图像块的空间连续性，模糊核估计的速度虽然大幅提高，但结果的精度过低。文献“HuZ,YangMH.LearningGoodRegionstoDeblurImages[J].InternationalJournalofComputerVision,2015,115(3):345-362.”公开了一种基于条件随机场框架的图像模糊核估计方法。该方法利用大量模糊图像区域的特征向量和对应的模糊核估计准确度，训练条件随机场模型，并根据模型选出模糊图像中适合核估计的区域。文献所述方法预先准备大量模糊数据，模型训练过程复杂且耗时，不适用于一般情况。
技术实现思路
为了克服现有技术的不足，克服现有的模糊图像核估计方法速度与精度无法平衡的不足，本专利技术提出一种基于显著图像块分析的图像运动模糊去除方法，关键在于模糊核的估计。对于模糊核估计，并非模糊图像中的所有像素都是有益的，例如平滑和含有琐碎边缘的图像背景区域会损伤对模糊核估计结果，将整张模糊图像作为算法输入这一做法存在缺陷。此外，由于相机成像时焦距的原理，无论图像多么清晰，人们感兴趣的背景区域往往都要比目标前景更加模糊，因此只要能够准确估计图像前景区域对应的模糊核，就可以满足图像去模糊的需要。本专利技术整合三个相关线索：目标概率、结构丰富度和区域对比度，提出显著图像块的概念。将模糊核估计的范围约束在显著图像块中，可以保证基于全图方法结果的精度，同时大幅提高处理速度。针对大尺寸的模糊图像，本专利技术的改进效果尤为明显。本专利技术解决其技术问题所采用的技术方案包括下述步骤：步骤一、生成超像素输入图像为模糊图像，将模糊图像采用边缘附着超像素检测器(StickyEdgeAdhesiveSuperpixelsDetector)，基于训练好的随机森林框架(randomforestframework)，在快速提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素；步骤二、利用基于密度的聚类算法DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，总体个数减少，本专利技术设定三个递增的阈值分别为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interestmap)是与模糊图像尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，本专利技术中，在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：S＝exp(SRs+LCs)×OPs(1)式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果；其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，本专利技术N设为50，并根据Objectnessmeasure方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：式(2)中，p为当前像素，OPp(p)表示当前像素p的目标概率，B(p)表示包含像素p的所有候选框构成的集合，P(b)表示集合B(p)中的一个候选框b对应的概率得分；在获得所有像素级别的目标概率OPp(p)后，超像素x的目标概率得分OPs(x)为超像素x所包含的像素级别目标概率的均值：其中，x表示一个超像素的区域，numel(x)表示当前超像素x包含的像素个数，y依次表示超像素内所有像素；结构丰富度SRs计算公式为：式中，x表示当前超像素，Is是图像的显著边缘图，已由步骤一的随机森林框架快速提取出，||▽Is(y)||2是Is在像素y处横纵两个方向的梯度的平方和；区域对比度LCs的计算公式为：其中，ci为当前超像素，Nj为图像中所有超像素的总个数，ωij是超像素cj占所有相邻的面积比重，d(ci,cj)为超像素ci和cj之间的直方图欧氏距离距离，为非负函数，g(x,y)为当前超像素中心(x,y)到图像中心(x0,y0)的空间距离，q(u)是关于当前超像素中落在图像边界上的像素个数u的函数，g(x,y)和q(u)的具体形式为：δx，δy分别为图像宽和高尺寸的三分之一，exp表示指数函数，η和λ为给定的常数，η和λ均在0.05到0.1范围内取值，E是整张图像的边界像素的总个数；将公式(3)，(4)，(5)代入公式(1)计算每个分割图层下的兴趣图，对公式(1)的结果进行归一化，使值域在0到1范围内；步骤四、获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，超像素最精细的图层即步骤2中的第一次聚类后生成的过分割图层采取权重0.4，中间图层即步骤2中的第二次聚类后生成的过分割图层的权重为0.3，最粗糙的图层即步骤2中的第三次聚类后生成的过分割图层权重取0.3，对各个兴趣图带入公式(1)加权之后，采用中值滤波进行优化，即利用大津法二值分割获得前景区域和背景区域的划分，并本文档来自技高网...
【技术保护点】
一种基于显著图像块分析的图像运动模糊去除方法，其特征在于包括下述步骤：步骤一、生成超像素输入图像为模糊图像，将模糊图像采用边缘附着超像素检测器(Sticky Edge Adhesive Superpixels Detector)，基于训练好的随机森林框架(random forest framework)，在快速提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素；步骤二、利用基于密度的聚类算法DBSCAN(Density‑Based Spatial Clustering of Applications with Noise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，总体个数减少，本专利技术设定三个递增的阈值分别为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interest map)是与模糊图像尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，本专利技术中，在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：S＝exp(SRs+LCs)×OPs (1)式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果；其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，本专利技术N设为50，并根据Objectness measure方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：...
【技术特征摘要】
1.一种基于显著图像块分析的图像运动模糊去除方法，其特征在于包括下述步骤：步骤一、生成超像素输入图像为模糊图像，将模糊图像采用边缘附着超像素检测器(StickyEdgeAdhesiveSuperpixelsDetector)，基于训练好的随机森林框架(randomforestframework)，在快速提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素；步骤二、利用基于密度的聚类算法DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，总体个数减少，本发明设定三个递增的阈值分别为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interestmap)是与模糊图像尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，本发明中，在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：S＝exp(SRs+LCs)×OPs(1)式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果；其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，本发明N设为50，并根据Objectnessmeasure方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：式(2)中，p为当前像素，OPp(p)表示当前像素p的目标概率，B(p)表示包含像素p的所有候选框构成的集合，P(b)表示集合B(p)中的一个候选框b对应的...
【专利技术属性】
技术研发人员：郗润平，马成丞，张吉光，徐士彪，孟维亮，张晓鹏，
申请(专利权)人：西北工业大学，中国科学院自动化研究所，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。