一种基于稀疏表示的单幅图像去雨方法技术

本发明专利技术涉及一种基于稀疏表示的单幅图像去雨方法，包括：得到原始图像的低频部分和高频部分；对高频部分进行无重叠的分块；并做在线字典学习，得到所对应的由多个子块构成得字典DHF；利用近邻传播聚类方法将DHF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息；提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类；恢复高频部分中的雨分量；得到高频部分的几何分量；得到去雨后的图像。本发明专利技术具有较好去雨效果。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及单幅图像去雨方法.
技术介绍
近年来，随着计算机科学与技术的飞速发展，室外视觉系统被广泛的应用于交通监控、驾驶辅助系统等领域。但是恶劣天气，例如雨、雪、雾等，会导致拍摄得到的图像对比度降低、图像模糊、细节信息丢失，严重影响了户外视觉系统的性能。其中，雨天作为生活中一种常见的恶劣天气，对雨天中拍摄得到的图像进行去雨等清晰化处理具有重要的现实意义和广泛的应用价值。根据研究去雨的不同方法，可以把这些方法分为两个方向：基于视频的去雨方法和基于单幅图像的去雨方法。其中，基于视频的去雨方法通常需要大量连续帧的图像信息。Garg和Nayar[1]-[2]提出了一种基于视频检测和去除雨痕迹的方法。他们通过雨滴的光学特性和时空相关特性检测视频中受雨影响的像素，这种方法需要多帧图像信息并且在检测雨痕迹时很耗时，在大雨情况下检测效果较差。此后，很多研究工作将基于他们提出的方法，并且在视频去雨中取得了较好的结果。但是，当仅能提供单幅图像时，比如由相机拍摄得到的图片，基于视频的方法就不适用了。相比于视频去雨方法，单幅图像没有多帧图像信息可以利用并且缺少时域信息，使其具有较大的难度。但是日常生活中，我们很多图像都是单幅的，而非一系列视频图像。因此，对基于单幅图像进行去雨研究就显得很有必要且很有实际意义。Kang等人[3]于2012年首先提出了基于稀疏表示单幅图像的雨水去除方法。首先使用双边滤波器将图像分解为低频(LF)和高频(HF)部分。将高频(HF)部分图像再分为许多小块。然后通过字典学习和稀疏表示将高频部分图像分解成“雨的部分”和“几何部分”。具体过程是通过学习得到一个字典，再通过聚类，将字典分为两类，分别为用于表示“雨的部分”的雨的字典和“几何部分”的几何字典。然后利用这些字典表示高频(HF)图像的各个小块。最后，不同块中用雨字典表示的部分将会被去除，剩余几何部分信息将被保留。虽然这种方法在一定程度上能很好的去除雨的影响，但这种方法的性能很大程度上取决于最终字典学习和聚类的结果。如果字典不能很好的表示雨的部分而导致信息损失，最终的效果会受到一定影响。一些研究[4]表明方向梯度直方图(HOG)特征不能保证分类的准确性，Huang等[5]人又在字典学习中引入情景感知。2014年，Huang等人[6]在发表的文章中又利用相似性传播对指定字典进行无监督聚类。同年，Sun等人[7]提出利用结构相似性的集群字典。但是，上述所提的方法有一些不足之处。第一，单幅图像最终的去雨效果依赖于字典分类的效果，而且大多数情况下，由字典恢复出图像的过程会有较大的残差，从而造成信息的损失，这会严重影响最终的去雨效果。其次，字典聚类的过程采用的特征并没有针对雨本身的特点进行优化，而是采用一些经典的图像特征，比如HOG等。这会造成字典聚类的效果不够好，有些本应该是几何字典的原子被错分进雨字典，导致最终得到的图像丢失了一些细节信息，边缘信息不够明显。因此，需要减小残差并且构造更加合适的特征，以此来提升去雨效果。参考文献[1]K.GargandS.K.Nayar.Detectionandremovalofrainfromvideos[C].IEEEInternationalconferenceonComputerVisionandPatternRecognition,2004.[2]K.GargandS.K.Nayar.Whendoesacameraseerain？[C].IEEEInternationalconferenceonComputerVisionandPatternRecognition,2005.[3]L.W.Kang,C.W.LinandY.H.Fu.Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition[J].IEEETranscationsonImageProcessing,2012,21(4):1742-1755.[4]N.DalalandB.Triggs.Histogramsoforientedgradientsforhumandetection.inProc.IEEEConf.Comput.Vis.PatternRecognit.,vol.1,pp.886-893,Jun.2005.[5]D.A.Huang,L.W.Kang,M.C.Yang,C.W.LinandY.C.F.Wang.Context-awaresingleimagerainremoval[C].IEEEInternationalConferenceonMultimediaandExpo,2012.[6]D.A.Huang,L.W.Kang,Y.C.F.WangandC.W.Lin.Self-learningbasedimagedecompositionwithapplicationstosingleimagedenoising[J].IEEETranscationsonMultimedia,2014,16(1):83-93.[7]S.H.Sun,S.P.Fan,Y.C.F.Wang.Exploitingimagestructuralsimilarityforsingleimagerainremoval[C].IEEEInternationalconferenceonImageProcessing,2014.[8]LuoY，XuY，JiH.RemovingRainFromaSingleImageviaDiscriminativeSparseCoding[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.Santiago，Chile，2015：3397-3405.
技术实现思路
本专利技术的目的是提出一种去除单幅图像中雨痕迹的方法，并克服以往方法中的缺点，提出一种具有更好去除雨痕效果的方法，使其具有更好的效果、更强的鲁棒性和更广的适用范围等优点。本专利技术的技术方案如下：一种基于稀疏表示的单幅图像去雨方法，包括下列步骤：步骤1：输入原始图像I；步骤2：利用双边滤波器得到原始图像的低频部分ILF和高频部分IHF；步骤3：对高频部分IHF进行无重叠的分块bk∈Rn,k＝1,2,...,p，然后计算每块的HOG特征值；步骤4：对IHF做在线字典学习，得到IHF对应的字典DHF，DHF由多个子块构成，并得到字典学习的稀疏系数；步骤5：利用近邻传播聚类方法将DHF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息，形成高频部分的雨字典其中，几何分量具有较复杂的信息，从而子块的几何分量方差应该比雨分量方差大，方差大的一类为几何分量；步骤6：提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类，使经过步骤5中误分类或遗漏的子块能够被正确地分类；步骤7：根据步骤4中字典学习的稀疏系数，恢复高频部分IHF中的雨分量步骤8：用并进行双边滤波和BM3D平滑，最终的结果作为高频部分的几何分量步骤9：通过公式得到去雨后的输出图像。本专利技术的基于稀疏本文档来自技高网...

【技术保护点】
一种基于稀疏表示的单幅图像去雨方法，包括下列步骤：步骤1：输入原始图像I；步骤2：利用双边滤波器得到原始图像的低频部分ILF和高频部分IHF；步骤3：对高频部分IHF进行无重叠的分块bk∈Rn,k＝1,2,...,p，然后计算每块的HOG特征值；步骤4：对IHF做在线字典学习，得到IHF对应的字典DHF，DHF由多个子块构成，并得到字典学习的稀疏系数；步骤5：利用近邻传播聚类方法将DHF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息，形成高频部分的雨字典其中，几何分量具有较复杂的信息，从而子块的几何分量方差应该比雨分量方差大，方差大的一类为几何分量；步骤6：提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类，使经过步骤5中误分类或遗漏的子块能够被正确地分类；步骤7：根据步骤4中字典学习的稀疏系数，恢复高频部分IHF中的雨分量步骤8：用并进行双边滤波和BM3D平滑，最终的结果作为高频部分的几何分量步骤9：通过公式得到去雨后的输出图像。

【技术特征摘要】
1.一种基于稀疏表示的单幅图像去雨方法，包括下列步骤：步骤1：输入原始图像I；步骤2：利用双边滤波器得到原始图像的低频部分ILF和高频部分IHF；步骤3：对高频部分IHF进行无重叠的分块bk∈Rn,k＝1,2,...,p，然后计算每块的HOG特征值；步骤4：对IHF做在线字典学习，得到IHF对应的字典DHF，DHF由多个子块构成，并得到字典学习的稀疏系数；步骤5：利用近邻传播聚类方法将DHF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频...

【专利技术属性】
技术研发人员：周俊，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12