一种基于互斥性稀疏编码的雨天视频图像分离方法技术

本发明专利技术涉及一种基于互斥性稀疏编码的雨天视频图像分离方法，将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个具有互斥性的字典，从而将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离。本发明专利技术在达到将真实图像与雨层图像分离效果的同时能使雨天视频图像更加清晰。

A method of separating rain and sky video images based on mutually exclusive sparse coding

The present invention relates to a rainy day video image separation method based on mutually exclusive sparse coding. The separation of real image and rainwater is regarded as a signal separation problem. In the separation process, the intrinsic attribute difference between the real image layer and rainwater layer is utilized, and the mutually exclusive constrained sparse coding coefficients are obtained through iterative learning. A mutually exclusive dictionary separates the rain layer from the real image layer in the rainy day video image gradually in the iteration. The invention achieves the effect of separating the real image from the rain layer image and makes the rainy day video image more clear.

【技术实现步骤摘要】
一种基于互斥性稀疏编码的雨天视频图像分离方法
本专利技术涉及视频图像处理的
，尤其涉及到一种基于互斥性稀疏编码的雨天视频图像分离方法。
技术介绍
随着宽带网络技术的发展和平安城市等项目的推进，视频监控技术已广泛地应用于教育、政府、安防、交通、运动等众多领域，并且随着视频处理技术的提高，视频监控技术在室外的应用场景也逐渐增多。由于室外环境经常需要面临雨雪等恶劣天气，而该种恶劣气候条件对视频图像的特征有着不可估计的损坏，如大雾天气下图像的可见度、对比度都会受到严重影响，而雨雪天气可能会引起部分图像被遮挡，从而影响对图像的进一步处理。现有的资料中大多是对雨天视频的处理，视频中相邻帧的冗余特性有助于雨的检测，也能够提供丰富的信息对检测到的有雨区域进行修补复原。然而这种相邻帧的冗余特性可能会因为视频中高速运动的物体所破坏掉，因此考虑如何从雨天视频图像中消除雨对图像特征的损坏，将雨层图像分离出来具有重要的应用价值。Garg和Nayar在文献[Garg,K.,S.K.Nayar.Detectionandremovalofrainfromvideos.IEEEConferenceonComputerVision&PatternRecognition.2004.p.I-528-I-535Vol.1.]中，对雨的物理特性进行了分析描述。Zhang等人[Zhang,X.,H.Li,Y.Qi,etal.RainRemovalinVideobyCombiningTemporalandChromaticProperties.IEEEInternationalConferenceonMultimediaandExpo.2006.p.461-464.]借助于雨在视频中所呈现的时间特性和色度特性来进行雨的检测。这两种方法基本上是通过雨的颜色信息来检测图像中雨的存在，在文献[Brewer,N.,N.Liu,UsingtheShapeCharacteristicsofRaintoIdentifyandRemoveRainfromVideo.2008:SpringerBerlinHeidelberg.451-458.]中，Nathan和Liu等人则主要使用雨滴的形状特征来对雨进行检测。Bossu等人在文献中[Bossu,J.,N.Hautière,J.P.Tarel,RainorSnowDetectioninImageSequencesThroughUseofaHistogramofOrientationofStreaks.InternationalJournalofComputerVision,2011.93(3):p.348-367.]，主要探讨了如何检测视频中是否存在雨。Shaodi等人在文献[You,S.,R.T.Tan,R.Kawakami,etal.AdherentRaindropDetectionandRemovalinVideo.IEEEConferenceonComputerVision&PatternRecognition.2013.p.1035-1042.]中考虑了下雨时，雨滴溅在摄像机镜头上所拍摄视频的处理。Santhaseelan等人[Santhaseelan,V.,V.K.Asari,UtilizingLocalPhaseInformationtoRemoveRainfromVideo.InternationalJournalofComputerVision,2014.112(1):p.71-89.]提出了利用相位一致性特征来对雨进行检测。上述方法不管是视频的检测过程还是修复过程，都需要相邻的帧提供信息，不能适用于有高速运动目标的视频图像。现有的文献中关于图像信号的分离多采取双系统的方式，有些方法采用两个固定的系统[Starck.J.L.,Y.Moudden,J.Bobin,etal.Morphologicalcomponentanalysis.Optics&Photonics.2005.InternationalSocietyforOpticsandPhotonics.p.59140Q-59140Q-15.]对信号进行刻画从而分离，而有些方法通过自适应的学习字典来进行信号分离的方法，对字典的学习一般需要两层图像中的某一层的相似模板或者根据用户指定两层图像在图像中的相应位置从而提取局部区域来对字典进行初始化[Peyré,G.,J.Fadili,J.-L.Starck,Learningthemorphologicaldiversity[J].SIAMJournalonImagingSciences,2010.3(3):p.646-669.]。然而对于雨天视频图像来说，人们很难事先得到分离的雨图来对雨的字典进行初始化，雨天视频图像中也不存在某一个区域全部是雨，能够抽取出来作为字典的初始化，因此，很难按照传统的方式对雨层和图像层分别学习两个不同的字典或系统来刻画两层图像使之分离。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种达到将真实图像与雨层图像分离效果、使雨天视频图像更加清晰的基于互斥性稀疏编码的雨天视频图像分离方法。为实现上述目的，本专利技术所提供的技术方案为：将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。进一步地，分离的具体步骤如下：S1、将雨天视频图像中的图像帧抽取出来，对每一帧图像进行S2-S6的操作；S2、初始化字典D1，雨块和真实图像块对应的编码系数和雨块的堆叠矩阵和真实图像块的堆叠矩阵指示变量w1；(此时迭代次数l为0，没有经过迭代)S3、利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和S4、利用雨块最新的编码系数和字典D1对雨块进行重构，再从雨块重构回雨层，得到雨层的亮度Rl+1；S5、根据雨层的亮度Rl+1和雨图的生成模型计算出真实图像层的亮度Il+1；S6、通过雨层的亮度Rl+1、真实图像层的亮度Il+1、雨块与图像块所对应的最新的编码系数和更新字典D1，以及更新指示变量w1；若字典D1没有变化或变化可以忽略，则进入步骤S7，否则返回步骤S3；S7、将真实图像层重新组合回视频。进一步地，步骤S3利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和的具体步骤如下：通过上一步迭代得到的字典D1，雨块与图像块的堆叠矩阵和指示变量w1，稀疏度TI，计算真实图像块的最新的编码系数公式如下：其中，C[:,j]代表稀疏系数的第j列；根据真实图像块的最新的编码系数指示变量w1和字典D1，抽取图像中残余雨量rl+1，公式如下：并将残余雨量rl+1叠加至上一轮的雨层图像中，利用稀疏逼近进行雨块最新编码系数的计算，公式如下：其中，TR为雨块的稀疏度。进一步地，步骤S4得到雨层的亮度R的具体步骤如下：利用雨块最新的编码系数和字典D1对雨块进行重构，得到新的雨块矩阵计算公式如下：雨块矩阵经过重组后得到雨层图像对应的亮度Rl+1。进一步地本文档来自技高网...

【技术保护点】
1.一种基于互斥性稀疏编码的雨天视频图像分离方法，其特征在于：将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。

【技术特征摘要】
1.一种基于互斥性稀疏编码的雨天视频图像分离方法，其特征在于：将真实图像与雨水的分离看成信号分离问题，在分离过程中利用真实图像层和雨层之间的内在属性差异，通过约束稀疏编码系数的互斥性，在不断迭代学习中得到一个有互斥性的字典，将雨天视频图像中的雨层与真实图像层在迭代中逐渐分离，最后达到清晰图像的效果。2.根据权利要求1所述的一种基于互斥性稀疏编码的雨天视频图像分离方法，其特征在于：分离的具体步骤如下：S1、将雨天视频图像中的图像帧抽取出来，对每一帧图像J进行S2-S6的操作；S2、初始化字典D1，雨块和真实图像块对应的编码系数和雨块的堆叠矩阵和真实图像块的堆叠矩阵指示变量w1；S3、利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和S4、利用雨块最新的编码系数和字典D1对雨块进行重构，再从雨块重构回雨层，得到雨层的亮度Rl+1；S5、根据雨层的亮度Rl+1和雨图的生成模型计算出真实图像层的亮度Il+1；S6、通过雨层的亮度Rl+1、真实图像层的亮度Il+1、雨块与图像块所对应的最新的编码系数和更新字典D1，以及更新指示变量w1；若字典D1没有变化或变化可以忽略，则进入步骤S7，否则返回步骤S3；S7、将真实图像层重新组合回视频。3.根据权利要求2所述的一种基于互斥性稀疏编码的雨天视频图像分离方法，其特征在于：所述步骤S3利用稀疏逼近的方式更新雨块与真实图像块所对应的编码系数，得到最新的编码系数和的具体步骤如下：通过字典D1，雨块与图像块的堆叠矩阵和指示变量w1，稀疏度TI计算真实图像块的最新的编码系数公式如下：其中，C[:,j]代表稀疏系数的第j列...

【专利技术属性】
技术研发人员：罗玉，凌捷，王文冲，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44