一种基于稀疏编码融合的夜间监控视频实时增强方法技术

该发明专利技术公开了一种基于稀疏编码融合的夜间监控视频实时增强方法，涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而具有在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的效果。

【技术实现步骤摘要】
一种基于稀疏编码融合的夜间监控视频实时增强方法
本专利技术涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。
技术介绍
视频增强在计算机视觉领域的研究由来已久。它主要解决如下问题：如何将较低质量(亮度小，对比度低，细节模糊等)的输入视频流输出为高质量(亮度大，对比度高，细节清晰)的视频流。目前视频增强技术在视频监控领用已经展开了大量的应用研究，尤其是针对特定地点的的夜间视频监控。夜间环境下的若光照影响给视频增强技术带来了不小的挑战。根据视频增强技术中是否利用被增强图像本身以外的信息，目前关于视频增强常用的方法可以分为两大类：自身修补增强和信息融合增强。其中前者主要依靠算法提高被增强图像的质量，后者主要将外来有用信息，一般是同一地点的白天视频信息，和夜间视频信息通过融合算法来增强视频质量。目前自身修补类的增强技术有：伽马校准增强，直方图均衡增强，色调映射增强，HDR(高动态范围成像)增强，小波变换增强等。而信息融合类的增强技术有：同态滤波融合增强，梯度融合增强，高斯混合模型增强等。关于这两类技术的比较，自身修补增强技术的时间复杂度会较高，而且增强效果相对较低，不宜应用于实时视频监；而信息融合类增强方法却利用较低的时间复杂度实现较好的增强效果。由于时间复杂性的限制，使得信息融合类方法更适宜于实时视频监控领域。通过融合类增强技术的基本流程，如图1所示，由于白天信息的加入导致这类技术出现了新的问题：过度增强、夜灯不亮、夜间倒影等问题。这些问题在图2中有很好的显示。左边的图是原来的视频帧，右边的图示利用白天背景融合增强后的视频帧。增强的效果看上去很好，但是正如上面所标注的ABC三个问题也很明显。A:由于过多增强，导致运动的人和背景的对比度降低，这使得在增强后的视频中，原本应该被重点关注的人不再那么突出；B:树上的彩灯也由于白天强光的影响，甚至不能判断其是否正常工作，这会妨碍夜间监控的有效性；C:由于白天的背景中有倒影，导致在增强过后的视频帧中倒影不合理出现。稀疏编码是较为常用的数据压缩算法,该算法包括原子字典更新和稀疏编码更新两个迭代过程。追踪算法是较为常用的求解字典原子的方法,稀疏编码的更新过程中，由于目标函数的不同，所采用的更新方法也不同；对于没有惩罚项的优化目标，K_SVD是常用的求解算法。最终的编码以原子字典为引用，压缩原始数据，同时也能移除原始数据中的噪音和冗余。
技术实现思路
针对
技术介绍
的不足之处，本专利技术提供一种基于稀疏编码融合的夜间监控视频实时增强方法，达到在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的目的。本专利技术的技术方案是一种基于稀疏编码融合的夜间监控视频实时增强方法，本方法通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而实现专利技术目的。因而该方法包括以下步骤：A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景；A1、收集大量特定地点的白天和夜间监控视频流数据；A2、使用MCL(mutualcoherencelearning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码；A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合；Pscf(i)＝γDdXd(i)+ηDnXn(i)(1)公式中i为图像块序号，Pscf(i)是融合后i号的图像块，Dd是白天的原子字典，Dn是夜间的原子字典，Xd(i)是白天的i号图像块的稀疏编码，Xn(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数；A4、将融合后的图像块按照块序号重构出增强后的背景图；A5、将夜间原子字典和对应稀疏编码按照DnXn(i)的方式重构出夜间稳定背景图；B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后的背景中；B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动物体；B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。步骤A2中MCL(mutualcoherencelearning:互相干扰性学习)方法过程进一步包括：A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的块赋予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练；A22、随机初始化原子字典D([d1,...,di,...,dk])，di表示字典中原子；A23、使用正交追踪算法计算出稀疏编码矩阵X([x1,...,xi,...xm])，使得任一xi满足公式(2)公式中yi是收集视频中的每一帧划分为的图像块信息，D是原子字典，||·||0是零范式计算，K是稀疏度；A24、对于字典中每一个原子di按照公式(3)进行重新初始化公式中Y是收集到的视频数据,对于特定编码i，指代所有编号i块的全部训练数据；A25、计算如果其大于0,则将标志位flag置为1，否则将flag置为-1；A26、对于字典中每一个原子di，利用A25的计算结果按照公式(4)进行更新公式总β为梯度参数；A27、比较di在更新前后的变化，如果没有变化则跳到A28，如果有变化则返回A25；A28、返回A23，直到训练得到的稀疏编码X不再变化，从而求白天视频帧中相同位置小块的原子字典和稀疏编码；A29、采用A21～A28相同的方法计算出夜间视频视频帧中相同位置小块的原子字典和稀疏编码。步骤B1中夜间运动物体提取过程进一步包括：B11、按照公式(5)对于帧中的每一个像素进行标示位赋值公式中的(x,y)是像素坐标，L(x,y)是(x,y)坐标对应的像素的标示位，B(x,y)和N(x,y)分别是对应的背景图像素值和夜间帧像素值，Th0是设定的阈值；B12、根据每个像素的标示位建立二值化图，将所有L为1的像素赋值为255，L为0的像素赋值为0；B13、对二值化的图进行高斯腐蚀，得到腐蚀后的图；B14、对于腐蚀后的图每一像素值进行阈值判断，二值化，如果大于某阈值，则赋值为255，否则赋值为0；B15、对于腐蚀后的二值化图进行膨胀计算，膨胀后再次二值化处理；B16、根据膨胀后的二值化图中像素值为255坐标位置，将夜间视频帧中相应的坐标像素提取出，再融合到增强后的背景图中去。所述步骤B11中对于帧中的每一个像素进行标示位赋值时，针对8位的数字化图像，阈值Th0的置信区间为130-160。所述步骤B14中对于腐蚀后的图进行二值化时，针对8位的数字化图像，阈值的的置信区间为160-190。本专利技术一种基于稀疏编码融合的夜间监控视频实时增强方法，通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动本文档来自技高网...

【技术保护点】
一种基于稀疏编码融合的夜间监控视频实时增强方法，该方法包括：A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景；A1、收集大量特定地点的白天和夜间监控视频流数据；A2、使用MCL(mutual coherence learning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码；A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合；Pscf(i)＝γDdXd(i)+ηDnXn(i)   (1)公式中i为图像块序号，Pscf(i)是融合后i号的图像块，Dd是白天的原子字典，Dn是夜间的原子字典，Xd(i)是白天的i号图像块的稀疏编码，Xn(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数；A4、将融合后的图像块按照块序号重构出增强后的背景图；A5、将夜间原子字典和对应稀疏编码按照DnXn(i)的方式重构出夜间稳定背景图；B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后的背景中；B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动物体；B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。...

【技术特征摘要】
1.一种基于稀疏编码融合的夜间监控视频实时增强方法，该方法包括：A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景；A1、收集大量特定地点的白天和夜间监控视频流数据；A2、使用MCL(mutualcoherencelearning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码；A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合；Pscf(i)＝γDdXd(i)+ηDnXn(i)(1)公式中i为图像块序号，Pscf(i)是融合后i号的图像块，Dd是白天的原子字典，Dn是夜间的原子字典，Xd(i)是白天的i号图像块的稀疏编码，Xn(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数；A4、将融合后的图像块按照块序号重构出增强后的背景图；A5、将夜间原子字典和对应稀疏编码按照DnXn(i)的方式重构出夜间稳定背景图；B、在线提取和融合：在实时视频流中提取出运动物体，并将之融合进A4得到的增强后的背景中；B1、采集当前视频，并使用A5中重构出的夜间稳定背景图提取出当前视频帧中的运动物体；B2、将提取出的运动物体融合到A4得到的增强后背景图中，得到夜间效果增强视频。2.如权利要求1所述的一种基于稀疏编码融合的夜间监控视频实时增强方法，其特征在于步骤A2中互相干扰性学习的具体步骤包括：A21、将白天视频中的每一帧划分为若干小的图像块y，并对在同一个坐标位置的块赋予一个块序号i，对每一个拥有相同块序号的图像块进行如下训练；A22、随机初始化原子字典D([d1,...,di,...,dk])，di表示字典中原子；A23、使用正交追踪算法计算出稀疏编码矩阵X([x1,...,xi,...xm])，使得任一xi满足公式(2)公式中yi是收集视频中的每一帧划分为的图像块信息，D是原子字典，||·||0是零范式计算，K是稀疏度；A24、对于字典中每一个原子di按照公式(3)进行重新初始化公式中Y是...

【专利技术属性】
技术研发人员：饶云波，丁先树，雷航，刘虹呈，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51