一种夜间人脸视频图像增强与降噪方法技术

本发明专利技术公开了一种夜间人脸视频图像增强与降噪方法，属于信息处理技术领域，本发明专利技术首先将人脸视频图像从RGB空间转换到HSV空间，对图像的V分量进行BEMD分解，按照一定规则自适应地分解成若干IMF分量，对其中的低频IMF分量进行滤波并去除照射分量，对高频IMF分量进行纹理、细节等信息增强并降噪，把这些经过处理的IMF分量进行重构，即得到降噪与增强后的V分量，把处理后的V分量进行自适应对比度增强后，与经过小波降噪后的H、S分量重构，即可得到降噪与增强处理后的人脸视频图像。本方法在有效增强图像对比度的同时可锐化边缘、纹理等细节信息，有效提高了图像的清晰度，且能够去除夜间人脸图像增强中的光晕问题。

A Noise Reduction and Enhancement Method for Nighttime Face Video Image

The invention discloses a method for enhancing and denoising night face video image, which belongs to the field of information processing technology. Firstly, the method converts face video image from RGB space to HSV space, decomposes the V component of the image by BEMD, adaptively decomposes the V component into several IMF components according to certain rules, filters the low-frequency IMF component and removes the irradiation component, and divides the high-frequency IMF component. After texture and details are enhanced and denoised, the processed IMF components are reconstructed, i.e. the denoised and enhanced V components are obtained. After adaptive contrast enhancement of the processed V components and reconstruction of the H and S components after wavelet denoising, the denoised and enhanced face video images can be obtained. This method can sharpen the edge, texture and other details while effectively enhancing the image contrast. It can effectively improve the image clarity and remove the halo problem in night face image enhancement.

【技术实现步骤摘要】
一种夜间人脸视频图像增强与降噪方法
本专利技术属于信息处理
，具体涉及一种夜间人脸视频图像增强与降噪方法。
技术介绍
目前，视频监控技术广泛应用于社会治理与公共安全领域，成为公安机关辨识违法嫌疑人的重要技术手段。在白天光照良好的情况下，采集得到的视频图像可满足应用要求，而在傍晚或夜间采集的图像质量严重恶化，图像呈现大量暗区，且包含噪声，导致图像内容模糊不清，细节丢失；在夜晚人工光源下，采集到的人脸图像又会出现高光区，使图像整体亮度不均匀，这些问题都给夜间视频图像的人脸辨识带来巨大挑战，因此研究夜间人脸视频图像增强与降噪方法具有重要意义。目前图形增强与降噪方法主要包括：基于直方图的增强与降噪方法、基于同态滤波的增强与降噪方法和基于Retinex理论的增强与降噪等方法，这些方法都有其局限性，如基于直方图的增强算法没有考虑图像的频率及细节信息，容易出现过增强，增强后会减弱图像的层次感；基于同态滤波的增强方法的应用前提是假设光照均匀，对高光区和暗区图像增强效果很差；基于Retinex理论的增强方法基于照明-反射模型，这类算法在图像边缘区存在光晕问题，且照射分量难以估计，使图像增强效果不佳。
技术实现思路
针对现有技术中存在的上述技术问题，本专利技术提出了一种夜间人脸视频图像增强与降噪方法，设计合理，克服了现有技术的不足，具有良好的效果。为了实现上述目的，本专利技术采用如下技术方案：一种夜间人脸视频图像增强与降噪方法，包括以下步骤：步骤1：读取图像到计算机；傍晚或夜晚，在人工光源情况下，使用连接摄像头的计算机连续采集人脸视频并存储在计算机内，从存储的视频中抽取一帧夜间人脸图像，存储为BMP格式，记为I(x,y)；步骤2：图像空间转换；对于待处理图像I(x,y)，将其从RGB空间转换到HSV空间，在转换后的HSV空间中，记色调分量为H(x,y)、饱和度分量为S(x,y)、亮度分量为V(x,y)；步骤3：对亮度分量V(x,y)进行BEMD分解，具体包括如下步骤：步骤3.1：初始化分解层数N＝5；令E(x,y)＝V(x,y)；k＝0；i＝1；步骤3.2：令k＝k+1；E(x,y)为二维信号，其包络曲面的极大值和极小值分别记为E+(x,y)和E-(x,y)，将二者的均值作为E(x,y)的包络均值，即：步骤3.3：使用E(x,y)减去包络均值，得到：步骤3.4：判断是否为IMF分量，定义IMF分量的判定特征指数SD为：IMF分量的判定特征指数SD<0.25；如果k＝1或者SD≥0.25，则不符合IMF分量的定义，需重复上述过程，此时令然后转步骤3.2；否则，符合IMF的定义，转步骤3.5；步骤3.5：计算图像分量V(x,y)的第i阶IMF分量，即：步骤3.6：将imfi(x,y)从图像E(x,y)中分离，得到余项R(x,y)，即：R(x,y)＝E(x,y)-imfi(x,y)(5)；步骤3.7：如果i≤N,则将余项R(x,y)作为新信号，即令E(x,y)＝R(x,y)，重复步骤3.2至步骤3.7，直至i>N，然后转步骤3.8；步骤3.8：将亮度分量V(x,y)进行分解，得到：此时亮度分量V(x,y)分解得到5个IMF和一个余项R(x,y)，即6个频带；对分解得到的6个频带转步骤4处理：步骤4：对分解得到的低频IMF分量和余项R(x,y)进行消噪滤波，去除照射分量，具体包括如下步骤：步骤4.1：定义滤波器，如公式(7)所示：式中，g(x,y)为滤波器输出结果，表示输出(x,y)位置的像素值g依赖于邻域内像素值f的加权组合，(k,l)表示像素(x,y)的邻域像素位置；权重系数w(x,y,k,l)等于空间域核d(x,y,k,l)和值域核r(x,y,k,l)的乘积，即：w(x,y,k,l)＝d(x,y,k,l)·r(x,y,k,l)(8)；其中，则有：式中，σd为空间域方差，σr为值域方差；步骤4.2：利用公式(7)定义的滤波器分别对低频IMF分量imf4(x,y)、imf5(x,y)和余项R(x,y)进行滤波处理，消除噪声成分，滤波后的结果记为：imf4′(x,y),imf5′(x,y),R′(x,y)；步骤5：对分解得到的高频IMF分量imf1(x,y),imf2(x,y),imf3(x,y)分别进行边缘、纹理细节信息自适应增强与降噪，具体包括如下步骤：步骤5.1：分别对高频IMF分量imf1(x,y),imf2(x,y),imf3(x,y)进行小波分析；步骤5.2：利用式(12)对小波系数进行自适应调节：f(w)＝a[sigm(c(w-b))-sigm(-c(w+b))](12)；其中，式(12)、(13)中，w为小波系数，f(w)为增强后的小波系数，b和c为控制增强幅度的参数；步骤5.3：重构增强后的小波系数，得到边缘、纹理细节信息自适应增强后的高频子带imf1′(x,y),imf2′(x,y),imf3′(x,y)；步骤6：重构经步骤4、5处理后的IMF分量，得到新的图像分量V′(x,y)；按照式(14)重构经过步骤4、步骤5处理后的低、高频子带，得到去除照射分量和边缘细节信息增强的图像分量，记为V′(x,y)：步骤7：对新的图像分量V′(x,y)进行对比度自适应增强处理，具体包括如下步骤：步骤7.1：计算图像分量V′(x,y)的灰度统计直方图：式中，sk为图像分量V′(x,y)的第k级灰度值，nk是灰度值sk的像素个数，n是像素总数，L是图像的灰度级总数；步骤7.2：计算图像分量V′(x,y)的灰度累积概率密度p′(sk)：步骤7.3：建立灰度值映射，即：sk′＝μ×(L-1)×p′(sk),k＝0,1,2,...,L-1(17)；式中，μ为灰度映射系数；步骤7.4：将图像分量V′(x,y)中的灰度值sk变换成s′k，得到对比度增强后的图像分量V″(x,y)；步骤8：对分量H(x,y)，S(x,y)分别进行小波自适应阈值降噪处理，得到降噪后的分量H′(x,y)、S′(x,y)；步骤9：将对比度增强后的图像分量V″(x,y)与降噪后的分量H′(x,y)、S′(x,y)重构，得到去噪与增强后的图像，即：I′(x,y)＝H′(x,y)+S′(x,y)+V″(x,y)(18)；将经过处理的图像I′(x,y)从HSV空间转换到RGB空间；至此，完成了夜间人脸视频图像的增强处理。优选地，在步骤4.1中，取σd∈[3,5]，σr∈[0.05,0.15]。优选地，在步骤5.2中，取b＝0.4，c＝50。优选地，在步骤7.3中，取μ∈[0.85,0.95]。本专利技术所带来的有益技术效果：根据夜间人脸视频图像的特点，首先将图像从RGB空间转换到HSV空间，设计BEMD分解算法将图像V分量的高、低频分量进行有效分离，对低频分量设计专用滤波器滤除噪声并去除照射分量，对高频分量设计算法增强边缘、纹理等细节信息；根据直方图分布特点设计算法对V分量进行对比度自适应增强，实现夜间人脸图像对比度的自适应增强；本方法在有效增强图像对比度的同时可锐化边缘、纹理等细节信息，有效提高了图像的清晰度，且能够去除夜间人脸图像增强中的光晕问题。附图说明图1为本专利技术中夜间人脸视频图像增强方法流程图；图2为本专利技术中像素(x,y)与邻域像素(k,l)的位置本文档来自技高网...

【技术保护点】
1.一种夜间人脸视频图像增强与降噪方法，其特征在于：包括以下步骤：步骤1：读取图像到计算机；傍晚或夜晚，在人工光源情况下，使用连接摄像头的计算机连续采集人脸视频并存储在计算机内，从存储的视频中抽取一帧夜间人脸图像，存储为BMP格式，记为I(x,y)；步骤2：图像空间转换；对于待处理图像I(x,y)，将其从RGB空间转换到HSV空间，在转换后的HSV空间中，记色调分量为H(x,y)、饱和度分量为S(x,y)、亮度分量为V(x,y)；步骤3：对亮度分量V(x,y)进行BEMD分解，具体包括如下步骤：步骤3.1：初始化分解层数N＝5；令E(x,y)＝V(x,y)；k＝0；i＝1；步骤3.2：令k＝k+1；E(x,y)为二维信号，其包络曲面的极大值和极小值分别记为E+(x,y)和E‑(x,y)，将二者的均值作为E(x,y)的包络均值，即：

【技术特征摘要】
1.一种夜间人脸视频图像增强与降噪方法，其特征在于：包括以下步骤：步骤1：读取图像到计算机；傍晚或夜晚，在人工光源情况下，使用连接摄像头的计算机连续采集人脸视频并存储在计算机内，从存储的视频中抽取一帧夜间人脸图像，存储为BMP格式，记为I(x,y)；步骤2：图像空间转换；对于待处理图像I(x,y)，将其从RGB空间转换到HSV空间，在转换后的HSV空间中，记色调分量为H(x,y)、饱和度分量为S(x,y)、亮度分量为V(x,y)；步骤3：对亮度分量V(x,y)进行BEMD分解，具体包括如下步骤：步骤3.1：初始化分解层数N＝5；令E(x,y)＝V(x,y)；k＝0；i＝1；步骤3.2：令k＝k+1；E(x,y)为二维信号，其包络曲面的极大值和极小值分别记为E+(x,y)和E-(x,y)，将二者的均值作为E(x,y)的包络均值，即：步骤3.3：使用E(x,y)减去包络均值，得到：步骤3.4：判断是否为IMF分量，定义IMF分量的判定特征指数SD为：IMF分量的判定特征指数SD<0.25；如果k＝1或者SD≥0.25，则不符合IMF分量的定义，需重复上述过程，此时令然后转步骤3.2；否则，符合IMF的定义，转步骤3.5；步骤3.5：计算图像分量V(x,y)的第i阶IMF分量，即：步骤3.6：将imfi(x,y)从图像E(x,y)中分离，得到余项R(x,y)，即：R(x,y)＝E(x,y)-imfi(x,y)(5)；步骤3.7：如果i≤N,则将余项R(x,y)作为新信号，即令E(x,y)＝R(x,y)，重复步骤3.2至步骤3.7，直至i>N，然后转步骤3.8；步骤3.8：将亮度分量V(x,y)进行分解，得到：此时亮度分量V(x,y)分解得到5个IMF和一个余项R(x,y)，即6个频带；对分解得到的6个频带转步骤4处理：步骤4：对分解得到的低频IMF分量和余项R(x,y)进行消噪滤波，去除照射分量，具体包括如下步骤：步骤4.1：定义滤波器，如公式(7)所示：式中，g(x,y)为滤波器输出结果，表示输出(x,y)位置的像素值g依赖于邻域内像素值f的加权组合，(k,l)表示像素(x,y)的邻域像素位置；权重系数w(x,y,k,l)等于空间域核d(x,y,k,l)和值域核r(x,y,k,l)的乘积，即：w(x,y,k,l)＝d(x,y,k,l)·r(x,y,k,l)(8)；其中，则有：式中，σd为空间域方差，σr为值域方差；步骤4.2：利用公式(7)定义的滤波器分别对低频IMF分量imf4(x,y)、imf5(x,y)和余项R(x,y)进行滤波处理，消除噪声成分，滤波后的结果记为：i...

【专利技术属性】
技术研发人员：贾翔宇，彭延军，李本冲，姜凯，孙红梅，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37