一种低照度的人脸图像处理方法、装置、设备及可读介质制造方法及图纸

本发明专利技术提供了一种低照度的人脸图像处理方法、装置、设备及可读介质，该方法包括：对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；然后将n张二维人脸图像根据三维人脸模型生成n张三维人脸图像，并将n张三维人脸图像叠加生成一张均值三维人脸图像；再将均值三维人脸图像映射至二维空间得到一张均值二维人脸图像；对均值二维人脸图像做图像增强处理后获得合适的亮度和对比的人脸图像。本发明专利技术根据热噪声的特点对视频中帧图像噪声进行降噪处理，并获取二维人脸图像后转成三维图像后进行叠加计算，以此来提高人脸照片的信噪比，并能通过所有二维人脸图像中不同角度的人脸照片不断补全人脸被遮挡部分的纹理，提高人脸图像的质量。

【技术实现步骤摘要】
一种低照度的人脸图像处理方法、装置、设备及可读介质
本专利技术涉及图像处理
，特别是一种低照度的人脸图像处理方法、装置、设备及可读介质。
技术介绍
随着视频监控系统的广泛使用以及人脸识别技术近年来得到快速发展，使用监控摄像头进行人脸识别的应用越来越广泛。但是要实现人脸识别，对摄像头拍摄的人脸照片要求较高，需要较为严格的人脸角度、清晰度、光照等条件，一旦某个条件较差，人脸识别的准确率将大打折扣。低照度环境是指环境光线较弱，环境下的物体由于光线不足，造成物体较暗。对于监控摄像机来说，在低照度环境下，往往难于拍摄到清晰的画面。为了解决低照度环境下的拍摄问题，摄像头推出星光级硬件，但对拍摄图片质量的提升依然有限。但在人脸识别应用上，由于在监控视频中，人是运动的，通过增加曝光时间的方式，会造成图片中运动物体模糊；通过增加感光度的方式，会使得图片出现大量的噪点，而通过算法降噪处理，又会使得最终图片丢失大量细节。因此，单纯依靠调整摄像头参数很难很好地适应低照度下人脸识别的应用。监控图像上的噪声主要包括热噪声和高感光下的随机噪声。监控摄像头由于长时间运行，感光元件会产生热噪声，而这部分噪声在现有的应用中基本没有做相应的处理，但在低照度环境下，热噪声也是一个影响到图片的质量的重要因素。目前在人脸识别领域，基本都还仅是使用图像增强的方法来提高图片的亮度和对比度，并且只是针对单张照片做处理。而通过单纯的图像增强，在提高照片亮度和对比度的同时，会把图像噪声也放大，影响到图片的细节部分，降低人脸识别的准确率。
技术实现思路
本专利技术针对上述现有技术中的缺陷，提出了如下技术方案。一种低照度的人脸图像处理方法，该方法包括：提取步骤，对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；生成步骤，将n张二维人脸图像根据三维人脸模型生成n张三维人脸图像，并将n张三维人脸图像叠加生成一张均值三维人脸图像；映射步骤，将所述均值三维人脸图像映射至二维空间得到一张均值二维人脸图像；处理步骤，对所述均值二维人脸图像做图像增强处理后获得合适的亮度和对比的人脸图像；其中，n为整数，其n﹥﹦2。更进一步地，所述热噪声获取步骤的操作为：开启摄像单元后盖上镜头盖，保持正常运行1小时，1小时后每分钟获取1张图像，共获取60张图像，对所述60张图像的每个像素值进行叠加求平均值，使用每个像素值的平均值生成一张图像作为摄像单元的热噪声分布图像，并保存该热噪声分布图像。更进一步地，所述提取步骤包括：热噪声去除步骤，从视频中提取第一图像，将所述图像与所述热噪声分布图像做差值去除所述第一图像的热噪声得到第二图像；直方图处理步骤，对所述第二图像进行直方图均衡处理以提升所述第二图像的整体亮度和对比度，得到第三图像；检测步骤，使用人脸检测模型检测所述第三图像中是否有人脸，如果有，则获取人脸位置和人脸的多个特征点位置并根据检测到的人脸位置来确定人脸的人物身份，假设当前检测到的人脸为人物A；二维人脸图像获取步骤，根据所述人脸位置从所述第二图像提取出只包含人脸的第一人脸二维图像M1和人脸多个特征点位置P1；重复执行上述热噪声去除步骤、直方图处理步骤、检测步骤和二维人脸图像获取步骤得到人物A的n张二维人脸图像{M1、M2、……、Mn}及与n张二维人脸图像分别对应的n个人脸多个特征点位置{P1、P2、……、Pn}；其中，P1、P2、……、Pn表示多个特征点位置的向量。更进一步地，所述生成步骤包括：三维人脸图像获得步骤，将人物A的n张二维人脸图像{M1、M2、……、Mn}根据与n张二维人脸图像分别对应的n个人脸多个特征点位置的集合{P1、P2、……、Pn}映射到三维人脸模型，遮挡部分的像素值置为0得到所述n张三维人脸图像；加权步骤，将所述n张三维人脸图像的相同位置处的像素值进行加权平均计算，且对于像素值为0的像素不参加加权平均计算，得到一张初始的均值三维人脸图像；校正步骤，判断所述初始的均值三维人脸图像是否存在像素值为0的区域，如果，根据人脸对称性，将对称位置的像素值赋值给像素值为0的像素得到一张均值三维人脸图像。更进一步地，所述特征点的个数为68。更进一步地，所述对所述均值二维人脸图像做图像增强处理是对数变换处理。本专利技术还提出了一种低照度的人脸图像处理装置，该装置包括：提取单元，用以对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；生成单元，用以将n张二维人脸图像根据三维人脸模型生成n张三维人脸图像，并将n张三维人脸图像叠加生成一张均值三维人脸图像；映射单元，用以将所述均值三维人脸图像映射至二维空间得到一张均值二维人脸图像；处理单元，用以对所述均值二维人脸图像做图像增强处理后获得合适的亮度和对比的人脸图像其中，n为整数，其n﹥﹦2。更进一步地，所述装置还包括：热噪声获取单元，用以在所述提取单元工作之前获取摄像单元的热噪声分布图像。更进一步地，所述热噪声获取单元执行的操作为：开启摄像单元后盖上镜头盖，保持正常运行1小时，1小时后每分钟获取1张图像，共获取60张图像，对所述60张图像的每个像素值进行叠加求平均值，使用每个像素值的平均值生成一张图像作为摄像单元的热噪声分布图像，并保存该热噪声分布图像。更进一步地，所述提取单元包括：热噪声去除模块，用以从视频中提取第一图像，将所述图像与所述热噪声分布图像做差值去除所述第一图像的热噪声得到第二图像；直方图处理模块，用以对所述第二图像进行直方图均衡处理以提升所述第二图像的整体亮度和对比度，得到第三图像；检测模块，用以使用人脸检测模型检测所述第三图像中是否有人脸，如果有，则获取人脸位置和人脸的多个特征点位置并根据检测到的人脸位置来确定人脸的人物身份，假设当前检测到的人脸为人物A；二维人脸图像获取模块，用以根据所述人脸位置从所述第二图像提取出只包含人脸的第一人脸二维图像M1和人脸多个特征点位置P1；重复使用上述热噪声去除模块、直方图处理模块、检测模块和二维人脸图像获取模块执行相应的操作得到人物A的n张二维人脸图像{M1、M2、……、Mn}及与n张二维人脸图像分别对应的n个人脸多个特征点位置{P1、P2、……、Pn}；其中，P1、P2、……、Pn表示多个特征点位置的向量。更进一步地，所述生成单元包括：三维人脸图像获得模块，将人物A的n张二维人脸图像{M1、M2、……、Mn}根据与n张二维人脸图像分别对应的n个人脸多个特征点位置的集合{P1、P2、……、Pn}映射到三维人脸模型，遮挡部分的像素值置为0得到所述n张三维人脸图像；加权模块，将所述n张三维人脸图像的相同位置处的像素值进行加权平均计算，且对于像素值为0的像素不参加加权平均计算，得到一张初始的均值三维人脸图像；校正模块，判断所述初始的均值三维人脸图像是否存在像素值为0的区域，如果，根据人脸对称性，将对称位置的像素值赋值给像素值为0的像素得到一张均值三维人脸图像。更进一步地，所述特征点的个数为68。更进一步地，所述对所述均值二维人脸图像做图像增强处理是对数变换处理。本专利技术还提出了一种低照度的人脸图像处理设备，所述设备包括处理器、存储器，所述处理器与所述存储器通过总线相连接，所述存储器中存储机器可读代码，所述处理器执行存储器中的机器可读代码以执行上述之任一所述的方法。本文档来自技高网...

【技术保护点】
1.一种低照度的人脸图像处理方法，其特征在于，该方法包括：提取步骤，对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；生成步骤，将n张二维人脸图像根据三维人脸模型生成n张三维人脸图像，并将n张三维人脸图像叠加生成一张均值三维人脸图像；映射步骤，将所述均值三维人脸图像映射至二维空间得到一张均值二维人脸图像；处理步骤，对所述均值二维人脸图像做图像增强处理后获得合适的亮度和对比的人脸图像；其中，n为整数，并且n﹥﹦2。

【技术特征摘要】
1.一种低照度的人脸图像处理方法，其特征在于，该方法包括：提取步骤，对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；生成步骤，将n张二维人脸图像根据三维人脸模型生成n张三维人脸图像，并将n张三维人脸图像叠加生成一张均值三维人脸图像；映射步骤，将所述均值三维人脸图像映射至二维空间得到一张均值二维人脸图像；处理步骤，对所述均值二维人脸图像做图像增强处理后获得合适的亮度和对比的人脸图像；其中，n为整数，并且n﹥﹦2。2.根据权利要求1的方法，其特征在于，所述方法还包括：热噪声获取步骤，用以获取摄像单元的热噪声分布图像；其中，热噪声获取步骤在所述提取步骤之前。3.根据权利要求2的方法，其特征在于，所述热噪声获取步骤的操作为：开启摄像单元后盖上镜头盖，保持正常运行1小时，1小时后每分钟获取1张图像，共获取60张图像，对所述60张图像的每个像素值进行叠加求平均值，使用每个像素值的平均值生成一张图像作为摄像单元的热噪声分布图像，并保存该热噪声分布图像。4.根据权利要求3的方法，其特征在于，所述提取步骤包括：热噪声去除步骤，从视频中提取第一图像，将所述图像与所述热噪声分布图像做差值去除所述第一图像的热噪声得到第二图像；直方图处理步骤，对所述第二图像进行直方图均衡处理以提升所述第二图像的整体亮度和对比度，得到第三图像；检测步骤，使用人脸检测模型检测所述第三图像中是否有人脸，如果有，则获取人脸位置和人脸的多个特征点位置并根据检测到的人脸位置来确定人脸的人物身份，假设当前检测到的人脸为人物A；二维人脸图像获取步骤，根据所述人脸位置从所述第二图像提取出只包含人脸的第一人脸二维图像M1和人脸多个特征点位置P1；重复执行上述热噪声去除步骤、直方图处理步骤、检测步骤和二维人脸图像获取步骤得到人物A的n张二维人脸图像{M1、M2、……、Mn}及与n张二维人脸图像分别对应的n个人脸多个特征点位置{P1、P2、……、Pn}；其中，P1、P2、……、Pn表示多个特征点位置的向量。5.根据权利要求4的方法，其特征在于，所述生成步骤包括：三维人脸图像获得步骤，将人物A的n张二维人脸图像{M1、M2、……、Mn}根据与n张二维人脸图像分别对应的n个人脸多个特征点位置的集合{P1、P2、……、Pn}映射到三维人脸模型，遮挡部分的像素值置为0得到所述n张三维人脸图像；加权步骤，将所述n张三维人脸图像的相同位置处的像素值进行加权平均计算，且对于像素值为0的像素不参加加权平均计算，得到一张初始的均值三维人脸图像；校正步骤，判断所述初始的均值三维人脸图像是否存在像素值为0的区域，如果，根据人脸对称性，将对称位置的像素值赋值给像素值为0的像素得到一张均值三维人脸图像。6.根据权利要求5的方法，其特征在于，所述特征点的个数为68。7.根据权利要求1的方法，其特征在于，所述对所述均值二维人脸图像做图像增强处理是对数变换处理。8.一种低照度的人脸图像处理装置，其特征在于，该装置包括：提取单元，用以对视频中的每一帧进行处理，提取出属于同一个人的n张二维人脸图像；生成单元，用以将n张二维人脸图像根据三维人脸模型生成n张三维人脸图...

【专利技术属性】
技术研发人员：张光斌，杨培德，尤俊生，郭小强，雷李辉，高志鹏，庄进发，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建,35