一种去除低照度视频噪声的装置和方法制造方法及图纸

本发明专利技术提供了一种基于宽度学习和生成对抗网络技术去除低照度视频噪声的装置和方法，方法包括：获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。得到的。得到的。

【技术实现步骤摘要】
一种去除低照度视频噪声的装置和方法


[0001]本专利技术涉及计算机视觉领域，更具体地，涉及一种基于宽度学习和生成对抗网络技术去除低照度视频噪声的装置和方法。

技术介绍

[0002]随着5G和视频技术的发展，基于摄像头的看家类产品发展迅速，而视频文件的存储规模也越来越大。以中国电信天翼看家产品为例，每日新增的视频文件就需要25P的存储空间，海量的存储最直接的是带来了很高的硬件采购成本，另外海量的存储对于扩容、运维、容灾等都带来很高的管理成本。所以对视频文件尽可能大的压缩是一个技术挑战。
[0003]特别是在低照度环境下，感光元件增加曝光时间，温度上升，较长时间的感光会造成大量白噪声、暗电流，这些白噪声和暗电流会造成大量随机噪点的输出。这些噪点会给生产经营带来以下三方面的问题：
[0004]1、成像质量低，用户体验差，视频可能会被高斯噪声、椒盐噪声、瑞利噪声、指数噪声等的一种或者多种噪声覆盖；
[0005]2、噪点会造成视频中的高频信号较为密集，如果不加处理直接输入到编码器进行编码，会造成存储空间的提升。例如，在H265标准下单路视频摄像头的码流在亮度正常的情况下被压缩到700K左右，但在夜晚阴雨天等低照度环境下，存储容量会增加30％
‑
50％；以及
[0006]3、这些图像用于AI识别(例如，人脸识别、车牌识别)时成功率较低，这给智能安防带来了很大隐患。
[0007]传统的编解码技术使用低通滤波和中值滤波的方式进行噪声的处理。但低通滤波在去除噪声的同时图片会变得模糊。中值滤波采用非线性的方法，在保护图像尖锐的边缘同时，选择适当的点来替代污染点的值，所以处理效果不会像低通滤波那样模糊，但中值滤波的算法决定了对椒盐噪声表现较好，对高斯噪声等其它噪声表现较差。近年来随着人工智能的发展，机器学习算法和深度学习算法被应用到图像去噪领域，并取得了较为明显的成果，但人工智能模型的训练依赖于大量样本集的标注和学习，在推理阶段依赖于硬件的算力，在端侧进行ISP处理和AI处理时会增加硬件成本。
[0008]目前已经存在利用中值滤波与非线性映射相结合的方法对图像的噪声进行抑制，由此实现在保持原有图像能见度的同时，抑制低照度图像的噪声，提高夜间图像的监控画面质量，然而，采用中值滤波的方法的泛化能力较差，仅对椒盐噪声有一定效果，对其它噪声效果较差。另外，目前还提出了相似场景下使用高质量相似图像进行图像增强的方法，但是该方法直接使用直方图匹配的方式去匹配，导致准确率较低，因为直方图本身受光照影响较大。相对于目前已经存在的方法，基于深度学习的方法取得了更好的效果，但是深度学习需要训练的权重以及偏置等参数多达百万以上，模型训练的速度慢，时间长，计算成本太高。因此，为了改进图像去噪方面的性能，减小对算力的依赖，期望提供一种改进的去除低照度图片噪声的方法。

技术实现思路

[0009]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0010]针对上述现有技术中存在的不足，本专利技术结合摄像头业务的实际应用情况，区别于行业内主流的盲去噪方案，引入白天光照好的视频帧作为参照帧，使用宽度学习和生成对抗网络技术对低照度图像进行有目的可量化的去噪处理，例如，可用于终端进行H264/H265编码前的ISP处理，对I帧和P帧进行去噪，这可以节省存储成本，提升用户体验，也可以用于深度学习图像识别的预处理模块，提高图像识别的准确率。
[0011]根据本专利技术的一个方面，提供了一种用于去除低照度图片噪声的方法，所述方法包括：获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。
[0012]根据本专利技术的一个实施例，所述方法进一步包括：对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；并且在所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，返回与所述一个或多个高照度参照特征向量中与所述低照度特征向量的余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据输入所述宽度学习网络。
[0013]根据本专利技术的进一步实施例，所述高照度参照特征库是通过以下方式来构建的：定期采集高照度参照图片，其中所述高照度参照图片的亮度高于一阈值；对所述高照度参照图片进行特征提取以得到对应的高照度参照特征向量；将所述高照度参照特征向量与所述高照度参照特征库中已有特征向量进行比对；在所述高照度参照特征向量与所述高照度参照特征库中已有特征向量中的每一者之间的余弦相似度小于预定阈值时，将所述高照度参照特征向量加入所述高照度参照特征库中；对所述高照度参照特征向量所对应的高照度参照图片进行灰度处理；对所述经灰度处理的图片进行拉普拉斯变换并且序列化保存。
[0014]根据本专利技术的进一步实施例，所述生成对抗网络的训练是通过重复以下步骤来实现的，其中将不含噪声的清晰图片与对应的低照度图片作为训练数据集：将所述训练数据集中的低照度图片经由所述宽度学习网络所提取到的特征向量输入所述生成对抗网络中的生成网络以生成去噪图片；将所生成的去噪图片与对应的不含噪声的清晰图片输入所述生成对抗网络中的判别网络以供所述判别网络进行真实图片判别；基于损失计算来对所述生成网络和所述判别网络进行优化。
[0015]根据本专利技术的另一方面，提供了一种用于去除低照度图片噪声的系统，所述系统包括：特征提取模块，所述特征提取模块被配置成：获取待去噪的低照度图片；对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；相似图片对比模块，所述相似图片对比模块被配置成：将所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量进行逐一比对；并且在所述低照度特征向量与所述一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，确定存在相似图片并且返回与所述一个或多个
高照度参照特征向量中与所述低照度特征向量余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据；否则，确定不存在相似图片并且直接将所获取的低照度图片作为输入数据；宽度学习特征提取模块，所述宽度学习特征提取模块被配置成将所述输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及生成对抗网络去噪模块，所述生成对抗网络去噪模块被配置成将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于去除低照度图片噪声的方法，其特征在于，所述方法包括：获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；并且在所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，返回与所述一个或多个高照度参照特征向量中与所述低照度特征向量的余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据输入所述宽度学习网络。3.如权利要求2所述的方法，其特征在于，所述高照度参照特征库是通过以下方式来构建的：定期采集高照度参照图片，其中所述高照度参照图片的亮度高于一阈值；对所述高照度参照图片进行特征提取以得到对应的高照度参照特征向量；将所述高照度参照特征向量与所述高照度参照特征库中已有特征向量进行比对；在所述高照度参照特征向量与所述高照度参照特征库中已有特征向量中的每一者之间的余弦相似度小于预定阈值时，将所述高照度参照特征向量加入所述高照度参照特征库中；对所述高照度参照特征向量所对应的高照度参照图片进行灰度处理；对所述经灰度处理的图片进行拉普拉斯变换并且序列化保存。4.如权利要求1所述的方法，其特征在于，所述生成对抗网络的训练是通过重复以下步骤来实现的，其中将不含噪声的清晰图片与对应的低照度图片作为训练数据集：将所述训练数据集中的低照度图片经由所述宽度学习网络所提取到的特征向量输入所述生成对抗网络中的生成网络以生成去噪图片；将所生成的去噪图片与对应的不含噪声的清晰图片输入所述生成对抗网络中的判别网络以供所述判别网络进行真实图片判别；基于损失计算来对所述生成网络和所述判别网络进行优化。5.一种用于去除低照度图片噪声的系统，其特征在于，所述系统包括：特征提取模块，所述特征提取模块被配置成：获取待去噪的低照度图片；对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；相似图片对比模块，所述相似图片对比模块被配置成：将所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量进行逐一比对；并且在所述低照度特征向量与所述一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，确定存在相似图片并且返回与所述一个或多个高照度参照特征向量中与所
述低照度特征向量余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据；否则，确定不存在相似图片并且直接将所获取的低照度图片作为输入数据；宽度学习特征提取模块，所述宽度学习特征提取模块被配置成将所述输入数据输入经训练的宽度学习网络进行空间...

【专利技术属性】
技术研发人员：史国杰，曹靖城，吕超，吴宇松，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：