一种面向监控场景车窗图像的图像增强方法与系统技术方案

本发明专利技术公开了用于增强监控中车窗图像的图像增强方法与系统，利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明专利技术的优势在于：本发明专利技术利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。

An image enhancement method and system for monitoring scene window image

【技术实现步骤摘要】
一种面向监控场景车窗图像的图像增强方法与系统
本专利技术属于人工智能应用领域，具体涉及一种面向监控场景车窗图像的图像增强方法与系统。
技术介绍
车窗，作为车辆信息中最具有视觉辨识力部分，对车辆的重识别来说占据着非常重要的地位。特别是在一些案件中，肇事车辆会选择遮挡牌照来掩盖身份信息，更需要车窗来判断车辆内部装饰细节与人物状态。然而在固定监控摄像的客观拍摄条件影响下，车窗的清晰度往往不尽人意。具体而言，车窗图像中存在的退化现象因摄像头分辨率低、夜间光照昏暗、车辆运动过快产生模糊等情况呈现复杂糅合。这极大影响了图像的视觉可认知程度，因此，需要对监控场景中车窗图像进行增强以供进一步识别分析。目前尚无专门针对这一具体而复杂问题的方法。而由于缺乏对齐的可用于强监督学习的清晰数据，现有可处理该问题的办法一部分为面向某一特定退化现象的传统基于先验假设优化的方法，另一部分为单纯基于生成对抗机制的深度学习方法。传统方法不能解决监控车窗图像中多种退化现象杂糅的复杂问题，而单纯基于简单生成对抗网络的方法由于结果生成过程中自由度过高，常出现生成图像内容的失真及各种瑕疵(artifacts)因而影响了后续对增强结果的识别。因此需要提出一种面向监控场景车窗图像的内容可保持的图像增强方法与系统。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本专利技术针对监控摄像采集条件下车辆挡风玻璃图像存在的噪声、模糊、低光照及强反射等多种失真退化现象，本专利技术提出一种挡风玻璃图像的图像增强方法与系统，提升车内目标的可见度与分辨率，利用车辆检索模型中的深度特征对图像进行语义描述约束，提高增强后图像在视觉识别任务中的性能表现。根据本专利技术实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强方法，包括：通过弱监督学习框架对非配对的高清晰度与低清晰度车窗数据进行学习，利用同一模型实现对包括模糊、噪声、低光照在内的多种退化现象的图像增强；其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。根据本专利技术实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强系统，包括：数据生成模块，基于区域候选框网络自动从车辆图像中提取车窗图像，构成无成对监督信息的数据集，将车窗图像与相应车辆ID链接存储使用；图像增强网络，基于数据域迁移模块与内容感知判别器对低视觉质量的车窗图像对应的高清结果进行预测；车辆检索模块，将预测得到的所述高清结果传递入车辆检索任务网络中，通过车辆检索性能的提升对车窗图像增强效果进行评价，并通过网络损失进行反馈。本专利技术的优势在于：本专利技术从数据域之间的相互映射和内容一致性的角度重新定义了车窗图像增强问题，从为高层机器视觉任务服务的角度出发，提出了通过引入内容判别器来学习内容感知空间的内容保持机制，结合基于生成对抗网络的弱监督结构，整合成了一个更完整的车窗图像增强框架。本专利技术可以在学习低质量的车窗图像到高质量的车窗图像的映射关系的同时，保持复原前后的内容一致，从而为后续的分析识别任务提供更可靠的复原图像。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术的概念示意图；图2示出了本专利技术的方法构成与流程图；图3示出了本专利技术的弱监督学习框架流程图；图4示出了本专利技术提出的内容表征空间示意图；图5示出了本专利技术的提出的基于车窗图像增强网络的完整系统示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。图1展示了本专利技术方法的概念示意图。本专利技术针对监控场景下包含多种复杂退化现象的低视觉质量图像提出了一种面向挡风玻璃车窗图像的图像增强方法。从监控视频图像中提取车窗图像，通过深度学习的生成模型，可以得到高视觉质量的清晰增强结果。增强结果将促进后续车内目标识别与车辆的检索跟踪。图2展示了本专利技术的方法结构组成与流程图。如图2所示，方法由两部分组成：双向循环的生成-对抗数据域迁移通路与内容判别模块。数据迁移模块包括两个生成器，两个对抗判别器，两个生成器的目的是生成各自目标域的图像，两个对抗判别器的目标是学习两个域的判别关系。两个生成器分别进行从低视觉质量图像到高视觉质量图像的映射和反向从高到低的映射，根据输入的不同，两个生成器将以不同次序串联成两个不同的自映射监督回路。如图2所示，训练学习过程中，低视觉质量的车窗图像先输入生成器G，得到预测的增强结果，然后增强结果再通过生成器F，产生基于增强得到的高视觉质量图像的退化结果。G、F对训练数据中包含多种复合的退化现象进行统一的拟合学习与处理。判别器DH对生成的增强结果进行是否属于真实高质量图像数据域的二分类判别。其学习目标在于将真实数据尽可能多判别为真，而将增强得到的生成结果分辨判别为假。自映射监督通过比对原始输入与通过两个生成器后得到的预测恢复结果，计算循环一致损失，不需要引入额外的标注作为网络学习的监督信息。如图3所示，弱监督学习框架包括两个生成器G、F与两个对抗判别器DH、DL；学习的流程如下：S1、生成器G接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；S2、生成器F基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；S3、对抗判别器DH、DL分别对生成器G、F生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；S4、将低视觉质量图片输入生成器G，产生的高视觉质量结果再输入生成器F，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；本文档来自技高网...

【技术保护点】
1.一种面向监控场景车窗图像的图像增强方法，其特征在于，包括：/n构建弱监督学习框架，对非配对的高清晰度与低清晰度车窗数据进行学习，实现对包括一种或多种退化现象的图像增强；/n其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；/n所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。/n

【技术特征摘要】
1.一种面向监控场景车窗图像的图像增强方法，其特征在于，包括：
构建弱监督学习框架，对非配对的高清晰度与低清晰度车窗数据进行学习，实现对包括一种或多种退化现象的图像增强；
其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；
所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。


2.根据权利要求1所述的方法，其特征在于，
所述弱监督学习框架包括两个生成器G、F与两个对抗判别器DH、DL；
生成器G接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；
生成器F基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；
对抗判别器DH、DL分别对生成器G、F生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；
将低视觉质量图片输入生成器G，产生的高视觉质量结果再输入生成器F，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；
将高视觉质量图片先输入生成器F，产生的结果再输入G，反向自映射监督。


3.根据权利要求1所述的方法，其特征在于，
所述车窗图像输入为监控视角下前挡风玻璃图像，包含驾驶员、乘客及车辆内饰与年检标牌信息。


4.根据权利要求1所述的方法，其特征在于，
所述低视觉质量指一张图像包含以下一种或多种退化现象：运动模糊、光照不足、成像噪点、反射干扰、雾霾遮挡。


5.根据权利要求1所述的方法，其特征在于，

【专利技术属性】
技术研发人员：段凌宇，王策，麻岱迁，施柏鑫，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11