用于处理图像的系统技术方案

本发明专利技术公开了一种用于处理图像(4)的系统(1)，系统(1)包括主神经网络(2)、优选基于卷积的主神经网络(CNN)，和至少一个在主神经网络(2)的上游的预处理神经网络(6)、优选基于卷积的预处理神经网络，预处理神经网络(6)用于在通过主神经网络(2)进行处理之前进行至少一种关于其参数是可微分的参数变换f，所述变换被应用于所述图像的像素的至少一部分并且具有形式p′＝f(V(p)，Θ)，式中，p为原始图像的处理后的像素或所述图像的分解的处理后的像素，p'为变换后的图像的像素或变换后的图像的分解的像素，V(p)为像素p的邻域，Θ为参数的向量，预处理神经网络(6)使其学习的至少一部分与主神经网络(2)的学习同时地进行。

A system for processing images

The present invention discloses a system (1) for processing an image (4), which includes a main neural network (2), a preferred convolution based primary neural network (CNN), and at least one preprocessing neural network (6) upstream of the main neural network (2), a pre processing neural network based on convolution, and a preprocessing neural network (6) for the use of the preprocessing neural network (6). Before the main neural network (2) is processed, at least one parameter transformation f with respect to its parameter is differentiable, the transformation is applied to at least part of the pixel of the image and has a form p '= f (V (P),), in the formula, P is a pixel after processing of the original image or a processed pixel after the decomposition of the image, p' The V (P) is a neighborhood of the pixel P for the pixel of the transformed image or the pixel of the transformed image, and the preprocessing neural network (6) makes at least part of the learning of its learning simultaneously with the learning of the main neural network (2).

【技术实现步骤摘要】
用于处理图像的系统
本专利技术涉及利用神经网络处理图像的系统，更特别地但不仅仅涉及用于生物计量学、尤其面部识别的系统。
技术介绍
针对面部或其它目标的识别已提出使用所谓的卷积神经网络(convolutionneuralnetworks，CNN)。YannLeCun等人的文章DeepLearning(436NATURE，第521卷，2015年5月28日)包括对这些神经网络的介绍。另外，设法例如通过伽玛校正或局部对比度校正来进行图像的预处理以便纠正图像的缺陷(例如缺乏对比度)是司空见惯的。面部的生物识别假定多种多样的图像采集和照明条件，这引起对待被进行的纠正的选择上的困难。而且，由于卷积神经网络的性能上的改进与完全学习到的隐藏层相关，故这引起在理解图像处理(在这种网络的上游应用该图像处理将是有用的)上的困难。因此，受越来越强大的处理器的快速发展的支持，当前趋势是加强卷积神经网络的能力，并拓宽它们对多方面变化的图像的学习，以便独立于任何预处理来改进这些网络的性能。然而，尽管这些系统是更加有效的，但这些系统对于伪影的存在以及对于图像质量的下降是不完全鲁棒的。而且，增加计算资源的计算能力是相当昂贵的不总是适合的解决方案。因此，对于图像质量的问题的现有解决方案(与寻求学习的问题无关，该现有解决方案因此要么在于利用有问题的图像的示例来丰富学习库，要么在于在上游进行图像处理)不是完全令人满意的。因此，仍需要进一步加强基于卷积神经网络的生物识别链，尤其以便使得生物识别链对于各种噪音更加鲁棒从而因此改进关于具有较低质量的图像的识别性能。PengXi等人的文章“Learningfacerecognitionfromlimitedtrainingdatausingdeepneuralnetworks”(第23届图案识别国际会议，2016年12月4日，第1442-1447页)描述了利用对图像应用仿射变换的第一神经网络和用于识别由此变换的图像的第二神经网络来识别面部的方案。SvobodaPavel等人的文章“CNNforlicenseplatemotiondeblurring”(图像处理国际会议，2016年9月25日，第3832-3836页)描述了利用CNN网络使号牌去燥的方法。ChakrabartiAyan的文章“ANeuralApproachtoBlindMotionDeblurring”(ECCV2016，第9907卷，第221-235页)描述了在通过神经网络学习这些数据之前将图像变换到频域，以便出于去燥目的评估卷积参数。文章SpatialTransformerNetworks，MaxJaderberg,KarenSimonyan,AndrewZisserman,KorayKavukcuoglu,NIPS2015，描述了设计用于字符识别的处理系统，其中，卷积的预处理神经网络被用于进行空间变换，例如旋转和缩放。与生物计量学相关的问题在该文章中未被解决。应用于像素的变换被应用于整个图像。
技术实现思路
根据本专利技术的一个方面，本专利技术通过用于处理图像的系统满足上文所述的需求，该系统包括主神经网络(优选基于卷积的主神经网络(CNN))和至少一个在主神经网络的上游的预处理神经网络(优选基于卷积的预处理神经网络)，所述预处理神经网络用于在通过主神经网络进行处理之前进行至少一种关于其参数是可微分的参数变换，该变换被应用于图像的像素的至少一部分，该预处理神经网络使其学习的至少一部分与主神经网络的学习同时地进行。根据本专利技术的该第一方面的变换f具有下面的形式：p′＝f(V(p)，Θ)式中，p为原始图像的处理过的像素或该图像的分解的处理过的像素，p'为变换后的图像的像素或变换后的图像的分解的像素，V(p)为像素p的邻域(在数学意义上)，Θ为一组参数。邻域V(p)不包含整个图像。预处理网络因此可以通过应用变换f，利用Θ＝{Θ1,Θ2,…,Θn}，评估参数的至少一个向量Θ的一个或多个映射。“映射”指的是其分辨率可以等于或可以不等于图像的分辨率的矩阵。图像的分解被理解为例如借助通过分离相位和模数的傅立叶变换将图像分离成多个分量。应用于一个像素的变换可不依赖应用于图像的其它像素的变换。因此，通过预处理网络进行的变换可仅仅应用于图像的像素的仅一部分。所应用的变换不同于如在上文的文章SpatialTransformerNetworks中的应用于整个图像的空间变换，因此不同于裁切、平移、旋转、相似扩大、在平面上的投影、或对称。所应用的变换可以是空间上不变的，即该变换不会引起图像上的像素的任何位移。与主神经网络一起训练预处理网络可以具有完美地适于诸如通过受训的主神经网络所确定的描述符的分析的需要的校正。图像处理系统的性能因此被改进，同时与已知的基于学习数据的丰富的解决方案对比，可以维持用于描述符的学习的主网络的深层的能力，同时避免必须将其致力于补偿图像质量问题。在其它示例中，预处理神经网络可被配置成对图像压缩伪影和/或图像的清晰度起作用。神经网络还可被配置成向起始图像应用比色变换。一般地说，所进行的图像预处理可以由下面的图像处理操作符中的一者或多者构成：-逐像素的(或逐点的)修正操作符。这涉及例如色彩校正、色度校正或伽玛校正，或噪音阈值化操作；-局部操作符，尤其是用于管理局部模糊或局部对比度的那些局部操作符、依赖于像素的邻域(即，多于一个像素但小于整个图像)的局部操作符；基于输入像素的邻域，局部操作符可以获得输出像素；-频率空间中(在图像变换之后的)的操作符，和-一般地说，对从原始图像中导出的多图像表示的任何操作。通过包括频率空间中的一个或多个操作符，为用于降低模拟噪音或数字噪音(例如降低压缩伪影)、改善图像的清晰度、清楚度或对比度的各种可能性铺平了道路。这些操作符也允许各种滤波，例如直方图均衡化、图像的动态摆动的校正、图案(例如数字水印或“水印”类型的图案)的删除、或频率校正和通过设置用于恢复图像中的相关信息的系统的图像的清洁。例如，预处理神经网络包括一个或多个卷积层(CONV)和/或一个或多个完全连接层(FC)。处理系统可包括输入操作符，该输入操作符使得可以向起始图像应用输入变换，以基于起始图像在预处理神经网络的上游生成在不同于起始图像的空间的空间中的数据，该预处理神经网络被配置成对这些数据起作用，该系统包括输出操作符，该输出操作符被设计成通过与输入变换相反的输出变换来恢复在起始图像的处理空间中由预处理神经网络处理的数据，从而生成通过主神经网络处理的校正的图像。例如，该输入操作符被配置成应用小波变换，该输出操作符被配置成应用逆变换。在本专利技术的实现方式的示例中，预处理神经网络被配置成生成对应于低分辨率映射的一组向量，系统包括被配置成通过插值、尤其双线性插值生成对应于较高分辨率映射(该较高分辨率映射优选具有与起始图像相同的分辨率)的一组向量的操作符。主神经网络和预处理神经网络可被训练以进行尤其面部的识别、分类或检测。根据本专利技术的另一方面，本专利技术的主题还为一种如上文所限定的根据本专利技术的系统的主神经网络和预处理神经网络的学习的方法，其中，与主神经网络的训练同时地进行预处理神经网络的学习的至少一部分。可以尤其借助于改变的图像的库、尤其噪声图像的库进行该学习。可以本文档来自技高网...

【技术保护点】
1.一种用于处理图像(4)的系统(1)，所述系统(1)包括主神经网络(2)、优选基于卷积的主神经网络(CNN)，和至少一个在所述主神经网络(2)的上游的预处理神经网络(6)、优选基于卷积的预处理神经网络，所述预处理神经网络(6)用于在通过所述主神经网络(2)进行处理之前进行至少一种关于其参数是可微分的参数变换f，所述参数变换被应用于所述图像的像素的至少一部分并且具有形式p′＝f(V(p)，Θ)，式中，p为原始图像的处理过的像素或所述图像的分解的处理过的像素，p'为变换后的图像的像素或所述变换后的图像的分解的像素，V(p)为所述像素p的邻域，Θ为参数的向量，所述预处理神经网络(6)使其学习的至少一部分与所述主神经网络(2)的学习同时地进行。

【技术特征摘要】
2016.12.07 FR 16620801.一种用于处理图像(4)的系统(1)，所述系统(1)包括主神经网络(2)、优选基于卷积的主神经网络(CNN)，和至少一个在所述主神经网络(2)的上游的预处理神经网络(6)、优选基于卷积的预处理神经网络，所述预处理神经网络(6)用于在通过所述主神经网络(2)进行处理之前进行至少一种关于其参数是可微分的参数变换f，所述参数变换被应用于所述图像的像素的至少一部分并且具有形式p′＝f(V(p)，Θ)，式中，p为原始图像的处理过的像素或所述图像的分解的处理过的像素，p'为变换后的图像的像素或所述变换后的图像的分解的像素，V(p)为所述像素p的邻域，Θ为参数的向量，所述预处理神经网络(6)使其学习的至少一部分与所述主神经网络(2)的学习同时地进行。2.根据权利要求1所述的系统，其中，所述变换f使所述像素在所述图像上是空间不变的。3.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被设计成进行逐像素的修正，尤其进行色彩校正、色调补偿或伽玛校正，或噪音阈值化操作。4.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成应用局部操作符，尤其是用于管理局部模糊或局部对比度的局部操作符。5.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成在所述图像的变换之后应用频率空间中的操作符，优选地被配置成降低模拟噪音或数字噪音，尤其被配置成降低压缩伪影、改善所述图像的清晰度、清楚度或对比度，或者被配置成进行滤波，例如直方图均衡化、所述图像的动态摆动的校正、数字水印类型的图案的删除、频率校正和/或图像的清洁。6.根据权利要求1所述的系统，其中，所述预处理神经网络(6)包括一个或多个卷积层CONV和/或一个或多个完全连接层FC。7.根据权利要求1所述的系统，其中，所述预处理神经网络(6)被配置成进行非线性变换，尤其是像素的伽玛校正和/或局部对比度校正。8.根据权利要求1所述的系统，其...

【专利技术属性】
技术研发人员：莎拉·拉奈斯，文森特·德斯皮格尔，扬·拉斐尔·里夫奇兹，史蒂芬·基恩特里克，
申请(专利权)人：法国艾德米亚身份与安全公司，
类型：发明
国别省市：法国,FR