一种多尺度人脸恢复的时序集成网络、编码装置及解码装置制造方法及图纸

本发明专利技术提出了一种多尺度人脸恢复的时序集成网络、编码装置及解码装置，该集成网络集成了多个不同层次的基编解码器，并且进一步的采用时序门来有效的进行多尺度人脸恢复问题。其中，针对多尺度人脸恢复的时序集成网络包括，一个全卷积网络，该全卷积网络包括N个基编码器和N个基解码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；N‑1个时序门单元，在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择；N‑1个时序门单元，在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择。 1

A timing integrated network, coding device and decoding device for multiscale face recovery

The invention proposes a sequential integrated network, encoding device and decoding device for multiscale face recovery. The integrated network integrates a number of different levels of the base codec, and further uses the timing door to effectively carry out the multiscale face recovery problem. The sequential integration network for multiscale face recovery includes a full convolution network, which includes N base encoders and N base decoders, N base encoders output N levels of coded output, N base decoders output N level decoding output, N decoder 1 timing gate units, at the coding end, at the coding end, and The encoding output at the N level is sequentially from down to upper binding and selection; the 1 sequential gate units of N, at the decoder, are sequentially combined and selected for the decoding output of the N level from the upper to the lower. One

【技术实现步骤摘要】
一种多尺度人脸恢复的时序集成网络、编码装置及解码装置
本专利技术涉及图像信号处理，尤其是一种多尺度人脸恢复的时序集成网络、相应的编码装置及解码装置。
技术介绍
在过去的几年里，人脸分析技术取得了显著的进步，比如人脸检测和人脸识别。以此同时，由于监控系统的快速发展，人脸分析技术已经被广泛应用于各种各样的应用，比如犯罪调查。然而，当面临低质量的人脸图片时。大多数人脸分析技术的性能会急剧下降。所以如何从一个低质量人脸恢复出高质量人脸是一个急需解决的挑战。既然人脸恢复技术在实际应用中有极大的潜力，最近几年许多人脸恢复算法已经相继被提出。有些算法专注于解决人脸超分辨率问题。其他算法在进行人脸超分辨率的同时也把噪声考虑进来。我们观察到大多数现有的人脸恢复算法忽略了一个真实世界图片的重要特性，也就是实际应用中的图片经常包含不同尺度的人脸。并且，当图片被失真严重污染时，人脸检测算法就很难从图片中检测出人脸。所以，我们专注于解决更符合实际应用的人脸恢复问题，也就是多尺度人脸恢复问题。之前的算法通常使用自编码器进行人脸恢复。但是自编码器本身缺少了多尺度的表达，所以对多尺度人脸变换不能进行很好的表达。
技术实现思路
针对现有的人脸恢复技术的缺陷，本专利技术提供了一种新的集成网络，该集成网络集成了多个不同层次的基编解码器，并且进一步的采用时序门来有效的进行多尺度人脸恢复问题。本专利技术提出了一种更有效多尺度人脸恢复的时序集成网络，有效的解决以下关键技术问题：1)传统的自编码器缺乏多尺度表达能力，在多尺度人脸恢复这个问题上效果不好。然而本专利技术集成了多个层次的基自编码器，能够有效地对多尺度输入进行有效的表达，从而获得更好的恢复效果。2)由于自编码器结构中隐含了在编码器端对输入进行提取高层特征，在解码器端进行低层细节恢复。一些模型对自编码器的结构也进行的改进，比如SRGAN和RED-Net，但是这些网络没有探索多层次特征图之间的隐含层次关系。我们通过添加时序门单元能够顺序地从下到上提取高层特征，并且能顺序地从上到下恢复图像。本专利技术提供一种针对多尺度人脸恢复的时序集成网络，其中，该网络包括，一个全卷积网络，该全卷积网络包括N个基编码器和N个基解码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；N-1个时序门单元，在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择；N-1个时序门单元，在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择。编码和解码是串行的，所以这里时序门单元为2*(N-1)个。进一步地，上述针对多尺度人脸恢复的时序集成网络，其中：所述时序门单元包含由主动输入控制的两个门，一个为主动输入门，一个为被动输入门；所述在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择具体为：在编码端，将高层的基编码器输出的高层编码特征输入到主动输入门，将顺序于该高层的低层的基编码器输出的低层编码特征输入到被动输入门，进行顺序的从下到上的结合和选择；所述在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择具体为：在解码端，将低层的基解码器输出的低层解码特征输入到主动输入门，将顺序于该低层的高层的基解码器输出的高层解码特征输入到被动输入门，进行顺序的从上到下的结合和选择。本专利技术还提供了一种针对多尺度人脸恢复的时序编码装置，其中：该编码装置位于一个全卷积网络中，包括：N个基编码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；N-1个时序门单元，对于N个层次的编码输出进行顺序地从下到上结合和选择。进一步地，上述针对多尺度人脸恢复的时序编码装置，其中：所述时序门单元包含由主动输入控制的两个门，一个为主动输入门，一个为被动输入门；所述对于N个层次的编码输出进行顺序地从下到上结合和选择具体为：在编码端，将高层的基编码器输出的高层编码特征输入到主动输入门，将顺序于该高层的低层的基编码器输出的低层编码特征输入到被动输入门，进行顺序的从下到上的结合和选择。本专利技术还提供了一种针对多尺度人脸恢复的时序解码装置，其中：该解码装置位于全卷积网络中，包括：N个基解码器，N个基解码器输出N个层次的解码输出；N-1个时序门单元，对于N个层次的解码输出进行顺序地从上到下的结合和选择。进一步地，上述针对多尺度人脸恢复的时序解码装置，其中：所述时序门单元包含由主动输入控制的两个门，一个为主动输入门，一个为被动输入门；所述对于N个层次的解码输出进行顺序地从上到下的结合和选择具体为：在解码端，将低层的基解码器输出的低层解码特征输入到主动输入门，将顺序于该低层的高层的基解码器输出的高层解码特征输入到被动输入门，进行顺序的从上到下的结合和选择。本专利技术具有以下优点和积极效果：(1)本专利技术能够对多尺度的人脸失真图像进行自动恢复。(2)本专利技术提出了一种时序集成网络，集成了多个层次的基编码器，并且采用顺序地特征结合和选择方法，能够对多尺度输入进行更好的表达，从而对图像进行更好的恢复。(3)本专利技术提出了一个时序门单元，能够对多层次特征进行有效的结合和选择。(4)本专利技术(SGEN和SGEN-MSE)在公共数据库上取得目前最好的结果，如表格1和表格2所示，PSNR，SSIM和MOS越高越好。表格1.本专利技术在公共数据库上性能比较表格2.本专利技术在公共数据库上性能比较附图说明图1为本专利技术时序集成网络的具体实施流程图；图2为本专利技术采用的时序门单元。具体实施方式下面结合图1和图2来说明本专利技术的具体实施方案。首先，我们的生成器是一个全卷积网络，全卷积网络的输入理论上可以是任意的尺寸。让我们表示第k个层的编码器特征为xk，第k个层的解码器特征为yk，第k个基编码器特征为Xk，第k个基解码器特征为Yk，并且假设总共有N个基编解码器。给定一个随机尺度的低质量人脸图片样本s，时序集成网络G可以用如下公式表示：x1＝lrelu(conv2(lrelu(conv(s))))，xk＝lrelu(conv2(xk-1))，k＝2，3，...，NX1＝lrelu(conv2N(x1))，Xk＝SGU(lrelu(conv2N-k+1(xk))，Xk-1)，k＝2，3，...，NYk＝relu(deconv2k(XN-k+1))，k＝1，2，3，...，Ny1＝relu(deconv2(Y1))yk＝relu(deconv2(SGU(Yk，yk-1)))，k＝2，3，...，NG(s)＝tanh(conv(yN))，其中G(s)是生成的人脸图像，conv2k和d∈conv2k分别是2k下采样卷积和上采样解卷积操作。SGU是时序门单元。每个卷积层紧接着lrelu激活函数，每个解卷积层紧接着relu激活函数，生成器的最后一层是tanh激活函数。需要注意的是，在不同的卷积，解卷积操作和SGU单元之间没有共享参数。为了时序地结合和选择多层信息，我们提出了一种时序门单元(SGU)。SGU时序地将两层基编解码器的信息作为输入，并且通过其中一个主动输入决定单元的输出。SGU由以下的公式描述：f＝σ(conv(xa))*xa+σ(conv(xa))*xp其中f是SGU的输出，σ(x)是sigmoid激活函数，xa是主动输入，xp是被动输入。在编码端，高层基本文档来自技高网...

【技术保护点】
1.一种多尺度人脸恢复的时序集成网络，其特征在于：该网络包括，

【技术特征摘要】
1.一种多尺度人脸恢复的时序集成网络，其特征在于：该网络包括，一个全卷积网络，该全卷积网络包括N个基编码器和N个基解码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；N-1个时序门单元，在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择；N-1个时序门单元，在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择。2.根据权利要求1所述的一种多尺度人脸恢复的时序集成网络，其特征在于：所述时序门单元包含由主动输入控制的两个门，一个为主动输入门，一个为被动输入门；所述在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择具体为：在编码端，将高层的基编码器输出的高层编码特征输入到主动输入门，将顺序于该高层的低层的基编码器输出的低层编码特征输入到被动输入门，进行顺序的从下到上的结合和选择；所述在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择具体为：在解码端，将低层的基解码器输出的低层解码特征输入到主动输入门，将顺序于该低层的高层的基解码器输出的高层解码特征输入到被动输入门，进行顺序的从上到下的结合和选择。3.一种多尺度人脸恢复的时序编码装置，其特征在于：该编码装置位于一个全卷积网络中，包括：N个基编码器，N个基编...

【专利技术属性】
技术研发人员：陈志波，林剑新，周天贶，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34