一种基于扫描试卷的图像恢复系统以及使用方法技术方案

本发明专利技术公开了一种基于扫描试卷的图像恢复系统以及使用方法，涉及图像恢复领域，针对扫描试卷这种特殊的文档图像数据，提出将图像去噪与图像超分辨率复原相结合的解决方案。整体基于对抗学习网络架构，利用attention机制对前景和背景进行软分离，并设计了多个跳层连接、添加膨胀卷积、多尺度输出以及VGG感知约束等，尽可能保留更多的细节信息。本发明专利技术主要包含以下步骤：数据收集、数据预处理、网络训练、后处理、整饰输出。本发明专利技术设计合理，使用方便，效果良好。效果良好。效果良好。

【技术实现步骤摘要】
一种基于扫描试卷的图像恢复系统以及使用方法


[0001]本专利技术属于图像恢复
，具体为一种基于扫描试卷的图像恢复系统以及使用方法。

技术介绍

[0002]现有的网上阅卷都是针对扫描试卷进行的，通过对学生试卷的扫描将纸质试卷电子化，从而实现了快速的网上阅卷。但除去大型的统考，如中高考等，平时学校自行组织的考试用卷材质参差不齐、试卷容易折叠、扫描中容易受到油墨污染等，造成实际的扫描试卷质量不高，存在字迹模糊、背景污染等，严重影响后续的文本识别和分析。因此，采用某种计算机处理技术对质量较低的扫描试卷进行恢复非常必要。
[0003]传统的图像恢复技术旨在应用计算机图像处理技术，消除图像成像过程中因摄像机与物体相对运动、系统误差、畸变、噪声、图像扫描污染等因素。在该过程中，需要先建立造成图像质量下降的退化模型，再应用模型反推真实图像，同时运用特定的算法或标准来判定图像恢复的效果。由于实际中图像受损情况复杂，因此很难建立统一的图像降质模型。
[0004]近年来，深度学习技术已经被广泛应用到图像恢复中，并且展示出其强大的图像恢复能力。但现有基于深度学习的图像恢复多是针对自然图像进行，专门针对这种扫描的试卷图像研究较少。针对自然图像的恢复技术主要有图像去噪、去模糊、去马赛克、图像补全以及图像超分辨率复原等技术。针对扫描试卷图像，主要涉及到图像去噪、去模糊和超分辨率复原三种技术。本专利技术中对此不做详细区分，统称为图像恢复。
[0005]通过调研和实验发现，现有的基于深度学习的图像去噪技术大都存在不同程度的前景信息损失缺陷。在自然图像上，去噪后的图像边缘稍显平滑，细节有轻微的损失。由于自然图像纹理信息丰富，这种轻微的细节损失在视觉上仍然是可以接受的。但对于扫描试卷这种纹理信息不足，前景和背景分明的特殊图像，这种细节损失缺陷会被进一步放大。因此，对于扫描试卷图像恢复，直接采用现有的深度学习去噪方案并不可行。图像超分辨率复原技术旨在复原输入图像的同时增加图像细节信息，以得到高分辨率的输出图像。本专利技术将图像去噪和图像超分辨率复原技术进行联合，提出一种针对扫描试卷恢复的联合解决方案。

技术实现思路

[0006]本专利技术的目的在于：为了解决现有网络阅卷图像质量低，影响判断的问题，提供一种基于扫描试卷的图像恢复系统以及使用方法。
[0007]本专利技术采用的技术方案如下：
[0008]一种基于扫描试卷的图像恢复系统以及使用方法，包括attention部分、生成器部分、判别器部分以及网络约束部分组成。
[0009]其中，attention部分机制主要关注背景信息(噪声)，该部分信息可以通过对噪声图像和原始图像做差并阈值化得到，即mask_noise，计算公式见公式：
式中，D表示判别器，G表示生成器，C表示ground truth样本，N表示带有噪声的样本。具体的attention_map生成部分网络结构描述如下：
①
、包括2个残差块，每个残差块均采用5个卷积层后接Leaky
‑
Relu非线性激活层设计，除第一个卷积层采用3
×
3的卷积核外，其余采用1
×
1的卷积核；
②
残差块后接再一个卷积层作为attention_map的输出，卷积核大小为1。
[0010]其中，所述生成器部分具体为：将带有噪声的低分辨率扫描图像low_res_noise_image和attention机制中公式计算得到的Attention_map在channel维度上进行叠加后作为生成器的输入，生成器的最终输出是恢复后的高分辨率图像high_res_denoising_image，网络整体采用Encoder+Decoder结构，为了保留更多的细节信息，中间设计了多个跳层连接，同时加入了4个膨胀卷积层，并对最后结果进行多尺度输出，其包括编码器部分和解码器部分。
[0011]其中，所述编码器部分具体：包括6个卷积层，卷积核大小除第一层设置为5外，其余层均为3，每个卷积层后接Leaky
‑
Relu非线性激活层；6个卷积层后接4个膨胀卷积层，卷积核大小均为3，膨胀率依次设置为2、4、8、16，每个卷积层后接Leaky
‑
Relu非线性激活层；4个膨胀卷积层后再接2个卷积层，卷积核代销均为3，每个卷积层后接Leaky
‑
Relu非线性激活层。
[0012]其中，所述解码器部分具体：包括3个反卷积解码模块，每个模块包含一个卷积核为4的反卷积层，反卷积层后接平均池化层和Leaky
‑
Relu非线性激活层，然后再接卷积核为3的卷积层，该层输入中增加跳层连接，最后再接Leaky
‑
Relu非线性激活层；多尺度输出，分别对输出图像的1.0、0.5、0.25尺度下的解码结果进行输出。
[0013]其中，所述判别器部分具体为：将生成器的输出结果和高分辨率清晰图像high_res_clean_image作为判别器的输入，对去噪后的高分辨率图像进行判别。判别器网络中也引入了attention机制，可以对前景信息和背景信息分别进行判别，各部分描述如下：包括9个卷积层，卷积核大小均为5，其中，第6层卷积层后接一个attention_map层，卷积核大小仍为5，输出channel为1，卷积层7，输入为attention_map与第6个卷积层后的结果进行乘积，卷积核大小仍为5，卷积层8和9，卷积核大小仍为5；以及2个全连接层，对卷积后的结果进行全连接层输出，神经元个数分别为1024和1，全连接层2后面接sigmoid非线性激活层。
[0014]其中，所述网络约束部分：为了保留更多的图像细节信息，本专利技术设计了多个网络误差约束，具体描述如下：对抗约束：判别器对网络输出结果和真实样本进行真假判别，采用原始对抗网络中的对抗loss，具体见公式式中，D表示判别器，G表示生成器，C表示groundtruth样本，N表示带有噪声的样本；多尺度重建约束：采用mse loss分别对网络3个尺度的输出结果与对应尺度下的ground truth图像做约束，对应的loss权重设置为1.0、0.8和0.6，具体见公式式中，0表示生成器的输出结果，C表示ground truth样本，i表示输出的尺度个数，表示不同尺度下的权重值，依次取值1.0、0.8、0.6；感知约束：利用在ImageNet数据集上已经训练好的VGG16模型对生成器的输出结果和ground truth分别做特征提取，对得到的特征做约束，具体见公式L
p
(O，C)＝L
MSE
(VGG
(O)，VGG(C))；式中，0表示生成器的输出结果，C表示ground truth样本，VGG表示在ImageNet数据集上训练好的VGG16模型，去掉最后的全连接层，用于提取特征；attention_map约束：采用mse loss分别对判别器输出的attention_map做约束，其中ground本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扫描试卷的图像恢复系统，其特征在于，包括attention部分、生成器部分、判别器部分以及网络约束部分组成。2.如权利要求1所述的一种基于扫描试卷的图像恢复系统，其特征在于，attention部分机制主要关注背景信息，该部分信息通过对噪声图像和原始图像做差并阈值化得到，即mask_noise，计算公式见公式：式中，D表示判别器，G表示生成器，C表示ground truth样本，N表示带有噪声的样本，具体的经过计算后得到的attention_map生成部分网络结构描述如下：
①
包括2个残差块，每个残差块均采用5个卷积层后接Leaky
‑
Relu非线性激活层设计，除第一个卷积层采用3
×
3的卷积核外，其余采用1
×
1的卷积核；
②
残差块后接再一个卷积层作为attention_map的输出，卷积核大小为1。3.如权利要求1所述的一种基于扫描试卷的图像恢复系统，其特征在于，所述生成器部分具体为：将带有噪声的低分辨率扫描图像low_res_noise_image和attention机制中公式计算得到的Attention_map在channel维度上进行叠加后作为生成器的输入，生成器的最终输出是恢复后的高分辨率图像high_res_denoising_image，网络整体采用Encoder+Decoder结构，为了保留更多的细节信息，中间设计了多个跳层连接，同时加入了4个膨胀卷积层，并对最后结果进行多尺度输出，其包括编码器部分和解码器部分。4.如权利要求3所述的一种基于扫描试卷的图像恢复系统，其特征在于，所述编码器部分具体：包括6个卷积层，卷积核大小除第一层设置为5外，其余层均为3，每个卷积层后接Leaky
‑
Relu非线性激活层；6个卷积层后接4个膨胀卷积层，卷积核大小均为3，膨胀率依次设置为2、4、8、16，每个卷积层后接Leaky
‑
Relu非线性激活层；4个膨胀卷积层后再接2个卷积层，卷积核代销均为3，每个卷积层后接Leaky
‑
Relu非线性激活层。5.如权利要求3所述的一种基于扫描试卷的图像恢复系统，其特征在于，所述解码器部分具体：包括3个反卷积解码模块，每个模块包含一个卷积核为4的反卷积层，反卷积层后接平均池化层和Leaky
‑
Relu非线性激活层，然后再接卷积核为3的卷积层，该层输入中增加跳层连接，最后再接Leaky
‑
Relu非线性激活层；多尺度输出，分别对输出图像的1.0、0.5、0.25尺度下的解码结果进行输出。6.如权利要求1所述的一种基于扫描试卷的图像恢复系统，其特征在于，所述判别器部分具体为：将生成器的输出结果和高分辨率清晰图像high_res_clean_image作为判别器的输入，对去噪后的高分辨率图像进行判别，判别器网络中也引入了attention机制，对前景信息和背景信息分别进行判别，各部分描述如下：包括9个卷积层，卷积核大小均为5，其中，第6层卷积层后接一个attention_map层，卷积核大小仍为5，输出channel为1，卷积层7，输入为attention_map与第6个卷积层后的结果进行乘积，卷积核大小仍为5，卷积层8和9，卷积核大小仍为5；以及2个全连接层，对卷积后的结果进行全连接层输出，神经元个数分别为1024和1，全连接层2后面接sigmoid非线性激活层。7.如权利要求1所述的一种基于扫描试卷的图像恢复系统，其特征在于，所述网络约束部分：设计多个网络误差约束，保留更多的图像细节信息，具体描述如下：对抗约束：判别器对网络输出结果...

【专利技术属性】
技术研发人员：闫琦，李哲，陈家海，
申请(专利权)人：安徽七天教育科技有限公司，
类型：发明
国别省市：