文字图像超分辨率重建系统及方法技术方案

本发明专利技术揭示了一种文字图像超分辨率重建系统及方法，所述方法包括：特征提取模块提取待处理图像对应的设定特征层；将所述特征层输入至超分辨率图像重建模块，将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；将所述特征层输入至文字识别模块，对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；将所述特征层输入至超分辨率梯度图重建模块，对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。本发明专利技术提出的多任务文字图像超分辨率重建系统及方法，可提高重建文字图像的清晰度及可信度。清晰度及可信度。清晰度及可信度。

【技术实现步骤摘要】
文字图像超分辨率重建系统及方法


[0001]本专利技术属于图像处理
，涉及一种图像处理系统，尤其涉及一种文字图像超分辨率重建系统及方法。

技术介绍

[0002]深度神经网络是一种复杂的数学模型，输入数据通过深度神经网络获得相应的输出数据，通过输出数据与标记数据的差异构建损失函数，损失函数对深度神经网络中的参数计算梯度，通过梯度反向传播，更新深度神经网络中的参数，通过不断更新参数，致使输出数据与标记数据间的差异不断减小。其中输入数据与标记数据构成深度神经网络训练所需要的训练数据，深度神经网络的性能跟神经网络的结构和训练数据有关。深度神经网络在图像、语音、自然语言处理等领域都已取得优于传统方法的性能，得到广泛应用。
[0003]图像超分辨率重建是指从观测到的低分辨率图像中重建出对应的高分辨率图像。随着深度学习技术的快速发展，基于深度神经网络的图像超分辨率重建方法是目前性能最优的图像超分辨率重建方法。
[0004]基于深度神经网络的图像超分辨率重建方法通常包含两大模块：特征提取模块21和超分辨率图像重建模块31，获得重建的超分辨率文字图像41，在训练时，计算重建的超分辨率文字图像41与待处理文字图像11对应高分辨率图像间的图像损失函数51，基于图像损失函数51进行图像训练梯度反向传播，更新特征提取模块21和超分辨率图像重建模块31的参数，使特征提取模块21能够提取到待处理图像11的图像信息，整体如图1所示。现有基于深度神经网络的图像超分辨率重建方法在自然图像重建中取得良好的性能。将现有图像超分辨率重建方法直接用于文字图像超分辨率重建时，重建后的超分辨率文字图像会产生文字边缘模糊、可信度低的问题：
[0005]文字图像相比于自然图像，含有大量的梯度信息，直接将现有图像超分辨重建方法用于文字图像超分辨率重建时，不能充分利用文字图像中的梯度信息，导致重建的超分辨率文字图像文字边缘模糊；
[0006]超分辨率重建本质上是一个不适定问题，即对于一张低分辨率图像，通常会有很多张高分辨率图像与之对应，该不适定问题会导致重建后的超分辨率文字图像中文字内容的改变，致使重建的超分辨率文字图像可信度较低。
[0007]有鉴于此，如今迫切需要设计一种新的文字图像重建方式，以便克服现有文字图像重建方式存在的上述至少部分缺陷。

技术实现思路

[0008]本专利技术提供一种文字图像超分辨率重建系统及方法，可降低分辨率的文字图像重建为超分辨率的文字图像，为文字检测和识别等高层任务提供清晰可信的图像。
[0009]为解决上述技术问题，根据本专利技术的一个方面，采用如下技术方案：
[0010]一种文字图像超分辨率重建系统，所述系统包括：
[0011]特征提取模块，用以提取待处理图像对应的设定特征层；
[0012]超分辨率图像重建模块，连接所述特征提取模块，用以将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
[0013]文字识别模块，连接所述特征提取模块，用以对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；
[0014]超分辨率梯度图重建模块，连接所述特征提取模块，用以对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。
[0015]作为本专利技术的一种实施方式，所述系统进一步包括：
[0016]图像损失函数获取模块，用以根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；
[0017]文字损失函数获取模块，用以根据所述文字识别模块获取的文字内容计算文字损失函数；
[0018]梯度损失函数获取模块，用以根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数；
[0019]损失函数融合模块，用以将所述图像损失函数获取模块获取的图像损失函数、所述文字损失函数获取模块获取的文字损失函数、所述梯度损失函数获取模块获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。
[0020]作为本专利技术的一种实施方式，所述特征提取模块用以获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息；
[0021]所述超分辨率图像重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像；
[0022]所述文字识别模块用以将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值；将下采样后的特征层送入双向LSTM网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容；
[0023]所述超分辨率梯度图重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。
[0024]作为本专利技术的一种实施方式，所述图像损失函数获取模块用以将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真；
[0025]所述文字损失函数获取模块用以将计算得到的文字损失函数通过文字训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度；
[0026]所述梯度损失函数获取模块用以将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。
[0027]作为本专利技术的一种实施方式，所述图像损失函数获取模块用以计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算L1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值；
[0028]所述文字损失函数获取模块用以计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算CTC损失，使文字识别模块识别的文字内容更加正确；
[0029]所述梯度损失函数获取模块用以计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过Sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算L1损失，使重建后超分辨率梯度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字图像超分辨率重建系统，其特征在于，所述系统包括：特征提取模块，用以提取待处理图像对应的设定特征层；超分辨率图像重建模块，连接所述特征提取模块，用以将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；文字识别模块，连接所述特征提取模块，用以对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；超分辨率梯度图重建模块，连接所述特征提取模块，用以对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。2.根据权利要求1所述的文字图像超分辨率重建系统，其特征在于：所述系统进一步包括：图像损失函数获取模块，用以根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；文字损失函数获取模块，用以根据所述文字识别模块获取的文字内容计算文字损失函数；梯度损失函数获取模块，用以根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数；损失函数融合模块，用以将所述图像损失函数获取模块获取的图像损失函数、所述文字损失函数获取模块获取的文字损失函数、所述梯度损失函数获取模块获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。3.根据权利要求1所述的文字图像超分辨率重建系统，其特征在于：所述特征提取模块用以获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息；所述超分辨率图像重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像；所述文字识别模块用以将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值；将下采样后的特征层送入双向LSTM网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容；所述超分辨率梯度图重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。4.根据权利要求2所述的文字图像超分辨率重建系统，其特征在于：所述图像损失函数获取模块用以将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真；所述文字损失函数获取模块用以将计算得到的文字损失函数通过文字训练梯度反向
传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度；所述梯度损失函数获取模块用以将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。5.根据权利要求2或4所述的文字图像超分辨率重建系统，其特征在于：所述图像损失函数获取模块用以计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算L1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值；所述文字损失函数获取模块用以计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算CTC损失，使文字识别模块识别的文字内容更加正确；所述梯度损失函数获取模块用以计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过Sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算L1损失，使重建后超分辨率梯度图具有目标梯度图的像素值；所述损失函数融合模块将所述图像损失函数、文字损失函数、梯度损失函数三...

【专利技术属性】
技术研发人员：张晓东，张月，
申请(专利权)人：上海互联网软件集团有限公司，
类型：发明
国别省市：