一种基于深度学习的扭曲图像矫正方法、装置和存储介质制造方法及图纸

本发明专利技术提供了一种基于深度学习的扭曲图像矫正方法、装置和存储介质，涉及图像处理技术领域，包括：提取扭曲图像的特征数据；以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型；根据特征数据，识别出扭曲图像中的待矫正元素；利用用于矫正的深度神经网络模型预测待矫正元素的偏移图，生成预测偏移图；根据预测偏移图矫正扭曲图像。该方法基于图像特征识别缩小了处理范围，从而有效降低扭曲图像中背景、干扰图形和光照等因素对于矫正效果的影响，提高基于深度学习的扭曲矫正方法的效果。

【技术实现步骤摘要】
一种基于深度学习的扭曲图像矫正方法、装置和存储介质
本专利技术涉及图像处理
，具体而言，涉及一种基于深度学习的扭曲图像矫正方法、装置和存储介质。
技术介绍
在传统的文档数字化过程中，通常使用扫描仪对文档进行扫描，得到清晰平整的文档图像进行存储。但是扫描仪体积过大，不易携带，需要对文档进行按压，使用不便。随着移动产品的发展，使用手机等移动设备进行文档扫描已经是一种趋势，虽然手机的出现很大程度上代替了扫描仪，随之而来也出现了一些问题，比如使用手机拍摄文档时由于拍摄设备和文档平面不平行导致的透视形变，以及文档本身没有完全展开，存在弯曲甚至折痕。这会严重影响后续的光学字符识别等任务。目前，针对扭曲文档矫正的方法一般主要可以分为：基于三维重建的方法；基于模型的方法和基于深度学习的方法。对于三维重建的方法，通常使用专门的硬件设备来完成矫正，比如结构光源、立体照相机或者激光相机。通过这些设备获得文档的三维信息。通过三维重建得到变形文档和平整文档之间的映射关系，最后完成矫正，此方法可以有效处理变形，得到比较优秀的效果，但是此类方法对于硬件的要求过高，限制了方法的应用，通过手机无法完成矫正。对于基于模型的方法，通过将弯曲文档的表面建模为广义圆柱体来完成矫正，此类方法通常矫正效果不错但是适应的场景不多，大多数扭曲和理想的模型差距较大。对于基于深度学习的方法，通常使用语义分割的模型对扭曲原图进行偏移图的预测，此类方法适用于弯曲和折叠等多种复杂场景，但是矫正效果不够理想。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种基于深度学习的扭曲图像矫正方法、装置和存储介质，通过改良基于深度学习的矫正方法，降低扭曲图像中的背景、光照和干扰图形等噪声的影响，达到更好的矫正效果，提高矫正效率，降低运算量。本专利技术的第一方面公开了一种基于深度学习的扭曲图像矫正方法，包括：提取扭曲图像的特征数据；以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型；根据特征数据，识别出扭曲图像中的待矫正元素；利用用于矫正的深度神经网络模型预测待矫正元素的偏移图，生成预测偏移图；根据预测偏移图矫正扭曲图像。在该技术方案中，提取待矫正扭曲图像的特征数据，根据特征数据识别出待矫正图像中的目标元素(待矫正元素)，例如，根据文本行检测算法，获得图像的文本特征图(此时特征数据即为文本特征图)以识别出图像中的文档，准确定位待矫正图像中的目标元素，针对目标元素进行计算，减少背景噪声对矫正结果的影响，降低了运算量。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，提取扭曲图像的特征数据的步骤，具体包括：利用深度神经网络模型对扭曲图像进行文本行检测，提取文本行中心线，生成扭曲图像的文本特征图作为所述特征数据。在该技术方案中，针对扭曲文档的复杂场景，使用神经网络模型对扭曲的文档图像进行文本行检测，提取文本行的中心线特征用于训练和矫正。直接使用文本特征而不是原图进行训练和预测可以有效的降低扭曲场景的复杂度，排除背景、光照和图像等影响，提高矫正的鲁棒性。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，利用深度神经网络模型对扭曲图像进行文本行检测，提取文本行中心线，生成扭曲图像的文本特征图的步骤，具体包括：使用预训练的语义分割模型提取扭曲图像的文本区域特征图和文本行中心线特征图；使用文本区域特征图和文本行中心线特征图进行后处理，生成精准化的文本行中心线特征图。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型的步骤，具体包括：获取非扭曲图像，对非扭曲图像做扭曲处理，生成自建扭曲图像作为训练图像，生成对应于扭曲处理过程的偏移图作为训练图像对应的偏移图，以构建用于矫正的深度神经网络模型。在本专利技术中，自建扭曲图像即合成图像，使用自建扭曲图像可以提升训练集素材量，提高训练效果。此外，使用采集的平整文档图像(非扭曲图像)，合成扭曲的文档图像和偏移图，作为训练数据。有效解决训练数据难以采集的问题。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，扭曲处理具体包括：根据非扭曲图像的尺寸随机生成扭曲参数，其中，扭曲参数包括扭曲的初始点、方向、扭曲程度和形变的类型，形变的类型包括弯曲和折叠；根据扭曲参数计算每个像素的形变量；重复随机生成扭曲参数的步骤以及根据扭曲参数计算每个像素的形变量的步骤，进行多次扭曲，叠加每次扭曲的形变；使用插值算法将非扭曲图像变换为自建扭曲图像。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型的步骤，具体还包括：构建基于编码器-解码器结构的卷积神经网络模型，使用自建扭曲图像作为输入，使用生成的标签作为训练标签，输出偏移图；对基于编码器-解码器结构的卷积神经网络模型进行多次训练，使卷积神经网络的损失值下降收敛至预期范围内。根据本专利技术公开的基于深度学习的扭曲图像矫正方法，优选地，利用用于矫正的深度神经网络模型预测待矫正元素的偏移图，生成预测偏移图的步骤，具体包括：对通过文本行检测生成的文本特征图进行预处理并输入到用于矫正的深度神经网络模型中，以输出预测偏移图，其中，待矫正元素包括文本特征图。本专利技术的第二方面公开了一种基于深度学习的扭曲图像矫正装置，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的所述程序指令以实现如上述任一项技术方案所述的基于深度学习的扭曲图像矫正方法。本专利技术的第三方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如上述任一项技术方案所述的基于深度学习的扭曲图像矫正方法。本专利技术的有益效果至少包括：针对待矫正扭曲图像的复杂场景，使用神经网络模型对待矫正扭曲图像进行特征数据检测(例如文本行检测)，提取扭曲图像的特征数据用于训练和矫正，而不是使用原图进行训练和预测可以有效的降低扭曲场景的复杂度，排除背景、光照和图像等影响，提高矫正的鲁棒性。使用自建的扭曲图像和偏移图，作为训练数据。有效解决训练数据难以采集的问题。使用自建扭曲图像作为训练数据，对应的偏移图作为训练标签，使用神经网络作为模型，训练模型用于预测待矫正扭曲图像的偏移图，生成预测偏移图，使用预测偏移图完成待矫正扭曲图像到平整图像的矫正，提高矫正效率，降低运算量。附图说明图1示出了根据本专利技术的一个实施例的基于深度学习的扭曲图像矫正方法的示意流程图。图2示出了根据本专利技术的又一个实施例的基于深度学习的扭曲图像矫正方法的示意系统框图。图3示出了根据本专利技术的实施例的生成的扭曲文档数据的原图。图4示出了根据本专利技术的实施例的生成的扭曲文档数据的文本特征图。图5示出了根据本专利技术的实施例的生成的扭曲文档数据的X方向偏移图。图6示出了根据本专利技术的实施例的生成的扭曲文档数据的Y方向偏移图。图7本文档来自技高网...

【技术保护点】
1.一种基于深度学习的扭曲图像矫正方法，其特征在于，包括：/n提取扭曲图像的特征数据；/n以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型；/n根据所述特征数据，识别出所述扭曲图像中的待矫正元素；/n利用所述用于矫正的深度神经网络模型预测所述待矫正元素的偏移图，生成预测偏移图；/n根据所述预测偏移图矫正所述扭曲图像。/n

【技术特征摘要】
1.一种基于深度学习的扭曲图像矫正方法，其特征在于，包括：
提取扭曲图像的特征数据；
以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型；
根据所述特征数据，识别出所述扭曲图像中的待矫正元素；
利用所述用于矫正的深度神经网络模型预测所述待矫正元素的偏移图，生成预测偏移图；
根据所述预测偏移图矫正所述扭曲图像。


2.根据权利要求1所述的基于深度学习的扭曲图像矫正方法，其特征在于，所述提取扭曲图像的特征数据的步骤，具体包括：
利用深度神经网络模型对所述扭曲图像进行文本行检测，提取文本行中心线，生成所述扭曲图像的文本特征图。


3.根据权利要求2所述的基于深度学习的扭曲图像矫正方法，其特征在于，所述利用深度神经网络模型对所述扭曲图像进行文本行检测，提取文本行中心线，生成所述扭曲图像的文本特征图的步骤，具体包括：
使用预训练的语义分割模型提取所述扭曲图像的文本区域特征图和文本行中心线特征图；
使用所述文本区域特征图和所述文本行中心线特征图进行后处理，生成精准化的文本行中心线特征图。


4.根据权利要求1所述的基于深度学习的扭曲图像矫正方法，其特征在于，所述以训练图像和训练图像对应的偏移图作为训练数据，构建用于矫正的深度神经网络模型的步骤，具体包括：
获取非扭曲图像，对所述非扭曲图像做扭曲处理，生成自建扭曲图像作为所述训练图像，生成对应于扭曲处理过程的偏移图作为所述训练图像对应的偏移图，以构建所述用于矫正的深度神经网络模型。


5.根据权利要求4所述的基于深度学习的扭曲图像矫正方法，其特征在于，所述扭曲处理具体包括：
根据所述非扭曲图像的...

【专利技术属性】
技术研发人员：朱远平，吴磊，张立新，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12