一种基于深度学习的多票据混拍图像校正方法及系统技术方案

本发明专利技术公开了一种基于深度学习的多票据混拍图像校正方法及系统，通过设计深度学习目标检测模型，将混拍图像切割为每个单目标票据外接矩形区域并标注类别信息，实现系统支持同时校正多个票据目标；在边缘检测之前通过增加图像增强处理，抑制票据目标复杂背景造成的边缘信息干扰，提高边缘检测精度，进而影响校正效果；通过图像校正中的直线检测、直线融合模和直线过滤处理，进一步过滤去除票据目标无关边缘信息，提高图像校正精度。本发明专利技术能够有效解决多票据混排图像校正问题，实现从多目标输入到多目标校正图像输出端对端一体化解决，降低人工成本和时间成本，为后续文本高精度识别提供保障。

【技术实现步骤摘要】
一种基于深度学习的多票据混拍图像校正方法及系统
本专利技术涉及图像处理
，并且更具体地，涉及一种基于深度学习的多票据混拍图像校正方法及系统。
技术介绍
税务相关票据目标中文本信息识别包括增值税发票、定额票、火车票、机票、打车票等票据文本信息自动提取，这类目标的自动识别方便用户快速录入信息，提高各行各业的信息采集效率，降低人工成本。税务相关票据目标识别输入的是包含票据目标的图像，由于拍摄角度、拍摄位置等因素，图像中票据目标会有各种角度的倾斜或畸变，而这类畸变会影响到后续的文本识别精度；此外，为提高识别效率，单张输入图像中包含多个票据目标，为解决以上问题，本专利提出一种基于深度学习的多票据目标校正系统及方法。对于当前现有的专利中，文本图像的校正针专利对单一角度文本，确定角度后对整个图像校正；条形码图像校正专利中同样面向单个图像中单一目标的校正，基于夹角计算得到校正角度，进而对待校正条形码图像进行旋转，得到校正后的条形码图像。不同于以上专利应用场景，税务相关多票据目标图像，拍摄角度、距离、位置等千差万别导致各个票据目标角度各异，畸变程度也存在差异，目标背景复杂多样，以上提及图像校正相关专利无法应对税务票据目标中多类文本以及畸变情景。因此，需要一种基于深度学习的多票据混拍图像校正方法。
技术实现思路
本专利技术提出一种基于深度学习的多票据混拍图像校正方法及系统，以解决如何从多票据混拍图像中获取单目标票据图像的问题。为了解决上述问题，根据本专利技术的一个方面，提供了一种基于深度学习的多票据混拍图像校正方法，所述方法包括：利用已训练好的基于深度学习的目标检测模型对获取的目标多票据混拍图像进行分析，以获取所述目标多票据混拍图像中的每个单目标票据的外接矩形位置信息和票据类型；根据每个单目标票据的外接矩形信息获取每个单目标票据图像，并对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像；分别对每个单目标票据增强图像依次进行均值滤波处理和边缘化处理，以获取每个单目标票据图像对应的边缘二值图像；分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正。优选地，其中所述方法利用如下方式确定已训练好的基于深度学习的目标检测模型，包括：获取多个已标记的票据混拍图像样本，并利用所述多个已标记好的票据混拍图像样本对初始的基于深度学习的目标检测模型进行训练和优化，并当目标检测模型的检测精度满足预设的精度要求时，确定当前的目标检测模型为已定已训练好的基于深度学习的目标检测模型；其中，利用如下公式确定当前的目标检测模型的检测精度，包括：其中，accuracy为检测精度；TP表示真值标注为票据目标，模型预测为票据目标的个数；FP表示真值标注为背景，模型预测为票据目标的个数；FN表示真值标注为票据目标，模型预测为背景的个数；TN表示真值标注为背景，模型预测为背景的个数。优选地，其中所述对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像，包括：分别对每个单目标票据图像进行IHS变换处理和灰度变换处理，以获取每个单目标票据对应的H图像、I图像、S图像和灰度图像；分别对每个单目标票据对应的I图像和灰度图像进行加权融合，以获取每个单目标票据对应的单目标票据增强图像。优选地，其中所述方法利用如下方式对每个单目标票据增强图像进行均值滤波处理，包括：其中，yi为经过滤波处理后的像元值；xi为位置i处的像元值；i和j为增强像元位置。优选地，其中所述分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正，包括：利用霍夫直线检测算法分别从每个边缘二值图像中提取直线：将每个边缘二值图像中相近的线段和在同一条直线上的线段合并为一条直线，过滤图像中复杂的线段；过滤每个边缘二值图像中的短小孤立线段，保留平行直线且垂直线对，保留水平方向线段与竖直方向线段长度比例符合对应的票据类型长宽比例的线段对，以获取每个单目标票据图像的角点位置信息；根据每个单目标票据图像的角点位置信息确定倾斜角度，根据所述倾斜角度实现对每个单目标票据图像的校正。根据本专利技术的另一个方面，提供了一种基于深度学习的多票据混拍图像校正系统，所述系统包括：目标检测模块，用于利用已训练好的基于深度学习的目标检测模型对获取的目标多票据混拍图像进行分析，以获取所述目标多票据混拍图像中的每个单目标票据的外接矩形位置信息和票据类型；图像增强模块，用于根据每个单目标票据的外接矩形信息获取每个单目标票据图像，并对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像；边缘检测模块，用于分别对每个单目标票据增强图像依次进行均值滤波处理和边缘化处理，以获取每个单目标票据图像对应的边缘二值图像；图像校正模块，用于分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正。优选地，其中所述目标检测模块，利用如下方式确定已训练好的基于深度学习的目标检测模型，包括：获取多个已标记的票据混拍图像样本，并利用所述多个已标记好的票据混拍图像样本对初始的基于深度学习的目标检测模型进行训练和优化，并当目标检测模型的检测精度满足预设的精度要求时，确定当前的目标检测模型为已定已训练好的基于深度学习的目标检测模型；其中，利用如下公式确定当前的目标检测模型的检测精度，包括：其中，accuracy为检测精度；TP表示真值标注为票据目标，模型预测为票据目标的个数；FP表示真值标注为背景，模型预测为票据目标的个数；FN表示真值标注为票据目标，模型预测为背景的个数；TN表示真值标注为背景，模型预测为背景的个数。优选地，其中所述图像增强模块，对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像，包括：分别对每个单目标票据图像进行IHS变换处理和灰度变换处理，以获取每个单目标票据对应的H图像、I图像、S图像和灰度图像；分别对每个单目标票据对应的I图像和灰度图像进行加权融合，以获取每个单目标票据对应的单目标票据增强图像。优选地，其中所述边缘检测模块，利用如下方式对每个单目标票据增强图像进行均值滤波处理，包括：其中，yi为经过滤波处理后的像元值；xi为位置i处的像元值；i和j为增强像元位置。优选地，其中所述图像校正模块，分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正，包括：利用霍夫直线检测算法分别从每个边缘二值图像中提取直线：将每个边缘二值图像中相近的线段和在同一条本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多票据混拍图像校正方法，其特征在于，所述方法包括：/n利用已训练好的基于深度学习的目标检测模型对获取的目标多票据混拍图像进行分析，以获取所述目标多票据混拍图像中的每个单目标票据的外接矩形位置信息和票据类型；/n根据每个单目标票据的外接矩形信息获取每个单目标票据图像，并对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像；/n分别对每个单目标票据增强图像依次进行均值滤波处理和边缘化处理，以获取每个单目标票据图像对应的边缘二值图像；/n分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正。/n

【技术特征摘要】
1.一种基于深度学习的多票据混拍图像校正方法，其特征在于，所述方法包括：
利用已训练好的基于深度学习的目标检测模型对获取的目标多票据混拍图像进行分析，以获取所述目标多票据混拍图像中的每个单目标票据的外接矩形位置信息和票据类型；
根据每个单目标票据的外接矩形信息获取每个单目标票据图像，并对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像；
分别对每个单目标票据增强图像依次进行均值滤波处理和边缘化处理，以获取每个单目标票据图像对应的边缘二值图像；
分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正。


2.根据权利要求1所述的方法，其特征在于，所述方法利用如下方式确定已训练好的基于深度学习的目标检测模型，包括：
获取多个已标记的票据混拍图像样本，并利用所述多个已标记好的票据混拍图像样本对初始的基于深度学习的目标检测模型进行训练和优化，并当目标检测模型的检测精度满足预设的精度要求时，确定当前的目标检测模型为已定已训练好的基于深度学习的目标检测模型；
其中，利用如下公式确定当前的目标检测模型的检测精度，包括：



其中，accuracy为检测精度；TP表示真值标注为票据目标，模型预测为票据目标的个数；FP表示真值标注为背景，模型预测为票据目标的个数；FN表示真值标注为票据目标，模型预测为背景的个数；TN表示真值标注为背景，模型预测为背景的个数。


3.根据权利要求1所述的方法，其特征在于，所述对获取的每个单目标票据图像进行图像增强处理，以获取每个单目标票据图像对应的单目标票据增强图像，包括：
分别对每个单目标票据图像进行IHS变换处理和灰度变换处理，以获取每个单目标票据对应的H图像、I图像、S图像和灰度图像；
分别对每个单目标票据对应的I图像和灰度图像进行加权融合，以获取每个单目标票据对应的单目标票据增强图像。


4.根据权利要求1所述的方法，其特征在于，所述方法利用如下方式对每个单目标票据增强图像进行均值滤波处理，包括：



其中，yi为经过滤波处理后的像元值；xi为位置i处的像元值；i和j为增强像元位置。


5.根据权利要求1所述的方法，其特征在于，所述分别对每个边缘二值图像依次进行直线检测处理、直线融合处理、直线过滤处理和透视校正处理，以完成对每个单目标票据图像的校正，包括：
利用霍夫直线检测算法分别从每个边缘二值图像中提取直线：
将每个边缘二值图像中相近的线段和在同一条直线上的线段合并为一条直线，过滤图像中复杂的线段；
过滤每个边缘二值图像中的短小孤立线段，保留平行直线且垂直线对，保留水平方向线段与竖直方向线段长度比例符合对应的票据类型长宽比例的线段对，以获取每个单目标票据图像的角点位置信息；
根据每个单目标票据图像的角点位置信息确定倾斜角度，根据所述倾斜角度实现对每个单目标票据图像的校正。


6.一种基于深度学习的多票据混拍图像校正系统，其...

【专利技术属性】
技术研发人员：闫凯，金洪亮，林文辉，李宏伟，梅俊辉，王志刚，张朝霞，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11