一种基于OCR的图像分析方法、系统、设备及介质技术方案

本发明专利技术提供一种基于OCR的图像分析方法、系统、设备及介质，包括：根据预先获取的目标图像的特征对目标图像进行语义分割，获取语义分割结果；基于所述语义分割结果对目标图像的版面进行分析。本发明专利技术通过对目标图像进行语义分割，根据分割后的结果进行版面分析，能够在遮挡、成像角度、旋转、光照等干扰下，快速、准确地检测目标图像中的文本；并且对于不规范的图像版式或表面，本发明专利技术也能结构化提取字段信息。

【技术实现步骤摘要】
一种基于OCR的图像分析方法、系统、设备及介质
本专利技术涉及图像
，特别是涉及一种基于OCR的图像分析方法、系统、设备及介质。
技术介绍
版面分析或版式分析是OCR(OpticalCharacterRecognize，光学字符识别)领域的重要问题，其目的是判断给定图片或图像中是否包含有指定目标及获得指定目标的准确位置及边界。在OCR领域，场景文本检测任务已广泛采用语义分割和通用对象检测框架。而由于遮挡、成像角度、旋转、光照等干扰，现有技术中普通的目标检测很难同时满足快速和准确的文本检测需求，且对于不规范的图像版式或版面，也不能结构化提取字段信息。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于OCR的图像分析方法、系统、设备及介质，用于解决现有技术中存在的问题。为实现上述目的及其他相关目的，本专利技术提供一种基于OCR的图像分析方法，包括以下步骤：根据预先获取的目标图像的特征对目标图像进行语义分割，获取语义分割结果；基于所述语义分割结果对目标图像的版面进行分析。...

【技术保护点】
1.一种基于OCR的图像分析方法，其特征在于，包括以下步骤：/n根据预先获取的目标图像的特征对目标图像进行语义分割，获取语义分割结果；/n基于所述语义分割结果对目标图像的版面进行分析。/n

【技术特征摘要】
1.一种基于OCR的图像分析方法，其特征在于，包括以下步骤：
根据预先获取的目标图像的特征对目标图像进行语义分割，获取语义分割结果；
基于所述语义分割结果对目标图像的版面进行分析。


2.根据权利要求1所述的基于OCR的图像分析方法，其特征在于，在获取目标图像的特征前，还包括对目标图像进行预处理，所述预处理包括以下至少之一：
通过文本位置矫正算法对目标图像中的文本进行位置矫正、将目标图像的文本框标注转化为像素级别的标注。


3.根据权利要求2所述的基于OCR的图像分析方法，其特征在于，标注的内容包括以下之一：文本行属性、角点、偏移量。


4.根据权利要求1至3任一所述的基于OCR的图像分析方法，其特征在于，基于深度学习的整体方案，使用带有动量的随机梯度下降进行训练，训练出一个或多个版面分析深度学习网络模型；
将预先获取的目标图像的特征、目标图像层级之间的上下文关联属性输入至训练后的一个或多个版面分析深度学习网络模型中对目标图像进行语义分割。


5.根据权利要求4所述的基于OCR的图像分析方法，其特征在于，对目标图像进行的语义分割包括以下至少之一：回归目标图像的文本框、回归目标图像的锚检测框、预测目标图像内的像素点、预测目标图像中角点区域内的像素点。


6.根据权利要求5所述的基于OCR的图像分析方法，其特征在于，获取的语义分割结果包括以下至少之一：通过回归目标图像的文本框获取角点位置、通过回归目标图像的锚检测框和预测目标图像中角点区域内的像素点获取目标图像文本框的边界位置、通过预测目标图像中角点区域内的像素点获取目标图像文本框的边界精确位置。


7.根据权利要求6所述的基于OCR的图像分析方法，其特征在于，还包括结合多种权重进行角点匹配；至少包括以下权重之一：距离、长宽比、角度。


8.根据权利要求6所述的基于OCR的图像分析方法，其特征在于，
对所有预测的像素点进行分类，获取目标图像的文本框的属性；
基于所述文本框的属性对目标图像的版面进行分析。


9.根据权利要求4所述的基于OCR的图像分析方法，其特征在于，在训练一个或多个版面分析深度学习网络模型时，还包括增加一个或多个干扰参数提高所述一个或多个版面分析深度学习网络模型的鲁棒性。


10.根据权利要求9所述的基于OCR的图像分析方法，其特征在于，所述干扰参数包括以下至少之一：背景、旋转、透视、畸变、噪声、高斯模糊、运动模糊。


11.根据权利要求4所述的基于OCR的图像分析方法，其特征在于，在训练一个或多个版面分析深度学习网络模型时，对于不同属性的预测，使用不同的方法计算模型损失，并对所有的模型损失进行加权，获取模型的总损失。


12.根据权利要求11所述的基于OCR的图像分析方法，其特征在于，计算的模型损失包括以下至少之一：平滑L1损失、交叉熵损失。


13.根据权利要求1所述的基于OCR的图像分析方法，其特征在于，所述目标对象的特征包括以下至少之一：目标图像的全局特征、目标图像的局部特征、目标图像层级上下文之间的关联性。


14.根据权利要求1或13所述的基于OCR的图像分析方法，其特征在于，通过卷积神经网络、全卷积网络获取目标图像的特征，包括获取目标图像的全局特征、目标图像的局部特征。


15.根据权利要求14所述的基于OCR的图像分析方法，其特征在于，还包括使用由空洞卷积级联和不同采样率空洞卷积共同形成的并行架构提升全卷积网络的感受野。


16.一种基于OCR的图像分析系统，其特征在于，包括：
分割模块，用于根据预先获取的目标图像的特征对目标图像进行语义分割，获取语义分割结果；
分析模块，用于基于所述语义分割结果对目标图像的版面进行分析。


17.根据权利要求16所述的基于OCR的图像分析系统，其特征在于，在获取目标图像...

【专利技术属性】
技术研发人员：周曦，姚志强，林旸焜，许梅芳，
申请(专利权)人：上海云从企业发展有限公司，
类型：发明
国别省市：上海;31