面向法院判决文书的多尺度学习的文字识别方法及系统技术方案

本发明专利技术公开了一种面向法院判决文书的多尺度学习的文字识别方法及系统，包括：获取待识别的法院判决文书图像，提取印章区域；以目标RGB值差异最大为目标函数，以循环一致性损失为约束条件，基于对抗网络构建印章生成网络模型，采用训练后的印章生成网络模型对印章区域进行印章痕迹RGB值的转换，并删除转换后的印章区域的印章痕迹；对删除印章痕迹的法院判决文书图像进行特征提取，对得到的特征图分别进行全局目标检测和局部细节检测，将得到的文本候选框的掩码和渐进式掩膜合并后对构建的文本检测模型进行训练，以训练后的文本检测模型得到文字识别结果。有效解决文本图像中的印章痕迹遮挡问题和超长、超短文本的检测问题。

【技术实现步骤摘要】
面向法院判决文书的多尺度学习的文字识别方法及系统
本专利技术涉及光学字符识别
，特别是涉及一种面向法院判决文书的多尺度学习的文字识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。随着平台式扫描仪和手机扫描的广泛应用，以及信息自动化和办公自动化的普及，目前可以通过拍摄照片直接进行图像上文字的识别。在司法系统中，各类案件繁杂，判决文书录入的工作尤为繁重。OCR技术能利用光学技术和计算机技术对文本资料的图像文件进行分析识别处理，获取文字信息，因此，针对法院判决文书扫描图像的OCR技术来实现文书的自动化录入，极大减少了人工录入成本，降低信息采集和录入的时间，有效解放人工录入的工作。现有的OCR技术主要包括基于浅层学习模型的OCR技术和基于深度学习模型的OCR技术；然而，法院判决文书具有印章痕迹遮挡文字和存在超长、超短文本的问题。印章在法院判决文书中普遍存在，但印章痕迹在文本中会对文字造成遮挡；超长、超短文本指的是文本区域长宽比过大或过小问题，在一张法院判决文书图像中会存在多个超本文档来自技高网...

【技术保护点】
1.一种面向法院判决文书的多尺度学习的文字识别方法，其特征在于，包括：/n获取待识别的法院判决文书图像，提取印章区域；/n以目标RGB值差异最大为目标函数，以循环一致性损失为约束条件，基于对抗网络构建印章生成网络模型，采用训练后的印章生成网络模型对印章区域进行印章痕迹RGB值的转换，并删除转换后的印章区域的印章痕迹；/n对删除印章痕迹的法院判决文书图像进行特征提取，对得到的特征图分别进行全局目标检测和局部细节检测，将得到的文本候选框的掩码和渐进式掩膜合并后对构建的文本检测模型进行训练，以训练后的文本检测模型得到文字识别结果。/n

【技术特征摘要】
1.一种面向法院判决文书的多尺度学习的文字识别方法，其特征在于，包括：
获取待识别的法院判决文书图像，提取印章区域；
以目标RGB值差异最大为目标函数，以循环一致性损失为约束条件，基于对抗网络构建印章生成网络模型，采用训练后的印章生成网络模型对印章区域进行印章痕迹RGB值的转换，并删除转换后的印章区域的印章痕迹；
对删除印章痕迹的法院判决文书图像进行特征提取，对得到的特征图分别进行全局目标检测和局部细节检测，将得到的文本候选框的掩码和渐进式掩膜合并后对构建的文本检测模型进行训练，以训练后的文本检测模型得到文字识别结果。


2.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，对法院判决文书图像进行分割，采用深度模型对每个像素块进行判断，获得包含印章痕迹的像素块，将其拼接后得到印章区域。


3.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述印章生成网络模型的损失函数为：
L(Ga2B,GB2A,FB,FA)＝LCGAN(GA2B,FB,A,B)+LCGAN(GB2A,FA,B,A)+γLcyc(GA2B,GB2A)，
其中，GA2B和GB2A为生成器，FA和FB为鉴别器，A和B为图像集合，LCGAN为RGB空间损失约束，Lcyc为循环一致性损失约束。


4.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述特征提取采用特征金字塔网络进行特征提取，得到不同通道数的特征图，所述特征金字塔网络包括自底向上路径、自顶向下路径和跳跃连接，所述自底向上路径采用ResNet50网络，自底向上路径的输出作为自顶向下路径的输入，自顶向下路径的输出上采样至自底向上路径，并进行跳跃连接。


5.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述全局目标检测包括：获取特征图的特征向量，将特征向量进行通道变化后输入双向LSTM网络中，将...

【专利技术属性】
技术研发人员：尹义龙，秦者云，袭肖明，王奎奎，黄瑾，周子淇，刘祥飞，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37