一种基于分布式环境的多线程并行图片处理方法技术

本申请涉及信息技术软件工程领域，尤其涉及一种基于分布式环境的多线程并行图片处理方法。本发明专利技术具体包括，图片预处理，图片文字检测与识别，图片结构后处理操作；其中通过图片预处理进行图片文字信息位置矫正，待图片文字信息位置矫正完成后通过图片文字检测与识别进行图片中文字识别与文字特征提取，待文字特征提取完成后在图片结构后处理操作中，对图片文字进行指定需求下的结构化整合处理。本发明专利技术用以增强图片文字检测与识别中相似度较高的特征并抑制相似度较低的特征，从而提高图片文字检测与识别的精确度，为后续图片中的文字信息识别后的结构化处理问题提供精确的文字特征匹配基础。征匹配基础。征匹配基础。

【技术实现步骤摘要】
一种基于分布式环境的多线程并行图片处理方法


[0001]本申请涉及信息技术软件工程领域，尤其涉及一种基于分布式环境的多线程并行图片处理方法。

技术介绍

[0002]现阶段，随着大数据与人工智能的兴起，图片中的文字信息识别逐渐从传统的手动录入转化为自动检测的识别方式，光学字符识别技术应运而生。但是现有的图片处理过程中，通常通过消息中间件进行图片数据的一致性处理，此种处理方式在长任务流程下难以进一步实现任务的跟踪与补偿。同时现有的技术所识别得到的文字信息的结构化后处理较差，即使对技术进行的改进中通常仅能进行单行文字的识别，整体的识别效率较低，同时由于企业信息文件具有保密性，因此在使用相关方法进行企业信息文件识别时，应同时采用较高的安全风险管理措施。
[0003]公开号为CN101788849B的中国专利，提供了一种用于移动通讯设备系统的光学字符识别输入方法，此专利中通过将光学字符识别OCR技术与移动端相互结合，用以通过移动端直接进行图片的识别与文字信息的提取。公开号为CN114078205A的中国专利，提供了一种识别语料中光学字符识别错误的方法及装置，此专利中通过对识别到的语句进行分词，并将分词后得到的字符进行语言模型的对比，用以对字符中的错误语句进行筛选识别。但是上述专利中使用光学字符识别OCR技术进行图片中文字信息的处理时，通常偏重于文字信息的识别而非后续的文字信息的结构化处理与分类，此种技术方案虽然可以进行文字信息的识别，但是却不利于后续文字信息的使用，对文字信息的结构化处理不够完善。
[0004]因此，针对现有的光学字符识别OCR技术中存在的问题，本专利技术中提供了一种基于分布式环境的多线程并行图片处理方法。

技术实现思路

[0005]针对上述存在的问题，本专利技术中提供了一种基于分布式环境的多线程并行图片处理方法，具体包括，图片预处理，图片文字检测与识别，图片结构后处理操作；其中通过图片预处理进行图片文字信息位置矫正，待图片文字信息位置矫正完成后通过图片文字检测与识别进行图片中文字识别与文字特征提取，待文字特征提取完成后在图片结构后处理操作中，对图片文字进行指定需求下的结构化整合处理。
[0006]优选的，所述多线程并行图片处理方法中，首先建立主线程，所述主线程中包含多个长任务，并根据所述主线程发起任务流。
[0007]优选的，将单个所述长任务分解为多级子任务；其中，所述多级子任务为异步并行处理。
[0008]优选的，所述子任务中，单个子任务执行成功后在数据库表中新增一条记录，同时所述记录的插入与更新必须和任务本身的数据操作在同一个数据库的事务机制内。
[0009]优选的，所述图片预处理，具体包括图片识别与方向分类，其中所述方向分类用以
对识别到的图片进行大角度旋转矫正。
[0010]优选的，所述大角度旋转矫正，建立了基于0
°
，90
°
，180
°
，270
°
图片训练样本。
[0011]优选的，所述图片与文字方向训练，根据图片训练样本，识别得到的0
°
，90
°
，180
°
，270
°
的实际图片并进行旋转矫正，以此进行图片方向训练。
[0012]优选的，所述图片文字检测与识别，通过训练文字检测模型检测出每个文字区域的四个顶点坐标，以此进行文字方向训练。
[0013]优选的，所述文字方向训练中，对所述每个文字区域进行透射变换，通过所述投射变换用以矫正图片中的倾斜文字。
[0014]优选的，所述图片与文字方向训练中，训练每个文字区域的中的文字样本，对每个文字区域的中的文字样本进行标注，所述标注时将识别字段和识别内容分开标注。
[0015]与现有技术相比，本专利技术的有益效果在于：
[0016](1)本专利技术提供的一种基于分布式环境的多线程并行图片处理方法，借助编程思想中的多线程特性以及数据库的过渡作用，用以保证图片处理中长任务流下的数据处理效率与数据处理一致性，克服传统的图片分布式处理过程中资源消耗较大，同时易引发回滚操作影响图片的处理效率与处理质量的问题。
[0017](2)本专利技术提供的一种基于分布式环境的多线程并行图片处理方法，主要着重于光学字符识别技术对图片中的文字信息识别后的结构化处理问题，通过建立图片预处理，图片文字检测与识别，图片结构后处理操作，用以对市场上现有的光学字符识别技术进行优化改进，在所述优化改进中，通过建立了基于所训练的文字检测模型中单个特征通道的重要程度评估机制，用以增强图片文字检测与识别中相似度较高的特征并抑制相似度较低的特征，从而提高图片文字检测与识别的精确度，为后续图片中的文字信息识别后的结构化处理问题提供精确的文字特征匹配基础。
附图说明
[0018]图1为基于分布式环境的多线程并行图片处理方法流程图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]本实施例中第一方面提供了一种基于分布式环境的多线程并行方法，其中，所述多线程并行图片处理方法中，首先建立主线程，所述主线程中包含多个长任务，并根据所述主线程发起任务流，将单个所述长任务分解为多级子任务。
[0021]其中，所述多级子任务为异步并行处理，所述子任务中，单个子任务执行成功后在数据库表中新增一条记录，同时所述记录的插入与更新必须和任务本身的数据操作在同一个数据库的事务机制内。所述记录包括但是不限制于任务步骤标识、执行状态、任务元数据、父任务标识、重试次数、创建/更新时间。
[0022]当所述子任务开始执行时，将该子任务对应记录的状态设为进行状态；当所述子
任务完成时，将将该子任务对应记录的状态设为完成态。
[0023]具体的，将所述单个所述长任务分解为多级子任务时，为每个子任务分配一个线程，并在长任务分解后所分解的记录子任务总数。其中，所述记录子任务总是中，通过查询基于键值对的分布式缓存记录进行记录，所述分布式缓存记录中key为任务标识，value为未完成的子任务数量。
[0024]在此基础上，单个子任务所对应的线程在执行完成子任务后将当前子任务数减1，此部分通过分布式锁计算用以保证该线程安全。当子任务数降为0时即认为所有子任务完成，当所有子任务完成时，则更新对应的长任务状态为完成。同时建立后台程序定时检查器，用以检查上述数据库事务机制中的任务状态，首先判断是否有需要补偿的任务，若否则发送邮件通知，申请人工介入；若是则判断是否超过补偿次数，若是则发送邮件通知，申请人工接入，若否则重新执行任务。
[0025]本实施例中第二方面提供了一种基于分布式环境的多线程并行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式环境的多线程并行图片处理方法，其特征在于，具体包括，图片预处理，图片文字检测与识别，图片结构后处理操作；其中通过图片预处理进行图片文字信息位置矫正，待图片文字信息位置矫正完成后通过图片文字检测与识别进行图片中文字识别与文字特征提取，待文字特征提取完成后在图片结构后处理操作中，对图片文字进行指定需求下的结构化整合处理。2.根据权利要求1所述一种基于分布式环境的多线程并行图片处理方法，其特征在于，所述多线程并行图片处理方法中，首先建立主线程，所述主线程中包含多个长任务，并根据所述主线程发起任务流。3.根据权利要求2所述一种基于分布式环境的多线程并行图片处理方法，其特征在于，将单个所述长任务分解为多级子任务；其中，所述多级子任务为异步并行处理。4.根据权利要求3中所述一种基于分布式环境的多线程并行图片处理方法，其特征在于，所述子任务中，单个子任务执行成功后在数据库表中新增一条记录，同时所述记录的插入与更新必须和任务本身的数据操作在同一个数据库的事务机制内。5.根据权利要求1所述一种基于分布式环境的多线程并行图片处理方法，其特征在于，所述图片预处理，具体包括图片识别与方向分类，其中所述方向分类用以对识别到的图片进行大角度旋转矫正。6.根据权利要求5所述一种基于分布式环境的多线程并行图片...

【专利技术属性】
技术研发人员：唐伟，应君义，王刚，杨静懿，崔鹏飞，陈彬，高娜，项天成，
申请(专利权)人：上海聚均科技有限公司，
类型：发明
国别省市：