基于深度学习和自动纠错的化验报告单结构化识别方法技术

本发明专利技术涉及医疗化验单识别技术领域，具体涉及一种基于深度学习和自动纠错的化验报告单结构化识别方法，基于可微分二值化网络对医疗化验单检测识别的场景特点进行改进，使用级联稀疏查询的可微分二值化网络对化验报告单图像进行文本检测和识别，获得化验报告单的结构化识别结果，另外针对

【技术实现步骤摘要】
基于深度学习和自动纠错的化验报告单结构化识别方法


[0001]本专利技术涉及医疗化验单识别
，具体涉及一种基于深度学习和自动纠错的化验报告单结构化识别方法
。

技术介绍

[0002]光学字符识别技术横跨计算机视觉和自然语言处理两大领域
。
在过往
40
余年的技术发展历程中，光学字符识别技术始终具备很强的产业应用背景，是计算机领域里少数几个一开始就由工业界和学术界双轮驱动的领域
。
传统的光学字符识别技术主要基于信号处理的特征提炼方法
、
图像结构的方法
、
各种算子以及各种映射技术
。
针对一些专用的字符类型和特殊应用场景，还有专门构造的人工特征提取技术
。
而近些年来深度学习发展迅速，基于深度神经网络的光学字符识别技术效果卓越
。
其通过多层网络结构来自动进行特征学习，颠覆了传统的人工特征提取过程，效果有了明显的改善
。
[0003]基于深度神经网络的光学字符识别技术主要包括两部分：文本检测网络和文本识别网络
。
其中，现代文本检测网络主要是基于图片分割的思想以适应各种不规则形状的文本区域，其中心思想是先从像素层面做分类，判别每一个像素点是否属于一个文本目标，得到文本区域的概率图，然后利用多边形等来绘制出这些候选区域的最小包围曲线，把一堆散落的像素块链接到一起来形成边界框
。
现代文本识别网络主要广泛基于循环卷积神经网络进行改进和调整，该技术的中心思想是用深度卷积层来生成图像基础特征，再使用能吸收上下文语义信息的深度双向长短期记忆网络进行时序特征训练，最后引入连接时序分类损失函数来实现端对端的不定长序列识别，解决训练时字符无法对齐的问题
。
[0004]现有的医疗化验单的光学字符识别方法对于化验单的图像质量要求较高，当图像质量较差或者存在杂质
、
污渍以及颜色失真情况时，识别效果会受到较大影响；另外在进行字符识别过程中对特定字符或疑难注释容易出现误识别现象，进而导致对结果的误解
。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度学习和自动纠错的化验报告单结构化识别方法，旨在解决现有的医疗化验报告单检测项目和结果的智能识别问题的不足
。
[0006]为实现上述目的，本专利技术提供了一种基于深度学习和自动纠错的化验报告单结构化识别方法，包括下列步骤：
[0007]步骤1：化验报告单照片成像效果预处理；
[0008]步骤2：霍夫变换扶正并裁剪表格；
[0009]步骤3：第一次通过
OCR
模块，定位重点信息进行区域裁剪；
[0010]步骤4：第二次通过
OCR
模块，对裁剪区域进行文本检测和识别，获得结构化识别结果；
[0011]步骤5：项目信息自动检查和整理；
[0012]步骤6：通过
BK
树和
AC
自动机，对整理后的结构化表格中的项目信息进行自动纠
错；
[0013]步骤7：项目信息合并与输出
。
[0014]可选的，化验报告单照片成像效果预处理的过程，包括下列步骤：
[0015]输入化验报告单图像，对
RGB
图像进行灰度化处理转为灰度图；
[0016]使用高斯滤波进行图片处理，减少图片噪声；
[0017]使用自适应阈值二值化，处理具有不均匀光照条件或背景噪声的图像
。
[0018]可选的，在霍夫变换扶正并裁剪表格的过程中，通过霍夫变换找到化验报告单表格的位置，对倾斜的化验报告单照片进行扶正并判断是单栏化验单还是多栏化验单，接着对表格每一栏内容所在区域分别进行裁剪
。
[0019]可选的，在霍夫变换扶正并裁剪表格的过程中，通过霍夫变换找到化验报告单表格的位置，对倾斜的化验单照片进行扶正并判断是单栏化验单还是多栏化验单，接着对表格每一栏内容所在区域分别进行裁剪
。
[0020]可选的，第一次通过
OCR
模块，定位重点信息进行区域裁剪的过程，包括下列步骤：
[0021]通过
OCR
模块中的文本检测网络定位所有文本区域的检测框坐标；
[0022]通过
OCR
模块中的文本识别网络识别所有文本区域内的文本内容；
[0023]根据
OCR
模块得到的文本检测框坐标和内容，对敏感信息进行脱敏处理；
[0024]根据
OCR
模块得到的文本检测框坐标和内容，找到对应表格中的“结果”字段的检测框，裁剪该检测框以左所有区域
A1
和该检测框所在列的区域
A2
，其中区域
A1
包括项目中文名或项目英文名的重要项目名称信息，区域
A2
包括项目名称对应的化验结果
。
[0025]可选的，在第二次通过
OCR
模块，对裁剪区域
A1
和
A2
进行文本检测和识别的过程中，区域
A1
的识别结果包含项目信息的
excel
表格，区域
A2
的识别结果包含化验结果的单列数据框
。
[0026]可选的，
OCR
模块中的文本检测网络采用级联稀疏查询的可微分二值化网络，用于定位化验报告单表格中的文本位置，输出文本所在位置的矩形框坐标；文本识别网络采用
CRNN
，用于对文本检测网络检测到的矩形框中的文本内容进行识别
。
[0027]可选的，项目信息自动检查和整理的过程，包括下列步骤：
[0028]合并所有列的内容到第一列，并统一表格信息为字符串类型；
[0029]正确合并一列中所有单元格的内容，将单独成一行的英文和数字和中文粘合；
[0030]正确分离一列中所有单元格的内容，将本该写成两项却粘合在同一行的两个检测项目名分开
。
[0031]可选的，步骤6的执行过程，具体为首先收集总体的项目信息，建立医疗化验单项目信息字典，对步骤5得到的结果进行后处理，利用
AC
自动机获取项目信息，然后利用医疗化验单的所有正确项目信息建立
BK
树，对于经过
AC
自动机提取过
OCR
识别的正确结果后剩下的不正确项目信息，从所建的
BK
树中快速找出和出错项目信息匹配程度较高的那一项正确项目信息，达成纠错的目的
。
[0032]可选的，在项目信息合并与输出的过程中，统计项目个数，并从项目信息识别结果的表格里取出相应个数的数据，将识别出的项目信息合并在同一个新的表格当中，最后将整理好的新表格以
JSON...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习和自动纠错的化验报告单结构化识别方法，其特征在于，包括下列步骤：步骤1：化验报告单照片成像效果预处理；步骤2：霍夫变换扶正并裁剪表格；步骤3：第一次通过
OCR
模块，定位重点信息进行区域裁剪；步骤4：第二次通过
OCR
模块，对裁剪区域进行文本检测和识别，获得结构化识别结果；步骤5：项目信息自动检查和整理；步骤6：通过
BK
树和
AC
自动机，对整理后的结构化表格中的项目信息进行自动纠错；步骤7：项目信息合并与输出
。2.
如权利要求1所述的基于深度学习和自动纠错的化验报告单结构化识别方法，其特征在于，化验报告单照片成像效果预处理的过程，包括下列步骤：输入化验报告单图像，对
RGB
图像进行灰度化处理转为灰度图；使用高斯滤波进行图片处理，减少图片噪声；使用自适应阈值二值化，处理具有不均匀光照条件或背景噪声的图像
。3.
如权利要求2所述的基于深度学习和自动纠错的化验报告单结构化识别方法，其特征在于，在霍夫变换扶正并裁剪表格的过程中，通过霍夫变换找到化验报告单表格的位置，对倾斜的化验报告单照片进行扶正并判断是单栏化验单还是多栏化验单，接着对表格每一栏内容所在区域分别进行裁剪
。4.
如权利要求3所述的基于深度学习和自动纠错的化验报告单结构化识别方法，其特征在于，第一次通过
OCR
模块，定位重点信息进行区域裁剪的过程，包括下列步骤：通过
OCR
模块中的文本检测网络定位所有文本区域的检测框坐标；通过
OCR
模块中的文本识别网络识别所有文本区域内的文本内容；根据
OCR
模块得到的文本检测框坐标和内容，对敏感信息进行脱敏处理；根据
OCR
模块得到的文本检测框坐标和内容，找到对应表格中的“结果”字段的检测框，裁剪该检测框以左所有区域
A1
和该检测框所在列的区域
A2
，其中区域
A1
包括项目中文名或项目英文名的重要项目名称信息，区域
A2
包括项目名称对应的化验结果
。5.
如权利要求4所述的基于深度学习和自动纠错的化验报告单结构化识别方法，其特征在于，在步骤4中，分别对裁剪区域<...

【专利技术属性】
技术研发人员：徐增敏，吴金儒，李明辉，刘龙飞，原孟炜，杜声茂，蒙儒省，
申请(专利权)人：桂林安维科技有限公司，
类型：发明
国别省市：