基于图像边缘检测与制造技术

基于图像边缘检测与

【技术实现步骤摘要】
基于图像边缘检测与Res
‑
CRNN的纸质病历数字化信息提取方法、系统、设备及介质


[0001]本专利技术涉及图像识别及医学应用
，具体涉及基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法
、
系统
、
设备及介质
。

技术介绍

[0002]现有病例多以纸质版的方式保存，这种保存方式需要大量的物理空间去存储，保存
、
管理
、
分类和检索保护等工作需要大量的人力和时间，存在着丢失
、
损坏和篡改的风险，可能会导致无法恢复或者产生严重的后果，纸质病例一般一式一份，保存在医师或者患者手中，无法实现共享和协同工作，亦无法实现数字化管理，如果选择手工录入则需要大量的资源，而且会增加错误和疏漏的风险
。
现有的图像分隔和手写体识别的技术没有通用性，即对于不同的数据和需求，所需要的处理和技术是存在区别的，现有的图像分割基于找到对应表格的点作为分割的准则，但由于图像的拍摄与
pdf
印刷存在距离
、
角度
、
方向不可控以及对拍摄设备要求较高，多张图片同时数字化识别会导致找不到表格的端点，抑或是识别错误的点
。
[0003]专利名称为“一种表格识别方法
、
装置
、
电子设备及存储介质”，公开号为
[CN115759259A]的专利技术
,<br/>提供了一种表格识别方法
、
装置
、
电子设备及存储介质，其中表格识别方法包括：获取待识别图像；提取待识别图像中的直线段端点；针对每个直线段端点，根据预设待拟合点筛选规则，获取每个直线段端点的待拟合点；对直线段端点以及该直线段端点的待拟合点进行拟合，获取第一候选单元格角点；根据候选角点合并规则，对第一候选单元格角点进行合并，获取第二候选单元格角点；基于第二候选单元格角点，重建待识别图像中的表格
。
但是由于该专利的识别方法需建立在表格图橡较为完美的情况下，在图像数据由拍摄获取的途径中存在距离
、
角度
、
方向不可控以及对拍摄设备要求较高，多张图片同时数字化识别会导致找不到表格的端点，抑或是识别错误的点的情况下，无法通过直线段以及端点的合并进行
。
[0004]专利名称为“一种基于卷积神经网络的表单手写数字识别模型”，公开号为
[CN115527225A]的专利技术
,
提供了一种基于卷积神经网络的表单手写数字识别模型
。
该基于卷积神经网络的表单手写数字识别模型，通过学习和研究
LeNet
‑5模型的结构特性，基于
TensorFlow
开源平台和
Keras
框架搭建一个卷积神经网络模型，使其对表单手写体数字进行识别时，再输入端输入表单的手写数字图片，输出端输出被识别的阿拉伯数字
。
但是由于该专利的识别方法只能对于定长的数字逐个进行模型的预测，无法实现不定长数字端到端的预测，这也是传统卷积神经网络的缺陷
。

技术实现思路

[0005]为了克服上述现有技术的缺点，本专利技术的目的在于提供基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法
、
系统
、
设备及介质，通过对具有彩色信息的原始图像
进行灰度化处理
、Canny
边缘检测
、
线条识别与旋转矫正
、mask
掩码处理
、
投影变换后得到投影变换后的图像，再基于手写数字训练数据和
Res
‑
CRNN
深度学习模型对投影变换后的图像进行文字识别，得到最终文本数字识别结果，可对存在误差的表格图像进行识别，具有识别效率高
、
识别准确率高的特点
。
[0006]为了实现上述目的，本专利技术采用的技术方案是：
[0007]基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，包括以下步骤：
[0008]步骤
1、
对具有彩色信息的原始图像进行灰度化处理，得到具有单一亮度信息的图像；
[0009]步骤
2、
对步骤1得到的具有单一亮度信息的图像进行
Canny
边缘检测得到边缘锐化处理后的图像；
[0010]步骤
3、
对步骤2得到的边缘锐化处理后的图像进行线条识别与旋转矫正得到旋转处理之后的图像；
[0011]步骤
4、
对步骤3得到的旋转处理之后的图像进行
mask
掩码处理并根据形态学找到图像的横线和竖线，并进行交点的识别，标注在原图像上；
[0012]步骤
5、
对步骤4标注后的原图像进行投影变换，得到投影变换后的图像；
[0013]步骤
6、
通过形态学变换生成手写数字训练数据，再基于手写数字训练数据和
Res
‑
CRNN
深度学习模型对步骤5得到的投影变换后的图像进行文字识别，得到最终文本数字识别结果
。
[0014]所述步骤1中灰度化处理的公式具体为：
[0015]利用图片中的三色通道得到最后的灰度值，灰度值＝
0.2989
×
X
red
+0.5870
×
X
green
+0.1140
×
X
blue
，其中
X
red
表示为图像中分离的红色通道值
,X
green
表示为图像分离中的绿色通道值
,X
blue
表示为图像分离中的绿色通道值
。
[0016]所述步骤2中的边缘锐化处理具体为：
[0017]利用
python
中
cv2
库的
Canny
函数将单一亮度信息的图像转化为边缘锐化处理后的图像；
[0018]其中
Canny
函数需要三个参数：
[0019]image
，即要进行边缘检测的图像，在此表示为单一亮度信息的图像；
[0020]threshold1
，即滞后阈值，如果一个像素的梯度大于此阈值，就将其认为是边缘；
[0021]threshold2
，即主阈值，如果一个像素的梯度大于它并且与第一个阈值相连，则将其认为是边缘；
[0022]步骤
2.2、
通过网格调参，分别确认步骤
2.1<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，包括以下步骤：步骤
1、
对具有彩色信息的原始图像进行灰度化处理，得到具有单一亮度信息的图像；步骤
2、
对步骤1得到的具有单一亮度信息的图像进行
Canny
边缘检测得到边缘锐化处理后的图像；步骤
3、
对步骤2得到的边缘锐化处理后的图像进行线条识别与旋转矫正得到旋转处理之后的图像；步骤
4、
对步骤3得到的旋转处理之后的图像进行
mask
掩码处理并根据形态学找到图像的横线和竖线，并进行交点的识别，标注在原图像上；步骤
5、
对步骤4标注后的原图像进行投影变换，得到投影变换后的图像；步骤
6、
通过形态学变换生成手写数字训练数据，再基于手写数字训练数据和
Res
‑
CRNN
深度学习模型对步骤5得到的投影变换后的图像进行文字识别，得到最终文本数字识别结果
。2.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述步骤1中灰度化处理的公式具体为：利用图片中的三色通道得到最后的灰度值，灰度值＝
0.2989
×
X
red
+0.5870
×
X
green
+0.1140
×
X
blue
，其中，
X
red
表示为图像中分离的红色通道值
,X
green
表示为图像分离中的绿色通道值
,X
blue
表示为图像分离中的绿色通道值
。3.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述步骤2中的边缘锐化处理具体为：步骤
2.1、
利用
python
中
cv2
库的
Canny
函数将单一亮度信息的图像转化为边缘锐化处理后的图像；其中
Canny
函数需要三个参数：
image
：即要进行边缘检测的图像，在此表示为单一亮度信息的图像；
threshold1
：即滞后阈值，如果一个像素的梯度大于此阈值，就将其认为是边缘；
threshold2
：即主阈值，如果一个像素的梯度大于它并且与第一个阈值相连，则将其认为是边缘；步骤
2.2、
通过网格调参，分别确认步骤
2.1
中的参数
threshold1
和
threshold2
的值
。4.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述步骤3中的边缘锐化处理具体为：步骤
3.1、
基于累计概率霍夫变换，并利用
python
中的
cv2
库的
HoughLinesP
函数，对边缘处理后的图像的直线进行识别；步骤
3.2、
通过网格调参确定
HoughLinesP
函数中的参数，对步骤
3.1
中已识别出的直线进行调整，参数包括：
rho
，以像素为单位的距离精度；
theta
，以弧度为单位的角度精度；
threshold
，累加平面的阈值参数；
minLineLength
，最低线段的长度；
maxLineGap
，允许将同一行点与点之间连接起来的最大的距离；步骤
3.3、
在步骤
3.2
调整后的直线中筛选出斜率在
(
‑
π
/4
，
π
/4)
范围内的直线并将其定义为横线，对斜率在
(
‑
π
/4
，
π
/4)
范围内的直线上进行斜率的加权平均得到斜率
k
，再将整个表格进行旋转以抵消斜率
k
的影响
。
5.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述的步骤4具体为：步骤
4.1、
基于经过旋转处理之后的图像，构建表格的
mask
掩码区域；步骤
4.2、
在步骤
4.1
构建的表格的
mask
掩码区域内，通过
opencv
库的
getStructuringElement
函数分别调整步骤
4.1
创建的具体的掩码区域的参数：
shape、esize
，得到全横线图和全竖线图，其中，
shape
为内核的形状，设置为矩形，
esize
为内核的尺寸；步骤
4.3、
对步骤
4.2
得到的全横线图和全竖线图进行图像的重叠，在全横线图与竖线图像的重合中标注交点，对网格进行定向，进而筛选出矩形框，并将其标记在原图像上
。6.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述的步骤5具体为：步骤
5.1、
通过得到的
mask
掩码和标注的交点，在标注后的原图像上建立对应病历的最大的矩形框，再利用
OpenCV
计算机视觉库中的
bitwise_or
函数在标注后的原图像中分离出提取出的
mask
源码，并通过投影变换进行矫正，得到最后的预处理后的图像；步骤
5.2、
在步骤
5.1
得到的最后的预处理后的图像的投影变换中，首先需要定义一个目标图像的坐标系，然后将原始图像中的每个像素点映射到目标图像中相应的位置，这个映射关系可以通过一个投影矩阵来描述，投影矩阵由步骤
5.1
得到的最后的预处理后的图像和目标图像中的一组对应点确定，对应的变换公式为：式中，
u,v
表示原始图片的坐标，是变换矩阵，变换矩阵由四部分组成，其中表示线性变换；
[a
31 a
32
]
表示平移变换；
[a
13 a
23
]
T
表示透视变换，得到变换公式变为：变为：式中，
x,y
表示变换后图片的坐标，通过
u,v
计算得到
x,y
实现图像的投影变换
。7.
根据权利要求1所述的基于图像边缘检测与
Res
‑
CRNN
的纸质病历数字化信息提取方法，其特征在于，所述的步骤6具体为：步骤
6.1、
通过在网络中对
Mnist
数据集中的训练集和测试集的手写数字进行下载，分类好图像和标签的信息，
Mnist
数据中的每张手写数字图像是以
28
×
28
的像素点构成的0‑9的灰质手写数字图像，黑底白字，图像像素值为0‑
255...

【专利技术属性】
技术研发人员：惠永昌，李皓铭，刘懿，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：