校正图像的方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种校正图像的方法、装置、存储介质及电子设备，所述方法包括：将待校正的目标图像输入预先训练的关键点检测模型，得到所述目标图像对应的热力图，所述热力图包括所述目标图像的每条边对应的边热力图；根据所述边热力图，获取所述目标图像的每条边对应的拟合直线；获取每两条相邻的拟合直线的交汇点，得到所述目标图像对应的拟合顶点；根据所述拟合顶点对所述目标图像进行透视变换，得到所述目标图像对应的第一校正图像。这样，可以明确切分出目标图像中的前景，滤除该目标图像中的背景干扰，从而提高图像校正的效果。

【技术实现步骤摘要】
校正图像的方法、装置、存储介质及电子设备
本公开涉及图像处理
，具体地，涉及一种校正图像的方法、装置、存储介质及电子设备。
技术介绍
在图像识别方面，基于深度学习的OCR(OpticalCharacterRecognition，光学字符识别)识别以其识别精度高、识别速度快等优点被业界广泛采用。OCR识别的精度不仅受限于识别算法的好坏，还受限于文本检测的效果，而图像质量对文本检测效果的影响较为显著，其中，图像畸变(非平拍)对图像文字区域的定位和识别的影响尤为明显。因此，为了提高OCR识别的准确率，在对图像进行识别之前，可以先对采集到的图像进行校正。相关技术中，可以通过基于深度学习的顶点回归任务对图像进行校正，但是，这种方法对前景和背景区分度相差较大的图像的校正效果比较好，对前景和背景相似的图像顶点的预测存在较大偏差，导致图像的校正效果较差。
技术实现思路
为了解决上述问题，本公开提供一种校正图像的方法、装置、存储介质及电子设备。第一方面，本公开提供一种校正图像的方法，所述方法包括：将待校正的目标图像输入预先训练的关键点检测模型，得到所述目标图像对应的热力图，所述热力图包括所述目标图像的每条边对应的边热力图；根据所述边热力图，获取所述目标图像的每条边对应的拟合直线；获取每两条相邻的拟合直线的交汇点，得到所述目标图像对应的拟合顶点；根据所述拟合顶点对所述目标图像进行透视变换，得到所述目标图像对应的第一校正图像。可选地，所述热力图还包括顶点热力图，在所述根据所述拟合顶点对所述目标图像进行透视变换前，所述方法还包括：根据所述顶点热力图中每个像素点的像素值，确定所述目标图像对应的预测顶点；所述根据所述拟合顶点对所述目标图像进行透视变换包括：根据所述拟合顶点和所述预测顶点的误差，确定所述目标图像对应的目标顶点；根据所述目标顶点对所述目标图像进行透视变换。可选地，所述根据所述拟合顶点和所述预测顶点的误差，确定所述目标图像对应的目标顶点包括：在所述误差小于预设误差阈值的情况下，将所述预测顶点作为所述目标顶点；或者，在所述误差大于或等于所述预设误差阈值的情况下，将所述拟合顶点作为所述目标顶点。可选地，在所述根据所述边热力图，获取所述目标图像的每条边对应的拟合直线前，所述方法还包括：确定所述边热力图是否包含关键点；所述根据所述边热力图，获取所述目标图像的每条边对应的拟合直线包括：在确定所述边热力图包含所述关键点的情况下，对所述边热力图中的所述关键点进行拟合，得到所述目标图像的每条边对应的拟合直线；在确定所述边热力图未包含所述关键点的情况下，确定所述边热力图对应的目标边，并将所述目标图像中与所述目标边对应的边缘，作为所述边热力图对应的拟合直线。可选地，所述方法还包括：在所述目标图像包括特征线的情况下，在得到所述第一校正图像后，获取所述第一校正图像中的特征线对应的目标直线，所述特征线包括位于所述第一校正图像的相对两端，并且长度大于或等于第一预设长度阈值的线条；获取所述目标直线的端点；根据所述端点对所述第一校正图像进行透视变换，得到所述目标图像对应的第二校正图像。可选地，在所述特征线为实线的情况下，所述获取所述第一校正图像中的特征线对应的目标直线包括：获取所述目标图像对应的多个水平直线特征点，所述水平直线特征点包括水平直线对应的两个端点；对所述水平直线特征点进行合并，得到所述目标图像对应的多条合并直线；针对多条所述合并直线中的每条合并直线，获取该合并直线的长度，以及该合并直线距离所述目标图像的相对两端的边缘的距离；将所述长度大于或等于第二预设长度阈值，并且所述距离小于或等于预设距离阈值的合并直线作为所述目标直线。可选地，在所述特征线为虚线的情况下，所述获取所述第一校正图像中的特征线对应的目标直线包括：对所述第一校正图像进行直线检测，得到所述第一校正图像中的多条检测直线；获取多条所述检测直线中长度小于或等于第三预设长度阈值的特征直线；将所述特征直线合并后作为所述目标直线。第二方面，本公开提供一种校正图像的装置，所述装置包括：热力图获取模块，用于将待校正的目标图像输入预先训练的关键点检测模型，得到所述目标图像对应的热力图，所述热力图包括所述目标图像的每条边对应的边热力图；拟合直线获取模块，用于根据所述边热力图，获取所述目标图像的每条边对应的拟合直线；拟合顶点获取模块，用于获取每两条相邻的拟合直线的交汇点，得到所述目标图像对应的拟合顶点；第一校正图像获取模块，用于根据所述拟合顶点对所述目标图像进行透视变换，得到所述目标图像对应的第一校正图像。可选地，所述热力图还包括顶点热力图，所述装置还包括：预测顶点确定模块，用于根据所述顶点热力图中每个像素点的像素值，确定所述目标图像对应的预测顶点；第一校正图像获取模块，还用于根据所述拟合顶点和所述预测顶点的误差，确定所述目标图像对应的目标顶点；根据所述目标顶点对所述目标图像进行透视变换。可选地，第一校正图像获取模块，还用于：在所述误差小于预设误差阈值的情况下，将所述预测顶点作为所述目标顶点；或者，在所述误差大于或等于所述预设误差阈值的情况下，将所述拟合顶点作为所述目标顶点。可选地，所述装置还包括：关键点确定模块，用于确定所述边热力图是否包含关键点；所述拟合直线获取模块，还用于：在确定所述边热力图包含所述关键点的情况下，对所述边热力图中的所述关键点进行拟合，得到所述目标图像的每条边对应的拟合直线；在确定所述边热力图未包含所述关键点的情况下，确定所述边热力图对应的目标边，并将所述目标图像中与所述目标边对应的边缘，作为所述边热力图对应的拟合直线。可选地，所述装置还包括：目标直线获取模块，用于在所述目标图像包括特征线的情况下，在得到所述第一校正图像后，获取所述第一校正图像中的特征线对应的目标直线，所述特征线包括位于所述第一校正图像的相对两端，并且长度大于或等于第一预设长度阈值的线条；端点获取模块，用于获取所述目标直线的端点；第二校正图像获取模块，用于根据所述端点对所述第一校正图像进行透视变换，得到所述目标图像对应的第二校正图像。可选地，在所述特征线为实线的情况下，所述目标直线获取模块，还用于：获取所述目标图像对应的多个水平直线特征点，所述水平直线特征点包括水平直线对应的两个端点；对所述水平直线特征点进行合并，得到所述目标图像对应的多条合并直线；针对多条所述合并直线中的每条合并直线，获取该合并直线的长度，以及该合并直线距离所述目标图像的相对两端的边缘的距离；将所述长度大于或等于第二预设长度阈值，并且所述距离小于或等于预设距离阈值的合并直线作为所述目标直线。可选地，在所述特征本文档来自技高网...

【技术保护点】
1.一种校正图像的方法，其特征在于，所述方法包括：/n将待校正的目标图像输入预先训练的关键点检测模型，得到所述目标图像对应的热力图，所述热力图包括所述目标图像的每条边对应的边热力图；/n根据所述边热力图，获取所述目标图像的每条边对应的拟合直线；/n获取每两条相邻的拟合直线的交汇点，得到所述目标图像对应的拟合顶点；/n根据所述拟合顶点对所述目标图像进行透视变换，得到所述目标图像对应的第一校正图像。/n

【技术特征摘要】
1.一种校正图像的方法，其特征在于，所述方法包括：
将待校正的目标图像输入预先训练的关键点检测模型，得到所述目标图像对应的热力图，所述热力图包括所述目标图像的每条边对应的边热力图；
根据所述边热力图，获取所述目标图像的每条边对应的拟合直线；
获取每两条相邻的拟合直线的交汇点，得到所述目标图像对应的拟合顶点；
根据所述拟合顶点对所述目标图像进行透视变换，得到所述目标图像对应的第一校正图像。


2.根据权利要求1所述的方法，其特征在于，所述热力图还包括顶点热力图，在所述根据所述拟合顶点对所述目标图像进行透视变换前，所述方法还包括：
根据所述顶点热力图中每个像素点的像素值，确定所述目标图像对应的预测顶点；
所述根据所述拟合顶点对所述目标图像进行透视变换包括：
根据所述拟合顶点和所述预测顶点的误差，确定所述目标图像对应的目标顶点；
根据所述目标顶点对所述目标图像进行透视变换。


3.根据权利要求2所述的方法，其特征在于，所述根据所述拟合顶点和所述预测顶点的误差，确定所述目标图像对应的目标顶点包括：
在所述误差小于预设误差阈值的情况下，将所述预测顶点作为所述目标顶点；或者，
在所述误差大于或等于所述预设误差阈值的情况下，将所述拟合顶点作为所述目标顶点。


4.根据权利要求1所述的方法，其特征在于，在所述根据所述边热力图，获取所述目标图像的每条边对应的拟合直线前，所述方法还包括：
确定所述边热力图是否包含关键点；
所述根据所述边热力图，获取所述目标图像的每条边对应的拟合直线包括：
在确定所述边热力图包含所述关键点的情况下，对所述边热力图中的所述关键点进行拟合，得到所述目标图像的每条边对应的拟合直线；
在确定所述边热力图未包含所述关键点的情况下，确定所述边热力图对应的目标边，并将所述目标图像中与所述目标边对应的边缘，作为所述边热力图对应的拟合直线。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
在所述目标图像包括特征线的情况下，在得到所述第一校正图像后，获取所述第一校正图像中的特征线对应的目标直线，所述特征线包括位于所述第一校正图...

【专利技术属性】
技术研发人员：王少康，马志国，张飞飞，杜竹君，郝双，阚海鹏，刘腾龙，麻凯利，王彦君，杨明坤，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：北京;11