一种基于轻量级YOLO模型的财务报表检测方法技术

一种基于轻量级YOLO模型的财务报表检测方法，属于图像识别领域，包括：步骤一、数据预处理；步骤二、模型训练；步骤三、保存模型，获取预测坐标；步骤四、裁剪分块处理；步骤五、open

【技术实现步骤摘要】
一种基于轻量级YOLO模型的财务报表检测方法


[0001]本专利技术属于图像识别
，具体涉及一种基于轻量级YOLO模型的财务报表检测方法。

技术介绍

[0002]OCR(Optical Character Recognition，光学字符识别)是指针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像文件中的文字转换成文本格式，送入文字处理软件进行进一步编辑加工的技术。目前，对于财务报表图像数据的提取一直以来都是OCR技术的难点，常规OCR识别算法只能对图像中的文字信息进行提取，并不能提取表格，无法识别表格和文字信息原来的格式，后续还需要利用人工来将文字信息填写到对应的位置，大大降低了工作效率。另外，现有通过常规OCR识别算法提取财务报表数据还经常会出现行列错位的情况。

技术实现思路

[0003]为了解决现有利用OCR识别算法提取财务报表数据存在的无法提取表格、无法识别表格和文字信息原来的格式、工作效率低的问题，本专利技术提供一种基于轻量级YOLO模型的财务报表检测方法。
[0004]本专利技术为解决技术问题所采用的技术方案如下：
[0005]本专利技术的一种基于轻量级YOLO模型的财务报表检测方法，包括以下步骤：
[0006]步骤一、对财务报表图像进行图像预处理；
[0007]步骤二、以图像预处理后的财务报表图像作为数据集，使用YOLO V4
‑
tiny模型训练数据集；选取待检测的财务报表图像进行测试，查验待检测的财务报表图像中的表格位置的识别是否准确，是否存在漏检误检的情况；
[0008]步骤三、保存并调用YOLO V4
‑
tiny模型，将待检测的财务报表图像传入训练好的YOLO V4
‑
tiny模型进行预测，获取预测坐标；
[0009]步骤四、利用步骤三所得预测坐标对待检测的财务报表图像的目标区域进行裁剪分块，裁剪分块后的图像按照顺序命名为Crop1、Crop2
……
CropN，同时记录对应的图像右下角坐标；
[0010]步骤五、使用open
‑
cv对待检测的财务报表图像进行校验；
[0011]步骤六、提取待检测的财务报表图像中表格的横线与竖线，并利用图像减运算计算表格中的横线与竖线的交点坐标，将表格中的横线与竖线的交点坐标与步骤四中的每个图像图像右下角坐标进行比对，判断裁剪分块后的图像中的表格位置是否正确；
[0012]步骤七、将待检测的财务报表图像分为：规则型表格、多对一型表格和三线型表格；
[0013]步骤八、根据步骤七判断的待检测的财务报表图像类型，将步骤四中裁剪分块后的图像分别利用OCR识别算法进行文字识别，识别后的文字信息按照步骤四中的坐标依次
进行输出。
[0014]进一步的，步骤一的具体操作步骤如下：
[0015]使用数据标注工具对财务报表图像中的各类单元格进行标记，财务报表图像标记数量为500张
‑
1000张，每一类单元格最少要对应标记150张财务报表图像。
[0016]进一步的，步骤二中，所述YOLO V4
‑
tiny模型读取财务报表图像的方法为单通道读取灰度图。
[0017]进一步的，步骤二中，将数据集划分为训练集与测试集，训练集与测试集的比例为3:7。
[0018]进一步的，步骤二中，训练结束后选择10张
‑
15张待检测的财务报表图像进行测试。
[0019]进一步的，步骤四中，图像信息与坐标信息字典格式为{
‘
Crop(裁剪的图像名称)
’
:
‘
[右下角坐标信息]’
}；同一行的i坐标相同，同一列的j坐标相同，若Crop1、Crop2同行且相邻，则Crop1
‑‑
>[i
m
,j
n
]，Crop2
‑‑
>[i
m
,j
n+1
]。
[0020]进一步的，步骤五中，首先对待检测的财务报表图像进行二值化处理，若存在噪点，则分别进行1
‑
3次的膨胀操作或腐蚀操作，提升图像清晰度。
[0021]进一步的，步骤六中，将表格中的横线与竖线的交点坐标与步骤四中的每个图像图像右下角坐标进行比对，若xy轴坐标差距在
±
10个像素点，则证明裁剪分块后的图像中的表格位置正确；若xy轴坐标差距大于10个像素点，则先按照图像顺序识别并输出结果至异常文件下，后续需要人工检查。
[0022]进一步的，步骤八的具体操作步骤如下：
[0023]若为规则型表格，则输出为DataFrame格式，内容为{
‘
Crop1(识别后的文字信息)
’
:[Crop2(识别后的文字信息),Crop3(识别后的文字信息)
……
]}，当交点的y轴坐标发生改变，在原有的DataFrame格式上保存新的元素DataFrame{
‘
Crop1
’
:[Crop2,Crop3
……
],
‘
Crop4
’
:[Crop5,Crop6
……
]}；输出通过校验的DataFrame格式内容并进行转置，还原原来的财务报表格式，再储存为所需的财务报表格式；
[0024]若为多对一型表格，则按照列对照进行提取，先提取第一列内容，根据相邻列的y轴坐标进行判定，在第一列的y轴坐标范围内，第二列内容存在单元格y1,y2…
y
n
，则认为单元格y1,y2…
y
n
与单元格y是对应关系；
[0025]若为三线型表格，则按照裁剪分块后的图像命名顺序依次写入表格。
[0026]本专利技术的有益效果是：
[0027]1、本专利技术的一种基于轻量级YOLO模型的财务报表检测方法，在提取文字信息的同时，保留了财务报表的原格式，降低了后续的人力消耗，提高了工作效率。
[0028]2、本专利技术的一种基于轻量级YOLO模型的财务报表检测方法，能够智能化自动化对表格进行提取，可以存储为财务系统所需的电子化数据文档。
[0029]3、本专利技术的一种基于轻量级YOLO模型的财务报表检测方法，利用YOLO轻量级模型(YOLO V4
‑
tiny模型)作为核心识别算法，检测精度高，识别速度快，实用性较强。
[0030]4、本专利技术的一种基于轻量级YOLO模型的财务报表检测方法，具有一定的兼容性，对于各类的财务报表都能进行智能识别。
附图说明
[0031]图1为本专利技术的一种基于轻量级YOLO模型的财务报表检测方法的流程图。
[0032]图2为标准的财务报表原图像。...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，包括以下步骤：步骤一、对财务报表图像进行图像预处理；步骤二、以图像预处理后的财务报表图像作为数据集，使用YOLOV4
‑
tiny模型训练数据集；选取待检测的财务报表图像进行测试，查验待检测的财务报表图像中的表格位置的识别是否准确，是否存在漏检误检的情况；步骤三、保存并调用YOLOV4
‑
tiny模型，将待检测的财务报表图像传入训练好的YOLOV4
‑
tiny模型进行预测，获取预测坐标；步骤四、利用步骤三所得预测坐标对待检测的财务报表图像的目标区域进行裁剪分块，裁剪分块后的图像按照顺序命名为Crop1、Crop2
……
CropN，同时记录对应的图像右下角坐标；步骤五、使用open
‑
cv对待检测的财务报表图像进行校验；步骤六、提取待检测的财务报表图像中表格的横线与竖线，并利用图像减运算计算表格中的横线与竖线的交点坐标，将表格中的横线与竖线的交点坐标与步骤四中的每个图像图像右下角坐标进行比对，判断裁剪分块后的图像中的表格位置是否正确；步骤七、将待检测的财务报表图像分为：规则型表格、多对一型表格和三线型表格；步骤八、根据步骤七判断的待检测的财务报表图像类型，将步骤四中裁剪分块后的图像分别利用OCR识别算法进行文字识别，识别后的文字信息按照步骤四中的坐标依次进行输出。2.根据权利要求1所述的一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，步骤一的具体操作步骤如下：使用数据标注工具对财务报表图像中的各类单元格进行标记，财务报表图像标记数量为500张
‑
1000张，每一类单元格最少要对应标记150张财务报表图像。3.根据权利要求1所述的一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，步骤二中，所述YOLO V4
‑
tiny模型读取财务报表图像的方法为单通道读取灰度图。4.根据权利要求1所述的一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，步骤二中，将数据集划分为训练集与测试集，训练集与测试集的比例为3:7。5.根据权利要求1所述的一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，步骤二中，训练结束后选择10张
‑
15张待检测的财务报表图像进行测试。6.根据权利要求1所述的一种基于轻量级YOLO模型的财务报表检测方法，其特征在于，步骤四中，图像信息与坐标信息字典格式为{
‘
Crop(裁剪的图像名...

【专利技术属性】
技术研发人员：杨玉东，赵爽，桂东昫，任昊，田庆阳，
申请(专利权)人：长春市万易科技有限公司，
类型：发明
国别省市：