一种行驶证检测方法和系统技术方案

本发明专利技术公开了一种行驶证检测方法和系统，包括：基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及夹角θ；根据中心点、长度、宽度和夹角，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；定位校正后的行驶证外框区域上的行驶证信息。本发明专利技术能够提高行驶证以及行驶证信息检测的准确率，解决了旋转目标的死角或者临界点出现较大偏差的问题。出现较大偏差的问题。出现较大偏差的问题。

【技术实现步骤摘要】
一种行驶证检测方法和系统


[0001]本专利技术涉及行驶证检测
，具体而言涉及一种行驶证检测方法和系统。

技术介绍

[0002]行驶证识别代替手工录入驾驶证信息，提升速度，拉高办事效率，并且人工录入错误率也较高。目前的行驶证识别主要采用OCR识别技术，对图像信息进行分析管理，即可将行驶证信息完整的识别出来，识别率高，速度快，并能将采集的图像及头像一并保存下来以便后期核对。它能精确的把识别结果传送到指定的业务系统保存及处理，对业务人员高效的办理行驶证录入相关业务有着积极的意义。
[0003]然而传统的针对扫描文档的OCR方法很难做到复杂场景中的文字识别，现有的场景文字识别方法对于场景单一并且对于没有畸变的图像有不错的识别效果。但是对于像行驶证这样的自然目标，存在着扭曲的情况，其识别效果很差。
[0004]因此，有技术人员提出了一些针对行驶证图像的校正方法。例如，专利号为CN110569801A的专利技术中提出一种行驶证关键内容识别方法，对行驶证正页、副页图像区域进行朝向校正、倾斜校正、倒立校正；通过实现行驶证关键内容的自动化识别，可以提高业务办理和管理等应用的效率，确保信息准确性，节省人力和时间。还有部分技术人员提出了采用旋转目标检测的方式，常见的旋转边界框的定于有两种：1)采用的opencv表示法：(x,y,h,w,θ)进行表示，坐标(x,y)代表标注框的几何中心，与x轴正方向角度绝对的边作为宽度w,两一个边作为高度h,角度θ是边界框的宽度w沿X轴逆时针旋转的角度，这个角度的范围是[
‑
90
°
,0)，如图1所示。2)采用长边表示法：(x,y,h,w,θ)进行表示，坐标(x,y)代表标注框的几何中心，高度h代表标注框的短边，宽度w代表标注框的长边，角度θ是边界框的长边沿X轴旋转的正向角度，这个角度的范围是[
‑
90
°
,90
°
)，如图2所示。例如，专利号为CN112464852A的专利技术中提出一种车辆行驶证图片自适应矫正与识别方法，通过对行驶证进行拍摄，对拍摄得到的图片使用深度神经网络定位红章，基于红章位置状态对行驶证正页进行矫正和提取，并基于霍夫变换采用多种自定义算法对行驶证正页进行处理，使用Tesseract
‑
OCR引擎对行驶证信息进行识别。但是，在当前常用的旋转检测框的角度定义下，由于存在旋转角度的边界问题，会产生不必要的损失，也就存在了定位不准确的问题。

技术实现思路

[0005]本专利技术针对现有技术中的不足，提供一种行驶证检测方法和系统，结合深度学习和传统图像处理方法，以及重新定义旋转边界框的方式，提高行驶证以及行驶证信息检测的准确率，解决了旋转目标的死角或者临界点出现较大偏差的问题，可以代替人工检测，有效地克服人工检测的低效率与可靠性差等缺陷，从而使行驶证检测工作客观化、规范化和智能化。使交通管理单位能更好的管理车辆。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]第一方面，本专利技术实施例提出了一种行驶证检测方法，所述行驶证检测方法包括
以下步骤：
[0008]S1，获取行驶证图像；
[0009]S2，基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值、短边的长度值以及长边与x轴的夹角θ；
[0010]S3，根据中心点、宽高和旋转角度，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；
[0011]S4，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；
[0012]S5，定位校正后的行驶证外框区域上的行驶证信息。
[0013]进一步地，步骤S2中，基于深度神经网络构建外框预测模型的过程包括以下步骤：
[0014]S21，将获取的一定量的不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像作为训练样本；
[0015]S22，采用多边形框在样本图像上标记行驶证外框的四个角点；
[0016]S23，根据所述标记的行驶证外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，将最小外界矩形的四个角点由左上角(x1,y1)开始顺时针方向排序(x1、y1、x2、y2,x3,y3,x4,y4)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个行驶证外界矩形框坐标组(x1、y1、x2、y2,x3,y3,x4,y4)；
[0017]S24，得到所有图片对应的txt文件之后，将所有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和行驶证图像以及和图片同名的txt构成的数据集，训练基于深度神经网络构建得到的外框预测模型；
[0018]S25，利用训练完成的外框预测模型对步骤S1中获取的行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及长边与x轴的夹角θ，0
°
<＝θ<360
°
；根据中心点、宽高和角度，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点。
[0019]进一步地，步骤S4中，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域的过程包括以下步骤：
[0020]S31，根据步骤S25中预测得到的行驶证外框的四个角点，计算透视变换后的行驶证外框为矩形的四个角点arr_pt；
[0021]S32，根据步骤S25中预测得到的行驶证外框的四个角点及步骤S31中得到的四个角点的坐标得到透视矩阵；
[0022]S33，根据透视矩阵，对行驶证图像进行透视校正，得到校正后的行驶证图像；
[0023]S34，截取四个角点arr_pt在校正后的行驶证图像上的所在区域得到行驶证外框区域，且所截取出的行驶证外框区域为水平矩形，长边为宽，短边为高。
[0024]进一步地，步骤S5中，采用旋转目标检测深度学习网络定位校正后的行驶证外框区域上的行驶证信息。
[0025]进一步地，所述定位校正后的行驶证外框区域上的行驶证信息的过程包括以下步骤：
[0026]S51，根据步骤S22中标记的行驶证外框的四个角点，利用步骤3中的透视校正方法来截取的行驶证外框区域，作为训练行驶证信息的数据集；
[0027]S52，根据透视校正矩阵，计算出标记行驶证信息相对于校正后的行驶证外框区域的四个角点坐标值；
[0028]S53，使用步骤S51中训练行驶证信息的数据集和旋转目标检测深度学习网络进行训练，获得行驶证信息位置检测模型；
[0029]S54，利用得到的行驶证信息位置检测模型预测行驶证信息的位置。
[0030]进一步地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行驶证检测方法，其特征在于，所述行驶证检测方法包括以下步骤：S1，获取行驶证图像；S2，基于深度神经网络构建外框预测模型，该外框预测模型用于对行驶证图像进行预测，得到行驶证外框的中心点坐标、长边的长度值、短边的长度值以及长边与x轴的夹角θ；S3，根据中心点、长边的长度值、短边的长度值和夹角θ，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点坐标；S4，根据行驶证外框的四个角点使用透视校正函数校正图像，以得到校正后的行驶证外框区域；S5，定位校正后的行驶证外框区域上的行驶证信息。2.根据权利要求1所述的行驶证检测方法，其特征在于，步骤S2中，基于深度神经网络构建外框预测模型的过程包括以下步骤：S21，将获取的一定量的不同拍照场地环境、不同光照和不同倾斜角度的行驶证图像作为训练样本；S22，采用多边形框在样本图像上标记行驶证外框的四个角点；S23，根据所述标记的行驶证外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，将最小外界矩形的四个角点由左上角(x1,y1)开始顺时针方向排序(x1、y1、x2、y2,x3,y3,x4,y4)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个行驶证外界矩形框坐标组(x1、y1、x2、y2,x3,y3,x4,y4)；S24，得到所有图片对应的txt文件之后，将所有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和行驶证图像以及和图片同名的txt构成的数据集，训练基于深度神经网络构建得到的外框预测模型；S25，利用训练完成的外框预测模型对步骤S1中获取的行驶证图像进行预测，得到行驶证外框的中心点坐标(out_x、out_y)、长边的长度值out_w、短边的长度值out_h以及夹角θ，0
°
<＝θ<360
°
；根据中心点、长边的长度值、短边的长度值和夹角θ，得到一个包含行驶证的外界矩形框，计算得到矩形框的四个角点。3.根据权利要求2所述的行驶证检测方法，其特征在于，步骤S4中，根据行驶证外框的...

【专利技术属性】
技术研发人员：孙茂芬，张铁监，叶剑，汪洋，
申请(专利权)人：多伦科技股份有限公司，
类型：发明
国别省市：