【技术实现步骤摘要】
本专利技术涉及图像处理，具体为一种基于关键点检测的证卡图像自适应裁剪方法。
技术介绍
1、证卡ocr识别是指在办理涉证业务时，利用数字图像分析技术快速对证卡上的文字信息进行提取和识别，帮助录入政务审批所需的证件关键信息。证卡图像识别分析技术需要识别的证卡包括但不限于身份证、驾驶证、行驶证等。在实际工作中，由于各种复杂的环境因素和拍摄因素，导致采集到的证卡图像有可能出现姿态倾斜、形变等问题。为此，证卡图像矫正技术应运而生，证卡图像矫正技术可以帮助规范化采集证卡图像，从不规则背景中准确提取出证卡区域，使得后续的所采集到的图像更加规范标准，证卡信息识别更加准确。
2、传统证卡图像矫正方法大多采用阈值分割、边缘检测等方法来定位证卡区域，在此基础上再进行姿态矫正和裁剪。然而现有定位证卡区域方法实现简单，但是矫正效果一般，针对不同类型的证卡图像，往往需要手工设定不同的阈值，算法泛化性能不足。
技术实现思路
1、为了解决现有的证卡图像定位证卡区域方法矫正效果一般，需要人工参与，算法泛化能力不足的问题，本专利技术提供一种基于关键点检测的证卡图像自适应裁剪方法，其无需人工参与定位过程，可以快速且高精度地对证卡图像中的证卡区域进行定位。
2、本专利技术的技术方案是这样的：一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于，其包括以下步骤：
3、s1：采集证卡图像的历史数据，使用lableme工具对证卡图像的四个边缘角点进行标注，得到数据集，将数据集分为两组，分别
4、s2：基于unet模型构建证卡图像关键点检测模型；
5、所述证卡图像关键点检测模型包括：编码网络和解码网络；
6、所述编码网络包括依次连接的一个卷积层和四个轻量级残差模块，从输入到输出方向，四个所述轻量级残差模块的输出分别为输入图像的1/4、1/8、1/16和1/16，所述编码网络对输入图像的特征逐层下采样，最终输出的特征尺寸变为原始输入图像的1/16；
7、所述轻量级残差模块中包括：先后设置的一个深度可分离卷积和一个注意力模块，所述深度可分离卷积和所述注意力模块前面分别设置一个1×1的卷积层；输入到所述轻量级残差模块的特征值依次经过所述深度可分离卷积和所述注意力模块处理，得到的注意力模块输出特征与输入的特征值进行拼接操作后，再输出；
8、所述解码网络包括：先后设置的两个转置卷积deconvs2，两个转置卷积的输出分别是输入图像的1/8和1/4，两个转置卷积层deconvs2之间设置了一个卷积层，后一个转置卷积层后面设置两个连续的卷积层；所述解码网络使用反置卷积对编码网络的输出特征进行上采样，最终恢复到原始输入尺寸的1/4后，输出预测热力图；
9、s3：基于所述训练数据集训练所述证卡图像关键点检测模型，得到训练好的所述证卡图像关键点检测模型；
10、s4：对训练好的模型进行静态化导出用于工程部署；
11、s5：将待识别图像输入到训练好的所述证卡图像关键点检测模型中，输出的四个关键点对应待识别图像的证卡区域的四个角点；
12、s6：根据检测到的待识别图像的关键点，对待识别图像进行仿射变换，将待识别图像矫正到标准姿态和标准尺寸，再进行裁剪得到证卡区域的图像。
13、其进一步特征在于：
14、步骤s1中，所述标注顺序按照证卡左上角、右上角、右下角和左下角进行，最终导出为coco json格式标注文件；
15、所述编码网络使用带注意力机制的轻量级bottleneck构建，特征输入尺寸统一缩放为256x192x3，经编码网络最后输出16x12x512的特征；所述解码网络使用转置卷积实现特征尺寸还原，最后输出64x48x1的特征；
16、其还包括以下步骤：
17、所述证卡图像关键点检测模型输出所述预测热力图后，针对输入图像每个关键点记作一个特征点，分别构造对应的真值热力图；
18、真值热力图h(x,y)的构建方式为：
19、
20、其中下标k表示第k个特征点，xk和yk表示第k个特征点对应的坐标，σ为高斯核标准差；
21、步骤s3中，训练过程中，使用平均平方误差损失函数l来衡量输出的预测热力图和真值热力图的差异；
22、平均平方误差损失函数l计算公式为：
23、
24、其中，hk(x,y)表示模型预测得到的预测热力图，表示训练数据实际对应的真值热力图；
25、步骤s6中，所述标准姿态对应证卡长边缘处于水平角度，标准尺寸对应1920x1280像素。
26、本申请提供的基于关键点检测的证卡图像自适应裁剪方法，基于轻量级神经网络构建证卡图像关键点检测模型，有效级联不同尺度下的特征语义信息，实现高精度证卡图像的关键点检测，完成对证卡区域的角点的定位，整个定位过程无需人工调参；同时，编码网络中，通过设置1/4、1/8、1/16和1/16的轻量级残差模块进行下采样，以及解码网络中1/8和1/4的转置卷积进行上采样，可以提取到不同尺度下的噪声鲁棒的特征语义信息，使得最终的关键点检测结果对光照和角度变化等具有较强的抗干扰性，确保准确提取证卡图像的四个角点，进而确保裁剪出的证卡区域边缘更准确；本方法中证卡图像关键点检测模型基于语义分割任务原理构建输入输出匹配图，输出的每个特征点都具备精准的坐标信息和分类标签，可以非常高效地基于每个关键点的热力图得到待识别图像对应的四个关键点作为证卡的角点；本方法基于轻量级神经网络构构建证卡图像关键点检测模型，在模型中的编码网络使用深度可分离卷积代替传统卷积，在保证精度的前提下显著减小模型尺寸、加速推理速度，支持cpu下快速推理，本方法对硬件部署环境要求低，不依赖gpu、npu、tpu等图形加速芯片即可快速完成证卡图像关键点检测，适合低功耗、低算力的嵌入式设备部署环境，便于开发小型证卡标准化采集和识别装置。
本文档来自技高网...【技术保护点】
1.一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于，其包括以下步骤：
2.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：步骤S1中，所述标注顺序按照证卡左上角、右上角、右下角和左下角进行，最终导出为COCOJSON格式标注文件；
3.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：其还包括以下步骤：
4.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：步骤S3中，训练过程中，使用平均平方误差损失函数L来衡量输出的预测热力图和真值热力图的差异；
5.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：步骤S6中，所述标准姿态对应证卡长边缘处于水平角度，标准尺寸对应1920x 1280像素。
【技术特征摘要】
1.一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于，其包括以下步骤：
2.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：步骤s1中，所述标注顺序按照证卡左上角、右上角、右下角和左下角进行，最终导出为cocojson格式标注文件；
3.根据权利要求1所述一种基于关键点检测的证卡图像自适应裁剪方法，其特征在于：其还包括...
【专利技术属性】
技术研发人员：钱彬，黄金，晋军伟，顾席光，虞力英，
申请(专利权)人：公安部交通管理科学研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。