一种自然场景下快速、鲁棒的银行卡定位与分类方法技术

本发明专利技术涉及一种自然场景下快速、鲁棒的银行卡定位与分类方法，包括以下步骤：步骤S1：获取银行卡数据集，并对获取的银行卡数据集进行标注，为训练银行卡定位与分类模型做好准备；步骤S2：使用收集到的银行卡数据集训练银行卡定位与分类模型；步骤S3：将待检测的银行卡图像输入训练好的银行卡定位与分类模型中，利用训练好的银行卡定位与分类模型对待检测的银行卡图像进行定位与识别。本发明专利技术能够有效地对待检测图像中的银行卡进行定位与分类。

A Fast and Robust Bank Card Location and Classification Method in Natural Scene

The present invention relates to a fast and robust bank card location and classification method in natural scenes, including the following steps: acquiring bank card data sets and labeling the acquired bank card data sets to prepare for training bank card location and classification model; 2: training bank card location and classification model by using the collected bank card data sets; and 3. In the trained bank card location and classification model, the trained bank card location and classification model is used to locate and recognize the detected bank card image. The invention can effectively locate and classify bank cards in the detected image.

【技术实现步骤摘要】
一种自然场景下快速、鲁棒的银行卡定位与分类方法
本专利技术涉及深度学习与计算机视觉领域，特别是一种自然场景下快速、鲁棒的银行卡定位与分类方法。
技术介绍
自然场景中出现的文本是我们一个重要的信息来源。例如广告牌、交通标识、各类证件上的文字等，这些文本包含着明确的语义信息，为人们提供必要的指示和提醒。如果能够实现对这些文本的检测和识别就可以实现对这些场景内容的理解和分析。伴随着人类科技进步，使用机器检测并理解场景中的文本成为了一个必然的趋势。随着带有摄像头的移动设备的广泛使用以及移动支付的不断发展，人们已经开始习惯使用手机应用进行支付，如支付宝、微信支付等。银行卡卡号检测和识别技术能帮助这些支付平台的用户自动输入卡号。与人工录入卡号相比，银行卡自动检测与识别技术速度更快，精度更高，体验更好。传统方法处理自然场景下的银行卡检测依然面临一些问题，例如：无法从银行卡图像背景中将银行卡卡面分离；自然场景下的图片和视频中背景可能会非常复杂，其中很多背景元素如有着密集文字字符的书籍、与卡面颜色相似的桌面等，这些拍摄背景都可能和真实的银行卡卡面在视觉上产生混淆，导致错误的产生。拍摄的银行卡卡面倾斜变形，使用传统矩形检测方法无法确保银行卡卡面定位的准确性。现有的银行卡识别应用大都对银行卡图像的输入有比较严格的要求，如必须对准应用中固定大小的检测框进行拍摄，必须在光照条件良好的环境下进行拍摄，以便得到易于处理的卡面图像。自然场景下的银行卡定位与识别在生产生活中扮演着重要的角色，但其研究进展缓慢，其原因可以归结为三点：属于隐私数据的银行卡数据集难以收集、银行卡类别繁多和银行卡拍摄场景复杂。
技术实现思路
有鉴于此，本专利技术的目的是提出一种自然场景下快速、鲁棒的银行卡定位与分类方法，能够有效地对待检测图像中的银行卡进行定位与分类。本专利技术采用以下方案实现：一种自然场景下快速、鲁棒的银行卡定位与分类方法，包括以下步骤：步骤S1：获取银行卡数据集，并对获取的银行卡数据集进行标注，为训练银行卡定位与分类模型做好准备；步骤S2：使用收集到的银行卡数据集训练银行卡定位与分类模型；步骤S3：将待检测的银行卡图像输入训练好的银行卡定位与分类模型中，利用训练好的银行卡定位与分类模型对待检测的银行卡图像进行定位与识别。进一步地，步骤S1中具体包括以下步骤：步骤S11：采用爬虫技术获取银行卡图片并得到其所属银行卡类别；步骤S12：将采集到的银行卡图片进行分类得到类别信息，并对银行卡卡面不完整的图片进行剔除；步骤S13：对步骤S12处理后的图片进行标注；其中，所述标注具体为：对输入图片中银行卡的位置进行标定，得到位置信息，图片的位置信息和类别信息一同构成该图片的标注信息。进一步地，步骤S2具体包括以下步骤：步骤S21：所述银行卡定位与分类模型由两部分构成，前半部分为特征提取网络，用于银行卡特征提取，后半部分为多尺度特征检测网络，用于在3个不同的尺度上进行银行卡定位检测；步骤S22：训练银行卡定位与分类模型只涉及特征提取网络，通过训练特征提取网络调整特征提取网络的参数θ；根据批次输入的图片标注信息，计算损失函数Loss，Loss的计算方式如下：式中，coordinateError为坐标误差、confidenceLoss为置信度损失、classError为分类误差；i为格子的序号，j为边框的序号，S2为格子的总数，B为边界框的总数，为边界框中心坐标的预测值，为边界框宽高的预测值，为格子i的置信度预测值，为格子i的类别是c的预测值；(xi,yi)为边界框中心坐标的训练标记值，(wi,hi)为边界框宽高的训练标记值，Ci为格子i的置信度训练标记值，pi(c)为格子i的类别是c的训练标记值。表示格子i的第j个边界框内有银行卡，表示格子i的第j个边界框内没有银行卡；对于坐标误差，给它们赋予更大的损失权重，记作λcoord；对于没有物体的置信度损失，赋予更小的损失权重，记作λnoobj；对于有物体的置信度损失和分类误差，损失权重取1；如果已经达到设定的训练步数tmax，则训练完成，否则转入步骤S22；步骤S22：采用下式计算网络参数θ的梯度g：式中，m为该训练批次中包含样本的个数，k为输入向量的分量序号，x(k)为样本输入向量的第k个分量，y(k)是x(k)的对应目标，f(x(k)；θ)为当前预测函数；更新当前训练步数t←t+1；步骤S23：更新有偏一阶矩估计s，s的计算方式为：s←ρ1s+(1-ρ1)g，其中ρ1为一阶矩估计的指数衰减率；更新有偏二阶矩估计r，r的计算方式为：r←ρ2r+(1-ρ2)g⊙g，其中ρ2为二阶矩估计的指数衰减率，⊙为逐元素乘积，即Hadamard乘积；步骤S24：修正一阶矩的偏差得到修正后的一阶矩估计的计算方法为：其中，表示第t步的一阶矩估计的指数衰减率；修正二阶矩的偏差得到修正后的二阶矩估计的计算方法为：其中，表示第t步的二阶矩估计的指数衰减率；步骤S25：计算网络参数θ的更新Δθ，Δθ的计算方法为：其中ε为步长，δ则、是一个用于数值稳定的小常数，取10-8；对参数θ应用更新，使得θ←θ+Δθ；判断条件t＞tmax是否成立，成立则特征提取网络训练完成；否则返回步骤S22。进一步地，所述银行卡定位与分类模型共有106层，其中特征提取网络有53层，多尺度特征检测网络有53层。进一步地，步骤S3具体包括以下步骤：步骤S31：将待检测的输入图像尺寸调节至416×416；步骤S32：将输入图像送入步骤S2训练好的银行卡定位与分类模型的特征提取网络，得到待检测图像的银行卡相关特征向量；步骤S33：将步骤S32得到的特征向量输入银行卡定位与分类模型的多尺度特征检测网络，在特征检测网络的3个位置对3种大小的特征图应用1×1的检测，得到98个预测边界框；步骤S34：对步骤S33得到的98个预测边界框使用非极大值抑制，以修复边界框的多重检测问题；步骤S35：预测每个边界框中的银行卡类别；得到最终的银行卡位置信息与类别信息。与现有技术相比，本专利技术有以下有益效果：本专利技术构建的银行卡定位与分类方法能够提高银行卡定位于分类的准确率。本专利技术提出银行卡定位与分类模型能够学习训练样本中的泛化特征，拥有很强的模型泛化能力。由于银行卡卡面背景的多样性和复杂性，泛化能力对于银行卡定位与识别模型是非常重要的一点。该模型的颗粒度细，对小目标检测问题效果良好，能跨尺度进行目标检测。附图说明图1为本专利技术实施例的银行卡定位与分类方法原理示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1所示，本实施例提供了一种自然场景下快速、鲁棒的银行卡定位与分类方法，包括以下步骤：步骤S1：获取银行卡数据集，并对获取的银本文档来自技高网...

【技术保护点】
1.一种自然场景下快速、鲁棒的银行卡定位与分类方法，其特征在于：包括以下步骤：步骤S1：获取银行卡数据集，并对获取的银行卡数据集进行标注，为训练银行卡定位与分类模型做好准备；步骤S2：使用收集到的银行卡数据集训练银行卡定位与分类模型；步骤S3：将待检测的银行卡图像输入训练好的银行卡定位与分类模型中，利用训练好的银行卡定位与分类模型对待检测的银行卡图像进行定位与识别。

【技术特征摘要】
1.一种自然场景下快速、鲁棒的银行卡定位与分类方法，其特征在于：包括以下步骤：步骤S1：获取银行卡数据集，并对获取的银行卡数据集进行标注，为训练银行卡定位与分类模型做好准备；步骤S2：使用收集到的银行卡数据集训练银行卡定位与分类模型；步骤S3：将待检测的银行卡图像输入训练好的银行卡定位与分类模型中，利用训练好的银行卡定位与分类模型对待检测的银行卡图像进行定位与识别。2.根据权利要求1所述的一种自然场景下快速、鲁棒的银行卡定位与分类方法，其特征在于：步骤S1中具体包括以下步骤：步骤S11：采用爬虫技术获取银行卡图片并得到其所属银行卡类别；步骤S12：将采集到的银行卡图片进行分类得到类别信息，并对银行卡卡面不完整的图片进行剔除；步骤S13：对步骤S12处理后的图片进行标注；其中，所述标注具体为：对输入图片中银行卡的位置进行标定，得到位置信息，图片的位置信息和类别信息一同构成该图片的标注信息。3.根据权利要求1所述的一种自然场景下快速、鲁棒的银行卡定位与分类方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：所述银行卡定位与分类模型由两部分构成，前半部分为特征提取网络，用于银行卡特征提取，后半部分为多尺度特征检测网络，用于在3个不同的尺度上进行银行卡定位检测；步骤S22：训练银行卡定位与分类模型只涉及特征提取网络，通过训练特征提取网络调整特征提取网络的参数θ；根据批次输入的图片标注信息，计算损失函数Loss，Loss的计算方式如下：式中，coordinateError为坐标误差、confidenceLoss为置信度损失、classError为分类误差；i为格子的序号，j为边框的序号，S2为格子的总数，B为边界框的总数，为边界框中心坐标的预测值，为边界框宽高的预测值，为格子i的置信度预测值，为格子i的类别是c的预测值；(xi,yi)为边界框中心坐标的训练标记值，(wi,hi)为边界框宽高的训练标记值，Ci为格子i的置信度训练标记值，pi(c)为格子i的类别是c的训练标记值。表示格子i的第j个边界框内有银行卡，表示格子i的第j个边界框内没有银行卡；对于坐标误差，给它们赋予更大的损失权重，记作λcoord；对于没有物体的置信度损失，赋予...

【专利技术属性】
技术研发人员：柯逍，刘诗勤，牛玉贞，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35