基于图像的银行卡识别方法及装置制造方法及图纸

本发明专利技术提供一种基于图像的银行卡识别方法及装置，该方法包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。本发明专利技术无需用户在拍摄银行卡图像时，需要边框与高度对齐的高度配合，也能清楚识别出银行卡的卡号，提高了用户体验度。

【技术实现步骤摘要】
基于图像的银行卡识别方法及装置
本专利技术涉及图像信息识别
，特别是涉及一种基于图像的银行卡识别方法及装置。
技术介绍
随着互联网金融的发展，在线金融业务(譬如支付，理财等)获得越来越广泛的应用需求。对于个人消费者而言，在线金融业务交易时的安全性与便捷性直接影响着其用户体验。银行卡号搭配密码的方式，因为具有较高的安全性，成为一种被普遍接受的在线交易方式。但是银行卡号往往较为冗长，其所在的银行卡背景常常较为复杂，手工输入银行卡号需要用户反复辨认多次校正，因此通过机器学习自动从银行卡图像中识别出银行卡号，成为一种提升该在线交易方式便捷性的有效手段，逐步受到关注。现有基于图像的银行卡识别方法通常包含三个步骤，步骤1，在银行卡图像中，定位出卡号行；步骤2，在卡号行中，定位出各个字符；步骤3，识别各个字符，根据各个字符的识别结果获得银行卡号。步骤1中卡号行定位，及步骤2中字符定位，是银行卡识别的难点。因为银行卡的背景常常比较复杂，特别是对于卡号行呈现出凹凸感的银行卡图片，卡号和背景的颜色和亮度是一样的，和背景的差别仅仅体现在卡号存在凹凸效果。现有的银行卡识别方法在上述步骤1与2中多采用用户配合式的银行卡拍摄方式及以银行卡版式规则作为先验信息来进行卡号定位。譬如，在卡号行定位阶段，现有的银行卡识别方法会提供给用户一个带有长方形边框的银行卡图片拍摄界面(长方形边框的长宽比和目前主流的银行卡长宽比一致)，提示用户在拍摄银行卡时使其四边和界面中长方形边框的四边对齐，之后再根据卡号行在银行卡中的位置先验信息，从长方形边框内的图像中截取相应位置的区域作为卡号行。而在字符定位阶段，先以字符和银行卡左右边界的相对位置作为先验信息定位出各个字段(目前的银行卡中，卡号行中各字符或者是连续无间隔排列的一个字段，或者是分隔成几个字段，每个字段存在一定间隔)，再在字段内或者进行平均切分，或者结合卡号行区域边缘图的水平投影极小值点定位出字段内各个字符的左右边界。然而，现有的方法对于符合预先定义的版式规则的银行卡是有效的，但是其有效的前提是往往需要用户在拍摄时使银行卡四边和界面中的长方形边框四边高度对齐，这在实际拍摄中需要用户长时间的调整和定位，影响了用户体验。同时，现有的方法只能处理有限版式规则的银行卡，无法进行方便的扩展。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于图像的银行卡识别方法及装置，用于解决现有技术中拍摄银行卡图像需要边框与高度对齐，如不达要求效果不佳，影响用户体验的问题。为实现上述目的及其他相关目的，本专利技术提供一种基于图像的银行卡识别方法，包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果本专利技术的另一目的在于提供一种基于图像的银行卡识别装置，包括：第一定位模块，用于获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；第二定位模块，用于根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；识别模块，用于识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。如上所述，本专利技术的基于图像的银行卡识别方法及装置，具有以下有益效果：本专利技术提供了一种基于统计机器学习自动定位复杂背景下银行卡号字符区域的算法，无需用户在拍摄银行卡图像时，需要边框与高度对齐的高度配合，也能清楚识别出银行卡的卡号，提高了用户体验度。附图说明图1显示为本专利技术提供的一种基于图像的银行卡识别方法流程图；图2显示为本专利技术提供的一种基于图像的银行卡识别方法中步骤S1的步骤流程图；图3显示为本专利技术提供的一种基于图像的银行卡识别方法中步骤S1.2的步骤流程图；图4显示为本专利技术提供的一种基于图像的银行卡识别方法中步骤S2的步骤流程图；图5显示为本专利技术提供的一种基于图像的银行卡识别方法中步骤S3的步骤流程图；图6显示为本专利技术提供的一种基于图像的银行卡识别装置结构图；图7显示为本专利技术提供的一种基于图像的银行卡识别装置中第一定位模块结构框图；图8显示为本专利技术提供的一种基于图像的银行卡识别装置中卡号选择单元结构框图；图9显示为本专利技术提供的一种基于图像的银行卡识别装置中第二定位模块结构框图；图10显示为本专利技术提供的一种基于图像的银行卡识别识别装置中识别模块结构框图；图11显示为本专利技术提供的一种基于图像的银行卡识别方法中滑窗搜索的示例图。元件标号说明：1第一定位模块2第二定位模块3识别模块11候选区域搜索单元12卡号选择单元121卡号行选择子单元122卡号行筛选子单元123基线确定子单元21字符边界生成单元22第一判断单元23第二判断单元31第一识别单元32字符定位单元33第二识别单元具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，为本专利技术提供的一种基于图像的银行卡识别方法流程图，包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。在本实施例中，用户在拍摄包含银行卡图像时，无需按照以往经验，特定的对齐银行卡的边框和高度，减少了拍摄时调整与定位的时间，提高了用户的体验度；同时，提出了一种基于统计机器学习自动定位复杂背景下银行卡号字符区域的算法，可精准的识别出复杂背景下银行卡号。请参阅图2，为本专利技术提供的一种基于图像的银行卡识别方法中步骤S1的步骤流程图，包括：步骤11，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；其中，使用宽高比为1：4，高度分别为32，48，64的矩形窗口作为滑动窗口，以本文档来自技高网...

【技术保护点】
1.一种基于图像的银行卡识别方法，其特征在于，包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

【技术特征摘要】
1.一种基于图像的银行卡识别方法，其特征在于，包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。2.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤1包括：步骤1.1，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；步骤1.2，根据卡号字段候选区域在竖直方向的重叠率获取卡号行的候选区域，结合卡号行的候选区域的形状与纹理特征在候选区域选择出卡号行。3.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤1.2包括：计算任意两个卡号字段候选区域在竖直方向的重叠率，筛选重叠率大于75％的卡号字段候选区域为候选区域组；选择所述候选区域组中最小矩形区域为卡号行的候选区域；将卡号行的候选区域沿水平方向分割得到多个子区域，利用gaborfilter得到每个子区域的文本纹理特征；基于每个子区域的文本纹理特征采用分类器获取每个卡号行候选区域为卡号行文本的置信度，筛选置信度最高的卡号行候选区域为卡号行；利用文本行基线检测器中canny边缘检测算法检测卡号行区域横向笔画，根据hough变换从横向笔画中得到卡号行的上、下基线候选区域，计算该基线所在位置的纹理变化特征作为分类器的输入，筛选置信度最高的上、下基线候选区域为卡号行的上、下基线。4.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤2包括：根据字符间纹理特征与字段间纹理特征分别定位字段内部与字段边界的字符边界；其中，采用canny边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，选择边缘图竖直投影的极小值点构成字符边界候选池；在所述字符边界候选池左右两边区域中计算该候选的字符间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段内部的字符边界，该字符间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征；在所述字符边界候选池左右两边区域中计算该候选的字段间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段边界的字符边界，该字段间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征。5.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤3包括：采用单字分类器识别各个字符的候选区域，获得各个字符候选区域的识别置信度；其中，所述单字分类器为google-net结构的神经网路；利用光学字符识别技术从字符候选区域生成一系列字符定位路径；根据每条字符定位路径中各字符的识别置信度均值，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。6.一种基于图像的银行卡识别装置，其特征在于，包括：第一定位模块，用于获取银行卡图像中卡号的所在区域，根据...

【专利技术属性】
技术研发人员：周曦，许梅芳，
申请(专利权)人：上海云从企业发展有限公司，
类型：发明
国别省市：上海,31