一种图标点选验证码识别方法技术

本发明专利技术公开了一种图标点选验证码识别方法，包括：获取验证码图片；采用目标检测模型进行检测，获得所有图标的位置矩形框；根据位置矩形框裁剪出各图标对应的子图并统一尺寸；利用图像相似度计算模型分别计算每个统一尺寸后的子图与候选图标的相似度，形成相似度矩阵；在相似度矩阵中查找相似度最大值，当查找到相似度最大值后记录位置作为当前行列所对应的候选图标和统一尺寸后的子图的最佳匹配结果，并删除当前相似度最大值所在行和列以更新相似度矩阵，循环执行，直至完成全部行或全部列的查找；根据候选图标顺序对全部记录位置进行点选完成验证码识别。能够快速定位图标并计算图标之间的相似度，实现点选图标验证码的快速识别，提高工作效率。提高工作效率。提高工作效率。

【技术实现步骤摘要】
一种图标点选验证码识别方法


[0001]本专利技术属于目标识别
，具体涉及一种图标点选验证码识别方法。

技术介绍

[0002]验证码是用于保障网络信息安全的一种重要手段，是兼顾了良好的安全性和较佳的用户体验的一种优秀的验证码设计方案，正被广泛应用于各种网站。
[0003]然而在流程自动化技术高度发达的今天，图标点选验证码对机器来说仍具有很大的挑战，成为了很多自动化流程中的效率瓶颈和疑难点，如果这一环节能够被自动快速识别，无疑会大大提高自动化流程的运行效率，加强碎片化流程之间的连接。因此，针对非恶意的程序和流程，图标点选验证码的快速识别方法研究有重要的意义。

技术实现思路

[0004]本专利技术的目的在于针对上述问题，提出一种图标点选验证码识别方法，能够快速定位图标并计算图标之间的相似度，选择正确的图标及顺序，提高工作效率。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]本专利技术提出的一种图标点选验证码识别方法，包括如下步骤：
[0007]S1、获取验证码图片；
[0008]S2、采用目标检测模型对验证码图片进行检测，获得验证码图片中所有图标的位置矩形框；
[0009]S3、根据获得的位置矩形框裁剪出各图标对应的子图并统一尺寸；
[0010]S4、利用图像相似度计算模型分别计算每个统一尺寸后的子图与验证码图片中候选图标的相似度，形成相似度矩阵；
[0011]S5、在相似度矩阵中查找相似度最大值，当查找到相似度最大值后记录位置作为当前行列所对应的候选图标和统一尺寸后的子图的最佳匹配结果，并删除当前相似度最大值所在行和列以更新相似度矩阵，循环执行，直至完成相似度矩阵全部行或全部列的查找；
[0012]S6、根据验证码图片中候选图标的顺序，对全部记录位置进行点选操作完成验证码识别。
[0013]优选地，目标检测模型为YOLOv5n模型。
[0014]优选地，图像相似度计算模型为孪生神经网络结构，孪生神经网络结构包括两个并行的特征提取网络、一个第一全连接层、一个ReLU非线性激活层和一个第二全连接层，并执行如下操作：
[0015]将统一尺寸后的子图与验证码图片中候选图标一一对应输入两个并行的特征提取网络获得对应的输出特征；
[0016]将各特征提取网络的输出特征进行扁平化处理后计算差值绝对值；
[0017]将差值绝对值依次经过第一全连接层、ReLU非线性激活层和第二全连接层，获得统一尺寸后的子图与验证码图片的相似度。
[0018]优选地，第一全连接层的输入维度为1024，输出维度为32，第二全连接层的输入维度为32，输出维度为1。
[0019]优选地，特征提取网络采用改进VGG网络，改进VGG网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第三最大池化层、第五卷积层、第六卷积层和第四最大池化层，且每个卷积层的输出端还依次连接有BN层和ReLU非线性激活层。
[0020]优选地，特征提取网络的输入特征图尺寸为32*32*3，第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第三最大池化层、第五卷积层、第六卷积层和第四最大池化层的输出特征图尺寸依次对应为32*32*64、16*16*64、16*16*128、8*8*128、8*8*256、8*8*256、4*4*256、4*4*256、4*4*256、2*2*256。
[0021]优选地，各最大池化层满足池化核尺寸pool size＝2，步长stride＝2。
[0022]优选地，第一卷积层的滤波器尺寸为3*3*3*64，第二卷积层的滤波器尺寸为3*3*64*128，第三卷积层的滤波器尺寸为3*3*128*256，第四卷积层的滤波器尺寸为3*3*256*256，第五卷积层的滤波器尺寸为3*3*256*256，第六卷积层的滤波器尺寸为3*3*256*256。
[0023]优选地，对全部记录位置进行点选操作，采用Selenium自动化测试工具，用于模拟鼠标点击事件。
[0024]与现有技术相比，本专利技术的有益效果为：
[0025]该方法首先通过目标检测模型来预测验证码图片中的图标位置矩形框，然后依据位置矩形框裁剪出小图标，统一尺寸后分别送入基于孪生网络的图像相似度计算模型中，与验证码图片中的候选图标进行相似度计算，得到相似度矩阵后，通过循环查找最大值并删除所在行列的方式得到小图标和候选图标的最佳匹配结果，通过采用轻量化的图像相似度计算模型，能够快速计算图标之间的相似度，精准实现图标匹配，进而实现点选图标验证码的快速识别，选择正确的图标及顺序，提高工作效率。
附图说明
[0026]图1为本专利技术图标点选验证码识别方法的流程图；
[0027]图2为本专利技术验证码图片示意图；
[0028]图3为本专利技术下载的图标点选验证码完整图片示意图；
[0029]图4为本专利技术图标相似度矩阵示意图。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语均属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
[0032]如图1
‑
4所示，一种图标点选验证码识别方法，包括如下步骤：
[0033]S1、获取验证码图片。如图2所示，当网页弹出点选图标验证码的界面，用户需按照提示顺序点击相应图标完成验证。通过检查网页图片元素得到图片URL链接，下载图片后得到如图3所示的完整图片，包括上下两部分，上半部分是网页中显示的验证码背景部分，下半部分有4行图标，第一行图标即给出了正确的图标顺序，使用图片上半部分输入目标检测模型进行图标检测，得到图片中所有图标的位置矩形框。
[0034]S2、采用目标检测模型对验证码图片进行检测，获得验证码图片中所有图标的位置矩形框。
[0035]在一实施例中，目标检测模型为YOLOv5n模型。或还可采用现有技术中的其他目标检测模型，在此不再赘述。
[0036]S3、根据获得的位置矩形框裁剪出各图标对应的子图并统一尺寸。以得到的位置矩形框为依据进行裁剪，裁剪出每个图标对应的子图，然后对各子图统一尺寸。
[0037]S4、利用图像相似度计算模型分别计算每个统一尺寸后的子图与验证码图片中候选图标的相似度，形成相似度矩阵。
[0038]在一实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图标点选验证码识别方法，其特征在于：所述图标点选验证码识别方法包括如下步骤：S1、获取验证码图片；S2、采用目标检测模型对验证码图片进行检测，获得验证码图片中所有图标的位置矩形框；S3、根据获得的位置矩形框裁剪出各图标对应的子图并统一尺寸；S4、利用图像相似度计算模型分别计算每个统一尺寸后的子图与验证码图片中候选图标的相似度，形成相似度矩阵；S5、在相似度矩阵中查找相似度最大值，当查找到相似度最大值后记录位置作为当前行列所对应的候选图标和统一尺寸后的子图的最佳匹配结果，并删除当前相似度最大值所在行和列以更新相似度矩阵，循环执行，直至完成相似度矩阵全部行或全部列的查找；S6、根据验证码图片中候选图标的顺序，对全部记录位置进行点选操作完成验证码识别。2.如权利要求1所述的图标点选验证码识别方法，其特征在于：所述目标检测模型为YOLOv5n模型。3.如权利要求1所述的图标点选验证码识别方法，其特征在于：所述图像相似度计算模型为孪生神经网络结构，所述孪生神经网络结构包括两个并行的特征提取网络、一个第一全连接层、一个ReLU非线性激活层和一个第二全连接层，并执行如下操作：将统一尺寸后的子图与验证码图片中候选图标一一对应输入两个并行的特征提取网络获得对应的输出特征；将各特征提取网络的输出特征进行扁平化处理后计算差值绝对值；将差值绝对值依次经过第一全连接层、ReLU非线性激活层和第二全连接层，获得统一尺寸后的子图与验证码图片的相似度。4.如权利要求3所述的图标点选验证码识别方法，其特征在于：所述第一全连接层的输入维度为1024，输出维度为32，所述第二全连接层的输入维度为32，输出维度为1。5.如权利要...

【专利技术属性】
技术研发人员：池凯凯，金鑫豪，黄亮，张书彬，魏欣晨，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：