汉字点选式验证码识别方法及系统技术方案

本发明专利技术公开了汉字点选式验证码识别方法及系统，所述方法基于VGG16

【技术实现步骤摘要】
汉字点选式验证码识别方法及系统


[0001]本专利技术涉及信息安全领域，特别涉及汉字点选式验证码识别方法及系统。

技术介绍

[0002]验证码技术作为一种防止自动化脚本入侵的信息安全手段被广泛应用在各种网络平台中，点选式验证码相较于传统的输入式验证码免去了用户的键盘操作，大大地优化了人机交互体验，成为了现行主流的验证码形式之一。
[0003]验证码识别与文本识别原理类似，都是将文本图像的特征抽取，通过一定的方式转换回人类所能识别的自然语言。验证码识别技术大致可以分为检测和识别两步，首先通过检测网络定位文本在图像中的位置，然后再通过识别网络进行文本内容的识别。汉字点选式验证码有着识别目标多的特点，训练难度较大，目前大部分验证码识别方案在第二阶段采取的都是通用文本识别技术实现字符内容的识别。但随着验证码服务提供厂商的迭代优化，验证码文本日趋复杂化，除了字体本身有形变，还会增加背景噪声和色块覆盖字体等手段增强验证码反识别能力。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提供汉字点选式验证码识别方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.汉字点选式验证码识别方法，其特征在于，基于VGG16
‑
Siamese网络，包含以下步骤：模型训练步骤：通过训练标注的验证码数据获得能够实现验证码识别的模型；图像识别步骤：通过调用所述模型训练步骤得到的模型进行推理，实现验证码内容的识别，并转换为登陆场景下该验证码图像对应汉字的坐标和顺序。2.根据权利要求1所述汉字点选式验证码识别方法，其特征在于，所述模型分为检测部分和识别部分，其中检测部分采用yolov4模块实现，识别部分的模型网络使用VGG16结构作为主干网络，在此基础上与针对汉字偏旁部首特征的提取网络进行叠加输出为一个新的特征；特征传入孪生网络，最终输出一个0～1范围的标量作为结果。3.根据权利要求2所述汉字点选式验证码识别方法，其特征在于，所述模型检测和识别图像的过程如下：（1）接收到两个输入input 1和input 2，其中input 1表示汉字点选验证码的点击部图像输入，input 2表示信息部输入；（2）输入input1经过检测部分的yolov4模块进行检测，得到点击部中各个汉字的边界框坐标信息，并按照横坐标的值进行排序，分别标记为1,2,
…
,n；（3）输入input 2接受两种类型的收入：如果输入为图片，则通过检测部分的yolov4模块进行检测，得到点击部中各个汉字的边界框坐标信息，并按照横坐标的值进行排序，分别标记为1,2,
…
,m，如果输入为字符，则调用PIL库中的函数将字符转换为汉字图片，并按照输入汉字的顺序，分别1,2,
…
,m；（4）将输入input2输出的m个文字碎片进行旋转操作，得到多个方向的旋转图，分别将这四个旋转图与输入input1中输出的n个文字碎片送入VGG
‑
16
‑
Siamese网络进行相似度计算，得到n * m * [360/ω]个匹配对；对得到的结果按照相似度进行排序，对n张碎片取相似度最高的匹配对作为最终的结果输出。4.根据权利要求2所述汉字点选式验证码识别方法，其特征在于，所述模型基于VGG16
‑
Siamese网络设计，包括backbone、Radical、encoder、predictor、D1、D2六部分；backbone和Radical由多个卷积层和最大池化层构成，其用于提取单个文字图像的特征；提取特征分为整体图像和掩模图像两部分，为了融入混合尺度特征辅助识别，通过掩模得到五个高维特征图会通过一个VGG Block提取偏旁特征，与backbone提取的完整图像特征进行contact操作后送入右端的孪生网络；同时，在另一个分支上，完整图像经过Radical网络提取字形特征；Radical网络引入了...

【专利技术属性】
技术研发人员：廖万里，金卓，叶成熙，肖飞，刘金朝，
申请(专利权)人：珠海金智维信息科技有限公司，
类型：发明
国别省市：