一种基于深度学习的手写签名检索方法技术

本发明专利技术公开了一种基于深度学习的手写签名检索方法，涉及签名检测和图像检索领域，包含签名区域检测、签名区域特征学习、签名检索系统三部分，通过手写签名检测、签名区域特征提取，形成手写签名区域的最终特征描述，结合待检索签名特征进行特征比对，实现手写签名检索；本发明专利技术模仿真实漫画作品，生成中英文手写签名图片训练数据集，同时结合数据增强技术，训练手写签名检测器进行手写签名检测，准确定位签名区域；对签名检测区域进行规范化处理，提高检索准确率；通过Siamese网络学习签名区域特征，使得相似签名具有较接近的特征表示，而不相似签名学习的特征尽可能远离，最终得到的特征更具有表征性，且通过降维使得检索更加高效。高效。高效。

【技术实现步骤摘要】
一种基于深度学习的手写签名检索方法


[0001]本专利技术涉及签名检测和图像检索领域，尤其涉及一种基于深度学习的手写签名检索方法。

技术介绍

[0002]为了标识作品的版权归属和作者身份，很多画家、插画家、漫画家等艺术家会在其作品上手写签名。而随着互联网的快速发展和普及，网络已然成为了作品发布的平台，各类画家、漫画家将含有自己签名的作品上传到网络中。随着作品的多次传播，已经无法根据最初的标签信息进行作品查找，此时作品的签名成为了最佳查找方案。
[0003]目前，常见的签名检索技术包括：
[0004](1)基于模板匹配的方法；
[0005](2)使用文本检测进行签名定位，提取签名区域传统特征进行比对。
[0006]2、这些现有技术有哪些不足或缺点:
[0007]1.基于模板匹配的签名检索方法，通过提取待检索签名的特征，在海量图片中进行滑窗匹配，由于只能进行平行移动，无法应对签名发生旋转和大小的变化，且效率较低。
[0008]2.由于使用传统特征进行签名区域的特征表示，不能兼顾性能与效果。颜色直方图计算速度高，但对图像纹理和形状描述能力弱；SIFT对于旋转、尺度、亮度等具有不变性，但计算量较大，不适合实时检索。

技术实现思路

[0009]本专利技术所要解决的技术问题是针对
技术介绍
的不足提供一种基于深度学习的手写签名检索方法，其通过手写签名检测、签名区域特征提取，形成手写签名区域的最终特征描述，结合待检索签名特征进行特征比对，实现手写签名检索。
[0010]本专利技术为了解决上述技术问题采用以下技术方案：
[0011]一种基于深度学习的手写签名检索方法，包含签名区域检测、签名区域特征学习、签名检索系统三部分，具体包含如下步骤；
[0012]步骤1，模仿真实漫画作品，生成中英文手写签名图片训练数据集，同时结合数据增强技术，训练手写签名检测器进行手写签名检测，准确定位签名区域；
[0013]步骤2，对签名检测区域进行规范化处理；
[0014]步骤3，通过孪生网络学习签名区域特征，使得相似签名具有较接近的特征表示，而不相似签名学习的特征尽可能远离，得到的特征更具有表征性，实现签名特征入库和签名特征检索。
[0015]作为本专利技术一种基于深度学习的手写签名检索方法的进一步优选方案，所述签名区域检测，具体包含如下步骤；
[0016]步骤A，训练数据自动化生成；
[0017]步骤B，文本检测网络结构；
[0018]步骤C，检测结果后处理；
[0019]作为本专利技术一种基于深度学习的手写签名检索方法的进一步优选方案，所述训练数据自动化生成，具体如下：从网络获取大量漫画作品、插画作品，根据有无真实手写签名对其筛选，将不含签名的作品作为背景图片，含有签名的作品通过人工打标，作为测试集验证模型效果；采集若干手写中英文签名作为前景，进行中英文签名漫画图像生成；具体步骤如下：
[0020]步骤A1，对背景图片进行图片尺寸和极端长宽比检验，过滤无效图片以及灰度图、无法解码的图像；
[0021]步骤A2，根据签名图片，设置合适的阈值，将签名图像转为灰度图并进行二值化，添加阿尔法alpha通道后转换成透明背景的签名图片；
[0022]步骤A3，随机选择一张背景图片和签名图片，对签名图片进行随机尺寸缩放、旋转数据增强，以掩码mask的形式粘贴到背景图像上的任意区域，形成漫画签名作品；
[0023]步骤A4，遍历背景图片和签名图片，按照步骤A3生成训练图片数据，同时记录签名mask的坐标信息和角度信息，用于文本检测模型训练。
[0024]作为本专利技术一种基于深度学习的手写签名检索方法的进一步优选方案，所述文本检测网络结构，具体如下：
[0025]DBNet是一种端到端、高鲁棒、高精准的文本检测算法，网络结构如图1所示：
[0026]其中，DBNet网络中的FPN模块较为耗时，为此我司设计了一个更快的多尺度特征融合模块，基于改进的DBNet进行快速漫画签名检测；它采用跟FPN类似的结构，通过深度可分离卷积极大的减少了模型的参数和计算量，并且可以多次级联，既增强了多尺度特征融合的效果，又提升了模型的速度。
[0027]作为本专利技术一种基于深度学习的手写签名检索方法的进一步优选方案，所述检测结果后处理，具体如下：根据文本检测结果将检出签名区域进行旋转裁剪，使得签名保持在水平方向，便于后续的特征提取和检索，具体步骤如下：
[0028]步骤C1，根据矩形框的四个顶点坐标，计算中心点坐标(x
c
,y
c
)；
[0029]步骤C2，利用反正切函数arctan计算中心点与左上角(x
t,I
,y
t,l
)的连线和水平方向的夹角；其中，夹角就是矩形框的旋转角度，angle＝arctan((y
t,l
‑
y
c
)/(x
t,l
‑
x
c
))；
[0030]步骤C3，由于反正切函数是定义域是(
‑
n/2,n/2)，当左上角的点在中心点右侧时，计算出的角度是负值，需要加上180
°
，即angle＝angle+180
°
；
[0031]步骤C4，根据角度信息计算旋转矩阵，分别对原始图像和矩形框进行旋转，根据旋转后的坐标对签名区域裁剪，得到水平方向的签名。
[0032]作为本专利技术一种基于深度学习的手写签名检索方法的进一步优选方案，所述签名区域特征学习，具体包含如下步骤；
[0033]步骤D，签名特征学习网络结构；
[0034]签名特征提取使用两个相同的网络Network构成孪生Siamese结构，Network1和Network2之间共享网络参数；
[0035]其中，Network由一系列的Conv卷积、Relu激活、LRN局部响应归一化、MaxPooling最大池化构成；
[0036]步骤E，损失函数定义；
[0037]构建对比损失Contrastive Loss，如下所示：
[0038][0039]其中，f1和f2分别为图片image1和image2经过Network后的特征，lab表示两个输入图像是否为同一签名，若是则为1，否则为0；dis2(f1,f2)表示特征f1和f2之间的欧氏距离的平方；m是定义最小距离的超参，当两个不属于同一签名的特征距离大于m时，此时的样本对对模型的训练没有帮助，若小于m，则表示该样本对让模型误认为是同一类，即难负样本，需要通过优化loss函数，使得网络参数进行更新；
[0040]步骤F，训练样本制作：
[0041]根据损失函数的定义，模型优化需要若干对同一签名样本和不同签名样本，其中，同一签名样本的lab＝1，不同签名样本的lab＝0；
[0042]步骤F1，搜集同一人不同时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的手写签名检索方法，其特征在于：包含签名区域检测、签名区域特征学习、签名检索系统三部分，具体包含如下步骤；步骤1，模仿真实漫画作品，生成中英文手写签名图片训练数据集，同时结合数据增强技术，训练手写签名检测器进行手写签名检测，准确定位签名区域；步骤2，对签名检测区域进行规范化处理；步骤3，通过孪生Siamese网络学习签名区域特征，使得相似签名具有较接近的特征表示，而不相似签名学习的特征尽可能远离，得到的特征更具有表征性，基于FH自研的搜索引擎以及FH自研的签名特征数据库实现签名特征入库和签名特征检索。2.根据权利要求1所述的一种基于深度学习的手写签名检索方法，其特征在于：所述签名区域检测，具体包含如下步骤；步骤A，训练数据自动化生成；步骤B，文本检测网络结构；步骤C，检测结果后处理；3.根据权利要求2所述的一种基于深度学习的手写签名检索方法，其特征在于：所述训练数据自动化生成，具体如下：从网络获取大量漫画作品、插画作品，根据有无真实手写签名对其筛选，将不含签名的作品作为背景图片，含有签名的作品通过人工打标，作为测试集验证模型效果；采集若干手写中英文签名作为前景，进行中英文签名漫画图像生成；具体步骤如下：步骤A1，对背景图片进行图片尺寸和极端长宽比检验，过滤无效图片以及灰度图、无法解码的图像；步骤A2，根据签名图片，设置合适的阈值，将签名图像转为灰度图并进行二值化，添加阿尔法alpha通道后转换成透明背景的签名图片；步骤A3，随机选择一张背景图片和签名图片，对签名图片进行随机尺寸缩放、旋转数据增强，以掩码mask的形式粘贴到背景图像上的任意区域，形成漫画签名作品；步骤A4，遍历背景图片和签名图片，按照步骤A3生成训练图片数据，同时记录签名mask的坐标信息和角度信息，用于文本检测模型训练。4.根据权利要求2所述的一种基于深度学习的手写签名检索方法，其特征在于：所述文本检测网络结构，具体如下：DBNet是一种端到端、高鲁棒、高精准的文本检测算法，其中，DBNet中的FPN模块较为耗时，为此我司设计了一个更快的多尺度特征融合模块，基于改进的DBNet进行快速漫画签名检测；它采用跟FPN类似的结构，通过深度可分离卷积极大的减少了模型的参数和计算量，并且可以多次级联，既增强了多尺度特征融合的效果，又提升了模型的速度。5.根据权利要求2所述的一种基于深度学习的手写签名检索方法，其特征在于：所述检测结果后处理，具体如下：根据文本检测结果将检出签名区域进行旋转裁剪，使得签名保持在水平方向，便于后续的特征提取和检索，具体步骤如下：步骤C1，根据矩形框的四个顶点坐标，计算中心点坐标(x
c
，y
c
)；步骤C2，利用反正切函数arctan计算中心点与左上角(x
t，l
，y
t，l
)的连线和水平方向的夹角；其中，夹角就是矩形框的旋转角度，angle＝arctan(...

【专利技术属性】
技术研发人员：卢山，李鑫，曲宝珠，董文君，王康，
申请(专利权)人：南京烽火天地通信科技有限公司，
类型：发明
国别省市：