一种用于同一电子化签名不同字迹的细粒度分类方法及系统技术方案

本发明专利技术属于计算机视觉技术领域，公开了一种用于同一电子化签名不同字迹的细粒度分类方法及系统，主要用于同一名字，不同签名方式的分类，例如区分自然手写签名、套模签名以及机械臂临摹签名等。通过ResNet101特征提取器提取输入电子化签名图像的字迹特征图，并输入到可扩展注意力电子化签名细粒度特征的模块中。该模块可以协助模型判别一张特征图中当前字迹细粒度特征与邻近字迹特征的关系，有助于模型区分同一种签名不同字迹的子类类型。本发明专利技术提出的电子化签名字迹的细粒度分类方法优于其他最新的方法，使分类模型能够有效对不同判别性特征进行聚类，从而实现电子化签名不同字迹的高精准的分类。字迹的高精准的分类。字迹的高精准的分类。

【技术实现步骤摘要】
一种用于同一电子化签名不同字迹的细粒度分类方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种用于同一电子化签名不同字迹的细粒度分类方法。

技术介绍

[0002]电子化签名套模、机械臂临摹仿照自然手写写出与之相仿的字迹。因此套摹、机械臂临摹是两种常见签名攻击方法。套摹签名在一种非自然的状态下完成，在书写方向、压力、速度方面存在“生涩”特点；机械臂签名是在计算机控制下的动作，其书写速度、加速度、压力、书写方式等存在固有的规律性。上述两种签名攻击形成的固有特征与自然人签名的个性化特征具有众多的细粒度差别。传统的分类方法很难对上述字迹的细粒度差异进行区分。因此研究基于细粒度特征分类的电子化签名分类技术亟待发展。
[0003]现阶段的细粒度分类模型主要包括带有细粒度特征标注的强监督学习策略和无相应标注的弱监督学习策略。由于对所有的细微差异都进行标注不切实际，且人工标注也未必是最佳的细粒度判别性区域。因此，现阶段的细粒度分类方法大多采用弱监督的学习策略。电子化签名字迹的细粒度分类模型也倾向于弱监督学习策略，该策略可以在只提供字迹类别标签的条件下，更准确分类电子化签名细微字迹差异的模型。该模型通过在现有的分类网络中增加细粒度判别性模块，可以有效地区分不同类型的电子化签名。所增加判别型模块可以有效聚合弱监督条件下的未标注数据，从而提高细粒度分类模型的分类性能。
[0004]大多对细粒度图像的研究包括类别的颜色、子类别间的行为动作等，例如，对于前景类(鸟)其局部区域(头、脚、翅膀，肤色)等，都会作为具有判别性区域的子类。然而，与一般的细粒度分类数据不同，电子化签名只包括单一颜色的线条。所以，对于字迹类的判别行子类只有不同字迹线条的细粒度特征。而一般的细粒度分类模型并不会只注重单一特征的划分，因此很难区分电子化签名子字迹的细粒度差异。例如，自然手写与机械臂临摹签名在颜色和整体形态上几乎没有差别，机械臂临摹字体只有在小心翼翼比着原始字体描绘时，存在不自然的字迹线条差异。此外，套模字迹与真实字迹之间的差异非常微小，可能存在只有细微的纹理差异，形状特征几乎相同。当前的细粒度模型缺少从字迹的局部纹理差异到整体形状特征的可扩展能力，可能无法有效地捕捉这些微妙但重要的差异，导致类别间的信息丢失，影响字迹分类的准确性。
[0005]通过上述分析，现有技术存在的问题及缺陷为：传统的分类方法很难对字迹的细粒度差异进行区分。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供了一种用于同一电子化签名不同字迹的细粒度分类方法。具体为，模型根据局部特征判定与邻近特征的相关性，邻近特征继续向外扩展，判定与之邻近特征的相关性，直至遍历整张图象。
[0007]本专利技术是这样实现的，一种用于同一电子化签名不同字迹的细粒度分类方法，包括以下步骤：
[0008]S1：通过ResNet101特征提取器提取输入电子化签名图像的粗粒度特征；其中，ResNet101一共包含五个阶段的电子化签名的特征输出；
[0009]S2：将S1后三个阶段的电子化签名特征图分割大小相等的图像块，并给每个图像块赋予位置编号，用于确定每个图像块对应原始特征图的位置；
[0010]S3：将S2中带有位置编号的三个阶段的特征图，分别输入到可扩展注意力机制中；其中，可扩展注意力机制会根据当前的小块特征图向四周扩展，并根据相似度计算判定扩展到的图像块与当前块的相关性；
[0011]S4：将S3可扩展注意力的高阶输出通过上采样与相邻的前一可扩展注意层进行融合，作为每个阶段可扩展注意力的最终输出，然后将三个阶段的输出拼接到一起输入到通用分类网络模型中；
[0012]S5：通过可扩展注意力机制得到具有判别性的电子化签名细粒度特征，通用分类器根据上述细粒度特征区别不同字迹的电子化签名。
[0013]进一步，步骤S1具体包括：
[0014]将原始电子化签名图像输入特征提取器ResNet101中，其中，ResNet101一共分为5个不同的残差层，每后一层的输出更加接近语义信息且输出特征图的尺寸也逐渐变小。
[0015]进一步，步骤S2具体包括：
[0016]选择最后的三层的输出作为后续的输入，由于后三层更加接近电子化签名的语义特征，且特征图的尺寸较低，可以在较低的计算量中获得更具有价值的电子化签名特征；给定一张输入特征图x∈R C
×
H
×
W
，H和W分别表示电子化签名特征图像的高和宽；x被分成H
×
W的小块，每个小块表示图像的一个像素点，在卷积神经网络的计算中表示图像矩阵中的一个值，然后给每一个小块添加位置编码，用于记录每个小块对应原始特征图的位置。
[0017]进一步，步骤S3具体包括：
[0018]在电子化签名特征提取阶段增加可扩展注意力学习模块，可扩展注意力模块根据当前的字迹特征，不停地向外扩展学习具有共存关系的特征，有效定位出套模、机械臂临摹字迹和自然手写字迹存在的判别性差异；
[0019]可扩展注意力机制借鉴自注意力机制思想，在可扩展注意力机制中，根据当前小块不断向外延伸，并找到最相关的若干个小块，这若干个小块继续向外扩展，直到遍历完整张特征图；
[0020]记电子化签名特征图x中一个小块(即像素点)为x
q
。通过可扩展层中的偏移权值计算，得到与x
q
相邻的N个可扩展元素，N个元素属于x中的其他像素点，后通过矩阵的相似度计算，分别得到x
q
与N个元素的相关性。具体为，记W
q
表示为线性层，用于计算x
q
的权值。设和分别表示可扩展的线性层，x分别输入上述两个线性层，得到x
q
的key可扩展权值和value可扩展权值。x
q
的权值通过点积运算学习得到与key可扩展权值的相关性。最后使用softmax对相似度评分进行归一化，以聚合value可扩展点。因此，x
q
的可扩展注意力计算可以表示为：
[0021][0022]在可扩展注意力中N通常小于10。因此，每个x
q
只需要关注N个元素。
[0023]由于整个可扩展注意力机制的计算属于并行运算，因此，在对第一个采样位置进行扩展后，并不直接从所获得的N个元素计算继续向外扩展，而是计算与第一个位置相邻的点的注意力，直到遍历整张电子化签名特征图。这不仅允许模型扩展某个x
q
的特征，而且还将整张签名特征图的所有相关点逐步关联到x
q
。目的是使每个特征点不仅确定哪个特征点在同一类电子化签名自己中共存，而且哪些特征点是背景或其他字迹。综上，ExAttention(x)的计算复杂度可以由O(N
q
C2+NC2+NN
q
C)给出，其中N
q
表示x的像素点个数，N
q
>>N&本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于同一电子化签名不同字迹的细粒度分类方法，其特征在于，本技采用了ResNet101特征提取器提取电子化签名图像的粗粒度特征，然后将这些特征图分块并分配位置编号，再利用可扩展的注意力机制根据图像块的位置和内容相关性进行特征扩展和关联，最后将得到的细粒度特征通过通用分类器进行不同字迹的电子化签名识别；在特征提取、分割、关联和分类的各个步骤中充分利用了签名的形状、位置、笔画细节多方面信息，提高了电子化签名识别的准确性和鲁棒性。2.如权利要求1所述的用于同一电子化签名不同字迹的细粒度分类方法，其特征在于，包括以下步骤：S1：通过ResNet101特征提取器提取输入电子化签名图像的粗粒度特征；其中，ResNet101一共包含五个阶段的电子化签名的特征输出；S2：将S1后三个阶段的电子化签名特征图分割大小相等的图像块，并给每个图像块赋予位置编号，用于确定每个图像块对应原始特征图的位置；S3：将S2中带有位置编号的三个阶段的特征图，分别输入到可扩展注意力机制中；其中，可扩展注意力机制会根据当前的小块特征图向四周扩展，并根据相似度计算判定扩展到的图像块与当前块的相关性；S4：将S3可扩展注意力的高阶输出通过上采样与相邻的前一可扩展注意层进行融合，作为每个阶段可扩展注意力的最终输出，然后将三个阶段的输出拼接到一起输入到通用分类网络模型中；S5：通过可扩展注意力机制得到具有判别性的电子化签名细粒度特征，通用分类器根据上述细粒度特征区别不同字迹的电子化签名。3.如权利要求1所述的用于同一电子化签名不同字迹的细粒度分类方法，其特征在于，步骤S1具体包括：将原始电子化签名图像输入特征提取器ResNet101中，其中，ResNet101一共分为5个不同的残差层，每后一层的输出更加接近语义信息且输出特征图的尺寸也逐渐变小。4.如权利要求1所述的用于同一电子化签名不同字迹的细粒度分类方法，其特征在于，步骤S2具体包括：选择最后的三层的输出作为后续的输入，由于后三层更加接近电子化签名的语义特征，且特征图的尺寸较低，可以在较低的计算量中获得更具有价值的电子化签名特征；给定一张输入特征图x∈R C
×
H
×
W
，H和W分别表示电子化签名特征图像的高和宽；x被分成H
×
W的小块，每个小块表示图像的一个像素点，在卷积神经网络的计算中表示图像矩阵中的一个值，然后给每一个小块添加位置编码，用于记录每个小块对应原始特征图的位置。5.如权利要求1所述的用于同一电子化签名不同字迹的细粒度分类方法，其特征在于，步骤S3具体包括：在电子化签名特征提取阶段增加可扩展注意力学习模块，可扩展注意力模块根据当前的字迹特征，不停地向外扩展学习具有共存关系的特征，有效定位出套模、机械臂临摹字迹和自然手写字迹存在的判别性差异；可扩展注意力机制借鉴自注意力机制思想，在可扩展注意力机制中，根据当前小块不断向外延伸，并找到最相关的若干个小块，这若干个小块继续向外扩展，直到遍历完整张特征图；
记电子化签名特征图x中一个小块(即像素点)为x
q
；通过可扩展层中的偏移权值计算，得到与x
q
相邻的N个可扩展元素，N个元素属于x中的其他像素点，后通过矩阵的相似度计算，分别得到x
q
与N个元素的相关性；具体为，记W
q
表示为线性层，用于计算x
q
的权值；设和分别表示可扩展的线性层，x分别输入上述两个线性层，得到x
q
的key可扩展权值和value可扩展权值；x
q
的权值通过点积运算学习得到与key可扩展权值的相关性；最后使用softmax对相似度评分进行归一化，以聚合value可扩展点；因此，x
q
的可扩展注意力计算可以表示为：为了保证模型的泛化能力，每个像素点不止进行一次扩展，即每个像素点进行若干次偏移计...

【专利技术属性】
技术研发人员：尤新革，徐端全，辛志勐，吴天序，彭勤牧，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：