基于对抗擦除机制跨模态笔迹比对方法、系统、设备及介质技术方案

本申请提供一种基于对抗擦除机制跨模态笔迹比对方法，包括：获取纸质签名和电子手写签名作为训练数据；移除笔画边界干扰、签名周围噪点对训练数据进行预处理；基于纸质和电子签名数据构造正负样本对；采用双分支架构构建基于对抗擦除机制的深度神经网络；对深度神经网络通过通道池化操作获取正负样本对对应特征图的自注意图，选择性对特征图的有效区域进行局部擦除；由两个全连接层和一个非线性激活函数构成的二分类分类器，经前向传播，基于成对输入的手写签名推理出其属于同一人书写的概率。本申请有选择性去除掉融合特征中一部分具有判别性的信息，可采用复杂度低的模型作为跨模态笔迹识别模型，计算量较小，训练时间更短。短。短。

【技术实现步骤摘要】
基于对抗擦除机制跨模态笔迹比对方法、系统、设备及介质


[0001]本申请涉及电子签名笔迹识别技术，尤其涉及基于深度特征擦除学习跨模态笔迹比对方法。

技术介绍

[0002]跨模态笔迹比对技术是指运用不止一种形式的数据(如纸质笔迹图像，笔迹轨迹序列)进行笔迹比对，利用不同模态内容的相关性进行系统性能优化。目前，该技术仍处于早期研究阶段，仅仅存在少数方法及研究思路用于相关工作。这些方法路线大致可分为两大类：基于多模态联合特征学习、基于跨模态关系建模。基于多模态联合特征学习的方法侧重于加强不同模态特征的有效融合，这类方法通常需要设计复杂的融合网络，尽可能充分提取多模态签名数据中各个模态所蕴涵的丰富特征，并以最优方式将这些特征融合，最后将融合结果送入决策层获得最终比对结果。为了能够对多种模态信息进行特征融合，这类方法大多采用了多编码器的方法，并通过嵌入注意力模块提升识别精度，造成模型复杂度过高，计算量过大，训练时间长等问题。基于跨模态关系建模的方法主要侧重挖掘不同模态数据间的内在关联，这类方法通常使用多个特征编码器将多种模态的笔迹信息映射到同一潜在的公共特征空间，使得到的公共特征向量同时包含跨模态的信息，最后基于这些包含跨模态信息的公共特征向量用于下游的笔迹比对。为了充分捕获不同模态数据间的内在关联，这类方法通常依赖海量的多模态签名数据进行模型预训练，其次，受制于不同模态数据间的关联程度，模型在训练过程中可能出现难以收敛，优化困难等问题。
[0003]签名鉴别技术与其他生物测定技术相比，具有足够的动态信息、难模仿、区分性较高、尊重隐私权和信息获取高效性等优势，在签名特征的可搜集性、人体伤害可接受程度和鲁棒性方面都是非常突出的，有广阔的应用前景和应用价值。电子签名在银行交易、司法程序中被广泛使用。与手写中文文本不同，中文签名风格多样、缺乏语义信息、字体结构复杂、字间存在重叠，导致中文签名切字精度不佳。
[0004]现有的预训练方法或侧重于单模态任务，或侧重于多模态任务，不能有效地相互适应，只能利用单模态数据或有限的多模态数据。有人提出了统一模态预训练体系架构UNIMO，可以有效地适应单模态和多模态的理解生成任务。UNIMO利用大规模自由文本语料库和图像集来提高视觉文本理解能力，利用跨模态对比学习(CMCL)将文本和视觉信息整合到统一语义空间中，形成一个由图像和文本组成的“图像
‑
文本对”语料库。UNIMO借助丰富的非配对单模态数据，通过允许文本视觉知识在统一语义空间中相互增强，从而学习到更泛化的表示。实验表明，UNIMO在单模态和多模态下游任务上总体表现最好。
[0005]为了促进视觉和语言在不同层面上的语义对齐，在单词、短语或句子层面对图像原始标题进行重写，并创建正、负图像文本对。利用图像文本检索技术从单模态数据中获取相关的图像和文本，在跨模态学习时将其作为单模态正样本处理。UNIMO不仅在多模态任务上取得了最好的成绩，而且在单模态任务上也取得了很好的成绩。

技术实现思路

[0006]本专利技术针对跨模态笔迹比对中多模态联合特征学习方法模型复杂度过高，计算量过大，训练时间长等问题，提供了一种简单且有效的跨模态笔迹表征学习方案。
[0007]根据本申请的一方面，提供了一种基于对抗擦除机制的跨模态笔迹比对方法，包括：进行纸质签名分割获取二值化纸质手写签名图像并预处理，将预处理后的二值化纸质手写签名图像和电子签名图像成对输入特征编码器，编码输出经过高层语义特征图经过通道池化操作，获取自注意空间特征图，经过通道平均池化得到特征自注意图，基于自注意空间特征图进行阈值选择，丢弃掩膜获取丢弃掩膜Drop Mask，基于自注意空间特征图进行函数激活，得到显著特征热力图，显著特征热力图与Drop Mask进行空间点乘操作，得到纸质手写签名二值化图像的待擦除区域，将待擦除区域与高层语义特征图进行空间点乘操作，完成特征擦除得到二值化手写签名掩膜图像；以成对的二值化手写签名掩膜图像和电子签名为笔迹特征鉴定器输入，基于二元交叉熵损失确定目标损失，当损失函数收敛，完成模型训练；笔迹特征鉴定器根据特征擦除后的特征图，强制对纸质手写签名与电子签名笔迹特征是否属于同一人书写进行推断。
[0008]进一步优选，所述获取二值化纸质签名图像包括：获取包含签名的纸质签名数据和二值化签名掩膜数据，设置纸质签名数据为源域A，二值化签名掩膜数据为目标域B；深度卷积神经网络随机读取源域A、目标域B中的非成对数据作为网络输入；训练深度卷积神经网络，直至网络收敛，得到训练好的源域A到目标域B转换模型和目标域B到源域A转换模型，以纸质签名数据作为输入，经过源域A到目标域B转换模型前向传播，对纸质签名进行背景移除再二值化处理，得到二值化纸质手写签名图像。
[0009]进一步优选，所述预处理包括：移除签名周围噪点及笔画边缘噪声，对二值化纸质手写签名图像进行放缩调整至预定分辨率后，检测其中各个连通分量的轮廓，逐个遍历每个轮廓并计算各个轮廓的区域面积，对小于设定噪点面积阈值的轮廓进行零值填充，完成噪点清除；对二值化手写签名图像I
m
进行膨胀dilate和腐蚀erode操作，得到膨胀后签名掩膜图像dilate(I
m
)和腐蚀后签名掩膜图像erode(I
m
)，调用公式：I
d
＝dilate(I
m
)
‑
erode(I
m
)得到移除笔画边缘噪声后的手写签名二值化图像I
d
。
[0010]进一步优选，所述特征擦除进一步包括：以编码器输出的联合特征F∈R
H*W*C
作为输入，通过通道池化操作，生成特征自注意图M
att
∈R
H*W
；基于特征自注意图进行阈值二值化，将大于阈值的像素设为0，小于阈值的像素设为1，得到丢弃掩膜M
drop
∈R
H*W
；使用函数Sigmoid对特征自注意图进行激活，得到显著特征热力图M
imp
∈R
H*W
；将待擦除区域与编码器输出进行空间点乘操作，隐藏编码器输出特征最具有判别力的部分，得到完成特征擦除的手写签名二值化掩膜图像。
[0011]进一步优选，所述基于二元交叉熵损失确定目标损失包括：设置二元标签y
i
，计算带标签签名特征属于标签y
i
的概率p(y
i
)，以及带标签签名特征不属于标签y
i
的概率p(1
‑
y
i
)，根据公式：
[0012][0013]计算网络分支的损失，由此确定特征擦除分支损失L
erased
和特征未擦除分支损失
L
unerased
，调用公式：L
Total
＝L
unerased
+λ
erased
L
er本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗擦除机制的跨模态笔迹比对方法，其特征在于，进行纸质签名分割获取二值化纸质手写签名图像并预处理，将预处理后的二值化纸质手写签名图像和电子签名图像成对输入特征编码器，特征编码输出的高层语义特征图经过通道池化操作，获取自注意空间特征图，经过通道平均池化得到特征自注意图，基于自注意空间特征图进行阈值选择，确定并获取丢弃掩膜Drop Mask，基于自注意空间特征图进行函数激活，得到显著特征热力图，显著特征热力图与Drop Mask进行空间点乘操作，得到纸质手写签名二值化图像的待擦除区域，将待擦除区域与高层语义特征图进行空间点乘操作，完成特征擦除得到二值化手写签名掩膜图像；以成对的二值化手写签名掩膜图像和电子签名为笔迹特征鉴定器输入，基于二元交叉熵损失确定目标损失，当损失函数收敛，完成模型训练；笔迹特征鉴定器根据特征擦除后的特征图，强制对纸质手写签名与电子签名笔迹特征是否属于同一人书写进行推断。2.如权利要求1所述的跨模态笔迹比对方法，其特征在于，所述获取二值化纸质签名图像包括：获取包含签名的纸质签名数据和二值化签名掩膜数据，设置纸质签名数据为源域A，二值化签名掩膜数据为目标域B；深度卷积神经网络随机读取源域A、目标域B中的非成对数据作为网络输入；训练深度卷积神经网络，直至网络收敛，得到训练好的源域A到目标域B转换模型和目标域B到源域A转换模型，以纸质签名数据作为输入，经过源域A到目标域B转换模型前向传播，对纸质签名进行背景移除再二值化处理，得到二值化纸质手写签名图像。3.如权利要求1所述的跨模态笔迹比对方法，其特征在于，所述预处理包括：移除签名周围噪点及笔画边缘噪声，对二值化纸质手写签名图像进行放缩调整至预定分辨率后，检测其中各个连通分量的轮廓，逐个遍历每个轮廓并计算各个轮廓的区域面积，对小于设定噪点面积阈值的轮廓进行零值填充，完成噪点清除；对二值化手写签名图像I
m
进行膨胀dilate和腐蚀erode操作，得到膨胀后签名掩膜图像dilate(I
m
)和腐蚀后签名掩膜图像erode(I
m
)，调用公式：I
d
＝dilate(I
m
)
‑
erode(I
m
)得到移除笔画边缘噪声后的手写签名二值化图像Id。4.如权利要求1
‑
3其中之一所述的跨模态笔迹比对方法，其特征在于，所述特征擦除进一步包括：以编码器输出的联合特征F∈R
H*W*C
作为输入，通过通道池化操作，生成特征自注意图M
att
∈R
H*W
；基于特征自注意图进行阈值二值化，将大于阈值的像素设为0，小于阈值的像素设为1，得到丢弃掩膜M
drop
∈R
H*W
；使用激活函数Sigmoid对特征自注意图进行激活，得到显著特征热力图M
imp
∈R
H*W
；将待擦除区域与编码器输出进行空间点乘操作，隐藏编码器输出特征最具有判别力的部分，得到完成特征擦除的手写签名二值化掩膜图像，其中，R表示特征向量空间，H表示特征图的高度，W表示特征图的宽度，C表示特征图的通道个数。5.如权利要求1
‑
3其中之一所述的跨模态笔迹比对方法，其特征在于，所述基于二元交叉熵损失确定目标损失包括：设置二元标签y
i
，计算带标签签名特征属于标签y
i
的概率p(y
i
)，以及带标签签名特征不属于标签y
i
的概率p(1
‑
y
i
)，根据公式：计算网络分支的损失，由此确定特征擦除分支损失和特征...

【专利技术属性】
技术研发人员：陈双浩，覃勋辉，刘科，
申请(专利权)人：重庆傲雄在线信息技术有限公司，
类型：发明
国别省市：