【技术实现步骤摘要】
本专利技术属于图像处理、人工智能和签名身份鉴定等，具体涉及一种基于跨层弱监督与学习的多模态离线签名鉴定方法。
技术介绍
1、签名作为个人姓名的独特手写表示或标记，由于其使用简单，长时间以来被广泛的用在银行支票、合同签署、商贸交易等场景下，受法律承认与保护。现有的鉴定方法依赖于笔迹鉴定专家，鉴定过程复杂且耗时较长，同时具有滞后性与被动性，只有受到损失后受害人才会对伪造签名进行认证获取证据，而难以提前认证来规避损失。所以一种基于计算机完成的自动签名鉴定方法具有重要的应用价值，即能对笔迹鉴定专家提供辅助作用，又能对冒充他人身份签名等行为进行主动查验与预防，为人们的日常生活提供更高的安全保障。
2、随着电子化的普及，签名的承载实体不仅局限于纸质文书，还包括了各类电子设备，书写工具包含了传统笔具、电容笔、手指等各类材质，由此产生了不同模态的签名数据。受数位板、平板、智能手机等电子设备的硬度、采样率、灵敏度等因素的影响，同一人的电子签名笔迹与普通签名笔迹在笔画基本形态特征、笔画交叉特征、连笔特征上呈现出了不同的特点。所以我们需要一个能够解决多模态间相互认证的离线签名鉴定算法应对现有问题。传统的离线签名鉴定方法以精巧的设计手动提取特征计算签名间的相似性，如几何特征、纹理特征、方向与梯度特征，其鲁棒性价差适用范围小，由于深度神经网络在各类任务中展现出极强的特征提取能力，利用神经网络从数据自主学习签名表征成为了解决跨模态签名鉴定问题的优选方案。
3、现有基于深度学习的离线签名认证方法以深层语义信息作为判别依据，忽略了对浅层
技术实现思路
1、为了克服现有技术的不足，本专利技术提供了一种基于跨层弱监督学习的多模态离线签名鉴定方法，解决上述问题并且实现同模态签名的鉴定任务与签名跨模态一致性鉴定任务。
2、为达到上述目的，本专利技术提出以下技术方案：
3、一种基于跨层弱监督学习的多模态离线签名鉴定方法，包括以下步骤：
4、步骤1，多模态签名图像的采集与处理；
5、步骤2，以用户签名样本对作为最小单元构建多模态训练数据集合；
6、步骤3，构建跨层交互的弱监督数据增强网络模型并训练，所述网络模型包括跨层特征提取模块、判别模块、弱监督定位模块、注意力引导模块和训练控制器；
7、步骤4：优化网络模型，包括模型参数稀疏化与多余模块去除。在鉴定过程中网络模型仅包含特征提取模块与单个判别模块；
8、步骤5：使用步骤1中所述的图像处理流程处理待鉴定签名图像和参考签名图像，使用训练好的优化模型判断待鉴定签名与参考签名是否来自同一用户。
9、进一步，所述步骤1中，图像处理流程如下：
10、步骤1.1，将签名图像转换为灰度图，使用otsu二值化算法将签名背景区域像素值置为255，签名部分像素值置为0；
11、步骤1.2，获取签名主体质心并选取包含主要灰度值的区域，将原始图像的点在质心坐标系的位置经过仿射变换至幕布中心坐标系中，非离散位置的值采用插值进行填补，最终保证所有输入图像长宽保持一致；。
12、步骤1.3，使用hilditch算法完成签名主体细化，提取签名骨架信息作为数据增强。
13、再进一步，所述步骤2中，多模态训练数据集合的构建，用于训练的最小数据单元为签名样本对，一方作为参考签名，一方作为待鉴定签名；签名样本具有两种模态：使用铅笔、钢笔、签名笔在纸质材料上书写的签名的扫描图像，在此简称为纸质签名图像；使用电容笔、电磁笔、手指在电子屏幕上书写的签名的数字图像，在此简称为电子签名图像，构建过程如下：以每个用户的真实签名和真实签名样本对集合作为正样本；每个用户真实签名和熟练伪造签名样本对集合、真实签名和其余用户的任意签名样本对集合作为负样本，构建训练数据集合，每个签名样本具有两种模态，即纸质签名图像与电子签名图像；
14、更进一步，所述步骤3，跨层交互的弱监督数据增强网络模型包括:
15、跨层特征提取模块，该模块是一个基于cnn的孪生网络架构，所述结构包含两个共享参数的分支，每个分支由五个级联的基础卷积层组成，每个基础卷积层包含两个具有relu激活函数的卷积层与bn层，除最后一个模块外还包含一个最大池化层。最终输出为后三个基础卷积层计算出的签名特征组合；
16、判别模块，该模块的数量为三，分别针对步骤3中所述的跨层征提取模块输出的后三层特征向量(xi,r1),i＝1,2,3，记为判别模块1，判别模块2，判别模块3，每个判别模块包含：特征融合模块、基于注意力的双线性池化模块和一个基于全连接层的分类器，计算过程如下：
17、步骤3.1，通过特征融合模块计算得到共有关系向量ei，每个共有关系向量包含一组签名特征对比线索的特征通道。基于全连接层的分类器根据ei计算待鉴定签名与参考签名来自于同一用户的测概率pi：
18、
19、pi＝softmax(wif(ei)+bi)
20、上述公式中ri是表示签名特征xi,ri在空间位置上关联程度的向量矩阵，其中对角线位置的元素值代表xi,ri相同位置处的关联程度，ψ和θ表示1×1的卷积操作与特征维度变化，θ将特征向量的后两个维度相乘，ψ将相乘后的维度重新划分为原来的数值，两者保证ri、xi和ri可以在某一个维度进行拼接，[]表示拼接操作，we,i、wi为网络的权重参数，be,i、bi分别为所述权重参数对应的偏执参数，f表全局平均池化操作；
21、步骤3.2，基于注意力的双线性池化模块将xi,ri分别与ei进行交互计算，从签名样本单独视角生成不同的且与ei互补的特征信息，根据此特征信息计算签名样本对之间的相似程度si:
22、
23、上述公式中，c＝cx×cr，其中cx,cr为签名特征xi,ri的特征通道数，t表示转置操作，π是(xi,ri)和ei中特征的空间坐标，h，w是xi,ri的高度与宽度，αi是平衡系数；
24、弱监督定位模块和注意力引导模块通过生成注意力图逐层定位判别线索区域，利用相应注意力信息主动改变现有数据并生成新数据来挖掘有效特征；
25、所述弱监督定位模块根据判别模块的输出，逐层计算特定鉴定结果的类激活映射cam图；将cam图进行上采样、归一化和阈值划分生成注意力图；将注意力图映射至原始签名图像，通过分割正值区域与尺度对齐生成增强图像；
26、步骤3.3，弱监督定位模块在一次迭代计算中生成三组增强图像
27、
28、
29、m′i(π)＝o,m′i(π)≤t；m′i(π)＝1,m′i(π)>t
30、
31、上述公式中，表示使用双线性插值完成的上采样算法，t表示对于部分区域重要程度本文档来自技高网...
【技术保护点】
1.一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述鉴定方法包括以下步骤：
2.如权利要求1所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤3中，所述跨层特征提取模块是一个基于CNN的孪生网络架构，所述结构包含两个共享参数的分支，每个分支由五个级联的基础卷积层组成；每个基础卷积层包含两个具有Relu激活函数的卷积层与BN层，除最后一个模块外还包含一个最大池化层，最终输出为后三个基础卷积层计算出的签名特征组合；
3.如权利要求1或2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤1中，图像处理的过程如下：
4.如权利要求1或2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤2中，网络模型处理的最小数据单元为签名样本对，一方作为参考签名，一方作为待鉴定签名；签名样本具有两种模态：使用铅笔、钢笔、签名笔在纸质材料上书写的签名的扫描图像，在此简称为纸质签名图像；使用电容笔、电磁笔、手指在电子屏幕上书写的签名的数字图像，在此简称为电子签名图像，多模态训练数据集合
5.如权利要求2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤3中的判别模块，分别针对跨层征提取模块输出的后三层特征向量(xi，ri)，i＝1，2，3，记为判别模块1，判别模块2，判别模块3，计算过程包括：
6.如权利要求5所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤3中，弱监督定位模块与注意力引导模块根据注意力信息主动修改现有数据和生成新数据来挖掘有效特征，计算过程如下：
7.如权利要求6所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤3中，训练控制器控制网络训练的过程为：
8.如权利要求1或2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤5中，使用训练好的优化模型判断待鉴定签名与参考签名是否来自同一用户；在训练过程中使用步骤2所构建的多模态训练数据集合进行训练，同时步骤3中构建的网络模型与训练方法能够有效地提高网络模型的泛化性，所以所述离线签名鉴定方法可以完成同模态离线签名的鉴定与跨模态离线签名的鉴定，使用纸质签名图像作为参考，鉴定纸质签名图像与电子签名图像的身份；使用电子签名图像作为参考，鉴定电子签名图像与纸质签名图像的身份。
...【技术特征摘要】
1.一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述鉴定方法包括以下步骤：
2.如权利要求1所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤3中，所述跨层特征提取模块是一个基于cnn的孪生网络架构，所述结构包含两个共享参数的分支，每个分支由五个级联的基础卷积层组成；每个基础卷积层包含两个具有relu激活函数的卷积层与bn层，除最后一个模块外还包含一个最大池化层，最终输出为后三个基础卷积层计算出的签名特征组合；
3.如权利要求1或2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤1中，图像处理的过程如下：
4.如权利要求1或2所述的一种基于跨层弱监督学习的多模态离线签名鉴定方法，其特征在于，所述步骤2中，网络模型处理的最小数据单元为签名样本对，一方作为参考签名，一方作为待鉴定签名；签名样本具有两种模态：使用铅笔、钢笔、签名笔在纸质材料上书写的签名的扫描图像，在此简称为纸质签名图像；使用电容笔、电磁笔、手指在电子屏幕上书写的签名的数字图像，在此简称为电子签名图像，多模态训练数据集合的构建过程为：
5.如权利要求2所述的一种基于跨层弱...
【专利技术属性】
技术研发人员：张永良，王嘉航，周子涵，陈紫鹏，李子文，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。