基于图像矩的签名跨模态对齐方法、系统、设备及介质技术方案

本申请公开基于图像矩的签名跨模态对齐方法，其特征在于，包括：采集纸质离线签名、在线手写电子签名进行跨模态签名预处理；对离线纸质签名进行笔迹特征提取，对笔迹特征进行基于矩的旋转矫正，获得矩标准化；对在线电子签名进行笔迹回显，笔划粗化后进行基于矩的旋转矫正，根据通过离散纸质签名得到的矩标准化，对在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。输出电子签名对齐图片。输出电子签名对齐图片。

【技术实现步骤摘要】
基于图像矩的签名跨模态对齐方法、系统、设备及介质


[0001]本专利技术涉及计算机信息处理
、大数据、人工智能应用
，具体是一种基于语义驱动的手写文本分割识别方法。

技术介绍

[0002]基于手写电子签名中包含签署人生物特征识别技术与签署人唯一对应关系，且签署行为体现签署人的主动意愿，使得原笔迹电子签名在金融、政务、司法、公共安全、民生等众多领域的广泛推广应用，手写电子签名的应用场景也在逐步扩大，随着手写电子签名笔迹在不同重要领域的应用，各种形式的攻击以及挑战也是层出不穷，这对于手写电子签名笔迹比对的精度以及抗攻击能力带来了较大的威胁，因此提升优化电子手写签署笔迹识别验证的需求也就迫在眉睫。
[0003]在跨模态手写签名笔迹比对中，要比对的两个签名一个是写在纸张上的离线签名，另一个是使用电子设备签署的在线电子签名，进行笔迹比对前，需要对不同模态的签名进行预处理，使得它们处于同一个模态中，方便后续的笔迹比对。其中一种方法是将纸质离线签名和在线电子签名处理成图片，在图像域进行笔迹比对。而在图像域进行比对时，如果两个签名在空间域差别较大，例如图片大小不同，签名的长宽比例不同，图像中噪声、野点的影响等等，都会给笔迹比对带来不良的影响。
[0004]公开号：CN115482541A，名称“基于跨模态笔迹的类协同训练方法、笔迹比对系统、设备及介质”的中国专利技术专利申请，公开一种基于跨模态笔迹的类协同训练方法，采集纸质版手写签名图像转化成二值化签名图像、电子签名序列正写数据及仿写数据回显为签名图像数据；对齐两种模态类型的签名图像，在通道维度进行拼接构建对应电子
‑
纸质签名图像对，进行跨模态比对多任务联合分类训练；综合分类结果判别跨模态笔迹签署人身份。该文献涉及的签名图像对齐为基于图像像素边界框的对齐，容易受到纸质签名图像或电子签名图像中野点的影响导致对齐失败。

技术实现思路

[0005]有鉴于此，本申请针对现有技术中不同模特电子签名验证识别中，通常使用的基于签名边界框的对齐方法非常容易受到图像中噪声、野点的影响，导致对齐的效果不好的问题，提出的基于图像矩的对齐方法，实现不同模态的签名在图像域的对齐，对齐效果更加稳定，不易受到图像中噪声和野点的影响。
[0006]根据本申请的一方面，基于图像矩的签名跨模态对齐方法，包括：提取纸质离线签名笔迹特征，对在线电子签名进行笔迹回显，笔划粗化，进行跨模态签名预处理，获得纸质离线签名图片和在线电子签名图片；对签名图片进行基于矩的旋转矫正，获得矩标准化；根据通过离散纸质签名图片得到的矩标准化，对旋转矫正后的在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。
[0007]进一步优选，所述预处理包括：获取纸质离线签名笔迹特征信息，提取纸质离线签
名的二值化签名掩膜F
off
，获得的二值化签名掩膜背景像素值为0和签名像素值为255的纸质离线签名图片；获取在线电子签名笔迹特征信息，根据签名笔迹坐标位置、压力、时间序列回显电子签名轨迹图像，电子签名轨迹进行粗化处理后进行二值化处理，得到一个背景像素值为0，签名像素值为255的在线电子签名的二值化签名掩膜F
on
，获得在线电子签名图片。
[0008]进一步优选，所述基于矩的旋转校正包括：对纸质离线签名进行笔迹特征提取，获取纸质离线签名图片或在线电子签名图片中任意点坐标及其像素值，分别计算其签名图片0阶、2阶中心矩，根据两个图片的中心矩，分别计算签名图像长轴和水平方向的夹角作为图片旋转角度；根据旋转角度，构建仿射变换矩阵，对签名图片进行仿射变换，完成签名的旋转校正，其中，计算签名图片0阶、2阶中心矩包括：获取签名图片任意点坐标(x,y)，以及该点的像素值f(x,y)，根据公式：M
pq
＝∑
x
∑yx
p
y
q
f(x,y)计算签名图片的矩M
pq
，根据公式：计算签名图片几何中心点的坐标调用公式：调用公式：计算图像中心矩；所述计算图片旋转角度包括：计算获得的0
‑
2阶图像中心矩，调用公式。计算签名图片长轴和水平方向的夹角θ；构建仿射变换矩阵：其中，μ
00
，μ
11
，μ
02
，μ
20
为签名图片0阶、2阶中心矩。
[0009]进一步优选，对旋转校正后的离线纸质签名图片F'
off
，重新计算离线纸质签名的几何中心重新计算离线纸质签名图片的0阶、2阶中心矩：根据预定的输出图片高度H
norm
、宽度W
norm
，调用公式：计算离线纸质签名图片尺度变换系数，其中，r为预定义系数；基于尺度变换系数、离线纸质签名的几何中心坐标构建离线纸质签名的仿射变换矩阵：
[0010]通过仿射变换完成纸质离线签名图片的矩标准化，得到矩标准化后的离线纸质签名图片I
off
；对旋转校正后的在线电子签名图片F'
on
，重新计算在线电子签名的几何中心重新计算在线电子签名图片的0阶、2阶中心矩：重新计算在线电子签名图片的0阶、2阶中心矩：根据预定的输出图片高度H
norm
、宽度W
norm
，调用公式：计算在线电子签名图片尺度变换系数α
on
；基于电子签名图片尺度变换系数、电子签名的几何中心坐标构建在线电子签名的仿射变换矩阵：
[0011]对在线电子签名图片F'
on
进行仿射变换，得到在线电子签名的参考图像I'
on
。
[0012]进一步优选，根据离线纸质签名图片H
off
中签名区域的高度H
off
和在线电子签名参考图像I'
on
中签名区域的高度H'
on
，调用公式：计算高度变换系数，构建在线电子签名图片最终的仿射变换矩阵：根据仿射变换矩阵对旋转校正后的在线电子签名图片F'
on
进行仿射变换，完成在线电子签名图片的矩标准化，得到矩标准化后的在线电子签名图片I
on
。
[0013]根据本申请另一方面，提出一种基于图像矩的签名跨模态对齐系统，包括：跨模态签名预处理模块提取纸质离线签名笔迹特征，对在线电子签名进行笔迹回显，笔划粗化，进行跨模态签名预处理，获得纸质离线签名图片和在线电子签名图片；矩标准化模块对签名图片进行基于矩的旋转矫正，获得签名图片矩标准化；签名对齐模块根据离散纸质签名图片矩标准化，对旋转矫正后的在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。
[0014]进一步优选，所述基于矩的旋转校正包括：获取纸质离线签名图片或/和在线电子签名图片中任意点坐标及其像素值，分别计算其签名图片0阶、2阶中心矩，根据两个图片的中心矩，分别计算签名图像长轴和水平方向的夹角作为图片旋转角度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像矩的签名跨模态对齐方法，其特征在于，包括：提取纸质离线签名笔迹特征，对在线电子签名进行笔迹回显，笔划粗化，进行跨模态签名预处理，获得纸质离线签名图片和在线电子签名图片；对签名图片进行基于矩的旋转矫正，获得矩标准化；根据通过纸质离散签名图片得到的矩标准化，对旋转矫正后的在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。2.根据权利要求1所述的方法，其特征在于，所述预处理包括：获取纸质离线签名笔迹特征信息，提取纸质离线签名的二值化签名掩膜F
off
，获得的二值化签名掩膜背景像素值为0和签名像素值为255的纸质离线签名图片；获取在线电子签名笔迹特征信息，根据签名笔迹坐标位置、压力、时间序列回显电子签名轨迹图像，对电子签名轨迹进行粗化处理后进行二值化处理，得到一个背景像素值为0，签名像素值为255的在线电子签名的二值化签名掩膜F
on
，获得在线电子签名图片。3.根据权利要求1所述的方法，其特征在于，所述基于矩的旋转校正包括：对纸质离线签名进行笔迹特征提取，获取纸质离线签名图片或在线电子签名图片中任意点坐标及其像素值，分别计算其签名图片0阶、2阶中心矩，根据两个图片的中心矩，分别计算签名图像长轴和水平方向的夹角作为图片旋转角度；根据旋转角度，构建仿射变换矩阵，对签名图片进行仿射变换，完成签名的旋转校正，其中，计算签名图片0阶、2阶中心矩包括：获取签名图片任意点坐标(x,y)，以及该点的像素值f(x,y)，根据公式：M
pq
＝∑
x
∑
y
x
p
y
q
f(x,y)计算签名图片的矩M
pq
，根据公式：计算签名图片几何中心点的坐标调用公式：计算图像中心矩；所述计算图片旋转角度包括：计算获得的0阶和2阶图像中心矩，利用2阶中心距调用公式：计算签名图片长轴和水平方向的夹角θ；构建仿射变换矩阵：其中，μ
11
，μ
02
，μ
20
为签名图片2阶中心矩。4.根据权利要求1
‑
3其中之一所述的方法，其特征在于，对旋转校正后的离线纸质签名图片F'
off
，重新计算离线纸质签名的几何中心重新计算离线纸质签名图片的0阶、2阶中心矩：根据预定的输出图片高度H
norm
、宽度W
norm
，调用公式：计算离线纸质签名图片尺度变换系数，其中，r为预定义系数；基于尺度变换系数、离线纸质签名的几何中心坐标构建离线纸质签名的仿射变换矩阵：通过仿射变换完成纸质离线签名图片的矩标准化，得到矩标准化后的离线纸质签名图片I
off
；对旋转校正后的在线电子签名图片F'
on
，重新计算在线电子签名的几何中心重新计算在线电子签名图片的0阶、2阶中心矩：
根据预定的输出图片高度H
norm
、宽度W
norm
，调用公式：计算在线电子签名图片尺度变换系数α
on
；基于电子签名图片尺度变换系数、电子签名的几何中心坐标构建在线电子签名的仿射变换矩阵：对在线电子签名图片F'
on
进行仿射变换，得到在线电子签名的参考图像I'
on
。5.根据权利要求4所述的方法，其特征在于，根据离线纸质签名图片I
off
中签名区域的高度H
off
和在线电子签名参考图像I'
on
中签名区域的高度H'
on
，调用公式：计算高度变换系数，构建在线电子签名图片最终的仿射变换矩阵：根据仿射变换矩阵对旋转校正后的在线电子签名图片F'
on
进行仿射变换，完成在线电子签名图片的矩标准化，得到矩标准化后的在线电子签名图片I
on
。6...

【专利技术属性】
技术研发人员：陈伟聪，覃勋辉，刘科，
申请(专利权)人：重庆傲雄在线信息技术有限公司，
类型：发明
国别省市：