【技术实现步骤摘要】
本专利技术属于身份识别领域，具体涉及一种基于人脸轮廓线的视频身份识别方法，及其对应的人脸隐私无关的身份识别系统。
技术介绍
1、现有的身份识别认证大多基于生物识别特征实现。在实践中，人脸识别是最常用的生物识别系统之一。它需要将人脸图像存放于数字设备中，如密保令牌，智能卡或者手机中。常规人脸识别系统通常需要使用全面的面部信息进行识别，包括具体的人脸器官、纹理、特征点等。这可能引发用户的隐私担忧，尤其是在涉及敏感信息的场景下，认证系统的数据库中存储的用于生物识别特征一旦丢失，则可以造成重大的安全风险。另外，采用人脸识别时，光照、遮挡、分辨率变化等因素可能影响图像的质量和清晰度，进而影响身份认证的准确性。
2、随着对个人隐私的关注不断增加，生物特征认证系统还必须符合相关的隐私保护法规。相对而言，软生物特征缺乏强特征的一个或多个特性。典型的软生物特征包括身高、性别和面部形状，以及一些行为特征如步态和手写签名。尽管软特征在准确性和持久性方面不如强特征，但它们具有更高的难伪造性和难模仿性。以步态为例，攻击者要欺骗系统，需要模仿目标的服装和行走风格，并选择与目标相似的步态，这对攻击者而言是一项相当复杂的任务。相对于面部生物特征，攻击者需要付出更多努力来伪造软生物特征，增加了生物特征认证系统的整体安全性。
3、在此基础上，视觉步态识别和头部运动识别，为身份验证提供了多样化的解决方案。在视觉步态识别方面，技术主要集中在基于步态能量图像(gei)的方法上，通过提取个体步态模式中的独特特征来进行身份识别。这种方法具有相对较低的
技术实现思路
1、为了解决常规的人脸识别技术存在隐私泄露风险和易受环境因素干扰的缺陷，本专利技术提供一种基于人脸轮廓线的视频身份识别方法，及其对应的人脸隐私无关的身份识别系统。
2、本专利技术采用以下技术方案实现：
3、一种基于人脸轮廓线的视频身份识别方法，其包括如下步骤：
4、s1：获取所有注册用户提供的包含人脸的样本视频，对样本视频进行分帧处理，并为得到的分帧图像添加表征用户身份的类别标签。
5、s2：使用人脸关键点检测算法对每个注册用户的分帧图像进行人脸检测，并通过canny算子提取出人脸轮廓，得到人脸轮廓线的图像序列，构成所需的样本数据集。
6、s3：基于transformer设计一个包含预处理模块、特征提取模块和分类模块的人脸轮廓线身份识别网络。
7、其中，预处理模块先将每一帧图像分割为多个互不重叠的图块，并生成每个图块对应的补丁向量。然后为每个补丁向量添加一个表征其在原始图像中位置的位置编码。最后为补丁向量x(t)和初始隐藏状态h(0)分别添加一个空间标记ts和时间标记tt的可学习令牌后作为特征提取模块的输入。
8、特征提取模块由多层的tidvit单元级联而成，每个tidvit单元采用配备mtsa模块的定制vit单元，进而从人脸轮廓线的视频中捕捉和聚合时空特征。mtsa模块在空间和时间特征之间建立互动，并通过隐藏状态传输时间信息。
9、分类模块用于提取出特征提取模块输出的隐藏状态h(t)中的时间标记和输出特征o(t)中的空间标记，并进行特征拼接得到融合特征，融合特征经过线性分类层后生成最终的分类结果。
10、s4：将样本数据集分为训练集、测试集，并对人脸轮廓线身份识别网络的训练和测试，保留分类性能最佳的网络模型的参数。
11、s5：获取待识别用户的包含人脸的视频数据，提取出对应的人脸轮廓线的图像序列并输入到训练出的人脸轮廓线身份识别网络中，根据人脸轮廓线身份识别网络输出的分类结果完成对当前用户的身份识别。
12、作为本专利技术进一步的改进，预处理模块首先将逐帧的人脸轮廓线图像分解为p×p个非重叠的图块，然后平铺成向量其中接着通过卷积嵌入层处理，并添加位置编码posp后得到用于输入到各层tidvit单元的补丁向量x(t)：
13、
14、上式中，l表示卷积嵌入函数。
15、作为本专利技术进一步的改进，各层tidvit单元采用的mtsa模块获取当前层的补丁向量x(t)和上一层的隐藏状态h(t-1)，分别对二者进行线性映射生成一对q，k，v向量，然后将分别成对的q，k，v向量进行加和，最后使用加和后的线性映射q、k、v向量计算注意力向量a(t)：
16、
17、上式中，σ表示softmax激活函数，q(t)、k(t)、v(t)分别为查询矩阵、关键矩阵和值矩阵；分别为对应向量和矩阵间的连接权重。
18、作为本专利技术进一步的改进，在特征提取模块中各层的所述mtsa模块前后的注意力向量a(t)进行连接得到最终的注意矩阵a(t)：
19、
20、上式中，q表示tidvit单元的通道号；wproj表示特征提取模块中的特征嵌入层；concat表示特征连接。
21、作为本专利技术进一步的改进，每一层的tidvit单元中包括一个mtsa模块和一个前馈网络，mtsa模块和前馈网络后分别接一个残差和归一化层。补丁向量x(t)经mtsa模块处理得到注意力系数矩阵a(t)，其中一路继续经前馈网络处理，另路将上一层的隐藏状态h(t-1)与注意力系数矩阵a(t)相加作为当前层的隐藏状态h(t)。
22、作为本专利技术进一步的改进，tidvit单元用于根据输入的补丁向量x(t)和上一层的隐藏状态h(t-1)生成输出向量o(t)和当前层的隐藏状态h(t)，表达式如下：
23、
24、上式中，f(·)表示前馈网络ffn；o(t)是中间特征。
25、作为本专利技术进一步的改进，分类模块生成分类结果的表达式如下：
26、
27、上式中，表示分类结果；分别为各层tidvit单元提取出的时间标记；表示最后一层输出的空间标记；n表示输入的视频数据的帧数；wclass表示分类模块中的线性分类层。
28、作为本专利技术进一步的改进，步骤s4中，人脸轮廓线身份识别网络中输入的逐帧的人脸轮廓线图像的尺寸设置为112×112；训练阶段的损失函数选择交叉熵损失。
29、本专利技术还包括一种人脸隐私无关的身份识别系统，其包括：云服务器和边缘设备。
30、云服务器内运行有一个人脸轮廓线身本文档来自技高网...
【技术保护点】
1.一种基于人脸轮廓线的视频身份识别方法，其特征在于，其包括如下步骤：
2.如权利要求1所述的基于人脸轮廓线的视频身份识别方法，其特征在于：所述预处理模块首先将逐帧的人脸轮廓线图像分解为P×P个非重叠的图块，然后平铺成向量其中接着通过卷积嵌入层处理，并添加位置编码PosP后得到用于输入到各层TiDViT单元的补丁向量x(t)：
3.如权利要求2所述的基于人脸轮廓线的视频身份识别方法，其特征在于：各层TiDVIT单元采用的MTSA模块获取当前层的补丁向量x(t)和上一层的隐藏状态h(t-1)，分别对二者进行线性映射生成一对Q，K，V向量，然后将分别成对的Q，K，V向量进行加和，最后使用加和后的线性映射Q、K、V向量计算注意力向量a(t)：
4.如权利要求3所述的基于人脸轮廓线的视频身份识别方法，其特征在于：在特征提取模块中各层的所述MTSA模块前后的注意力向量a(t)进行连接得到最终的注意矩阵A(t)：
5.如权利要求4所述的基于人脸轮廓线的视频身份识别方法，其特征在于：每一层的TiDVIT单元中包括一个MTSA模块和一个前馈网络，所
6.如权利要求5所述的基于人脸轮廓线的视频身份识别方法，其特征在于：所述TiDVIT单元用于根据输入的补丁向量x(t)和上一层的隐藏状态h(t-1)生成输出向量O(t)和当前层的隐藏状态h(t)，表达式如下：
7.如权利要求1所述的基于人脸轮廓线的视频身份识别方法，其特征在于：所述分类模块生成分类结果的表达式如下：
8.如权利要求1所述的基于人脸轮廓线的视频身份识别方法，其特征在于，步骤S4中，所述人脸轮廓线身份识别网络中输入的逐帧的人脸轮廓线图像的尺寸设置为112×112；训练阶段的损失函数选择交叉熵损失。
9.一种人脸隐私无关的身份识别系统，其特征在于，其包括：
10.如权利要求9所述的人脸隐私无关的身份识别系统，其特征在于；所述边缘设备中的所述人脸轮廓线身份识别网络包括分帧单元、人脸关键点检测单元和轮廓提取单元，所述分帧单元用于对视频数据进行分帧处理得到逐帧图像，所述人脸关键点检测单元用于对图像进行人脸检测；所述轮廓提取单元采用Canny算子提取出图像中的人脸轮廓线，得到人脸轮廓线的图像序列。
...【技术特征摘要】
1.一种基于人脸轮廓线的视频身份识别方法，其特征在于，其包括如下步骤：
2.如权利要求1所述的基于人脸轮廓线的视频身份识别方法，其特征在于：所述预处理模块首先将逐帧的人脸轮廓线图像分解为p×p个非重叠的图块，然后平铺成向量其中接着通过卷积嵌入层处理，并添加位置编码posp后得到用于输入到各层tidvit单元的补丁向量x(t)：
3.如权利要求2所述的基于人脸轮廓线的视频身份识别方法，其特征在于：各层tidvit单元采用的mtsa模块获取当前层的补丁向量x(t)和上一层的隐藏状态h(t-1)，分别对二者进行线性映射生成一对q，k，v向量，然后将分别成对的q，k，v向量进行加和，最后使用加和后的线性映射q、k、v向量计算注意力向量a(t)：
4.如权利要求3所述的基于人脸轮廓线的视频身份识别方法，其特征在于：在特征提取模块中各层的所述mtsa模块前后的注意力向量a(t)进行连接得到最终的注意矩阵a(t)：
5.如权利要求4所述的基于人脸轮廓线的视频身份识别方法，其特征在于：每一层的tidvit单元中包括一个mtsa模块和一个前馈网络，所述mtsa模块和前馈网络后分别接一个残差和归一化层；补丁向量x(t)经mtsa模块处理得到注意力系数矩阵a(...
【专利技术属性】
技术研发人员：金哲，杨捷文，董兴波，周颖，张慧，王立稳，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。