【技术实现步骤摘要】
本专利技术属于神经网络模型三维人脸重建领域，具体涉及一种基于注意力仿射变换的脱敏人脸注意力判别方法及系统。
技术介绍
1、人脸注意力是社会科学、生物医学、心理学和计算机视觉领域的一个重要课题，它探讨了人们在面对他人面孔时如何分配和聚焦注意力的问题。注意力检测的方法也因此跨越了多个学科且随着技术的进步在不断更迭。大多数学者运用传统的观察法、问卷调查法进行对照实验，来检测游客注意力。在生物医学领域，有通过心率和皮肤电导两种测量方式检测人脸注意力变化的方法。此外，心理学领域，使用了眼球追踪技术精准捕捉人脸注意力的细节。然而，以上的检测方法均在使用场景便利度和人物力等资源消耗上有一定的局限性。
2、在计算机视觉领域，传统的主动形状人脸关键点对齐模型算法通过对人脸的形状信息进行统计建模，生成一个用于人脸对齐的统计形状模型，但只对形状特征进行建模，忽略了人脸的纹理特征，导致很难捕捉和对齐局部细节信息。随后主动外观算法通过对形状和纹理信息进行联合建模，提升了模型对细节信息的捕捉能力。
3、然而，传统方法大多都通过手工提取特征，导致模型表达能力不足。随着深度学习的发展，基于学习的模型可以从海量数据中自动捕获和提取特征，大幅度提升了模型的表达能力，然而简单的级联网络和注意力机制不能准确地在复杂环境下捕获鲁棒的人脸特征进行人脸关键点对齐。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于注意力仿射变换的脱敏人脸注意力判别方法及系统，解决了现有技术中不能准确地在复杂
2、本专利技术为解决上述技术问题采用以下技术方案：
3、基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，包括如下步骤：
4、s1：构建基于注意力机制引导特征仿射变换的人脸注意力判别模型，用于捕捉人脸数据特征内部的空间相关性，建立长距离依赖关系，指导特征在潜在空间进行仿射变换，输出人脸形变参数，之后构建人脸的三维模型；
5、s2：构建人脸信息脱敏模型，基于步骤s1人脸注意力判别模型构建的人脸三维模型进行面部渲染得到二维人脸，通过面部掩码脱敏擦除进行个人隐私擦除；
6、s3：构建人脸偏离姿态角估计模型，用于计算观察状态下，由步骤s2获取的人脸平面位置与固定相机标准面的偏离夹角，估计人脸姿态方向，实现对人脸注意力精准判别。
7、所述人脸注意力判别模型包括自注意力机制、坐标注意力机制、多注意力融合方法和特征空间仿射变换机制，其中，
8、自注意力机制，从输入信息中抓取重要内部特征的敏感性，捕捉全局鉴别性特征；
9、坐标注意力机制，分别对输入特征进行横向和纵向空间信息挖掘，通过全局上下文信息计算出相关性较高的信息，结合与自身相关性高的信息，促进深度网络准确地定位目标和识别目标；
10、多注意力机制融合方法，动态融合自注意力和坐标注意力模型的输出信息，增强特征表示能建立，提取更全面的信息以提高模型鲁棒性，用于处理复杂多变的人脸数据；
11、特征空间仿射变换机制，使用注意力融合方法融合后鲁棒特征以指导抽取特征在潜在空间进行仿射变换，对抽取特征进行空间旋转、平移和伸缩变换，矫正和重组特征的空间信息和语义关系，实现三维人脸重建和人脸关键点稠密对齐。
12、还包括设计约束模型学习的约束编码器损失函数，用于捕获样本中人脸面部语义和空间层次信息，生成多级层次知识矩阵。
13、所述约束编码器损失函数包括
14、点级损失函数，用于捕获点级的不同语义部分的离散形状信息；
15、线级损失函数，用于构建不同语义部分的点对之间吸引和排斥关系来探索线级层次信息；
16、平面级损失函数，用于约束面部不同语义部分的整体形状结构和面积比关系，学习不同语义部分的平面级知识，抑制极端表情问题；
17、空间级损失函数，用于抑制由于特征点密集而造成的损失，并约束表面细节。
18、个人隐私擦除的具体过程如下：
19、将人脸注意力模块构建的三维人脸，通过投影归一化坐标码方法，投影到二维平面实现人脸面部掩码渲染，贴合于对应图像的人脸上，在不影响研究内容可显示性和可验证性的基础上，实现个人隐私擦除。
20、人脸偏离姿态角估计模型的构建方法如下：
21、固定相机获取人脸图像，抽取其中的若干个关键点，以确定观察状态下人脸面部掩码的平面位置，并计算其与固定相机标准面的偏离夹角，确定输入图像的人脸注意力的集中范围；具体为：
22、s61：抽取人脸关键点，通过抽取三维人脸模型位于左右眼角和鼻尖位置3个关键点来确定人脸观察平面，求得该平面上的两个向量，再使用叉乘公式得到该平面的法向量；
23、s62：计算人脸面部掩码观察平面与固定相机标准面的偏离夹角，实现人脸姿态方向估计，来最终确定人脸注意力的集中范围。
24、通过固定相机标准面的法向量nt，应用如下公式，求得两个观察平面的偏离夹角：
25、
26、其中，[o,p,q]和[x,y,z]分别代表人脸观察平面法向量no和固定相机标准面的法向量nt的三维坐标，cosθ代表两个法向量夹角的cos值。
27、人脸注意力判别系统，包括人脸图片获取模块、人脸注意力判别模块、人脸信息脱敏模块、人脸偏离姿态角估计模块；其中，
28、人脸图片获取模块，包括历史人脸图片和实时获取的人脸图片，历史人脸图片用于训练模型，实时获取的人脸图片输入至训练好的模型内输出人脸注意力特征；
29、人脸注意力判别模块，用于根据历史人脸图片训练人脸注意力判别模型，构建人脸的三维模型；
30、人脸信息脱敏模块，用于构建人脸信息脱敏模型，对面部个人信息擦除；
31、人脸偏离姿态角估计模块，用于构建人脸偏离姿态角估计模型，并对实时获取的人脸图片，估计人脸姿态方向，实现对人脸注意力精准判别。
32、人脸注意力判别模块基于3dmm精确构建人脸的三维模型。
33、对实时获取的人脸图片进行处理，抽取人脸关键点，以人脸关键点的相关位置来确定平面位置推断点。
34、与现有技术相比，本专利技术具有以下有益效果：
35、1、本专利技术利用注意力机制引导的基于特征仿射变换的注意力判别模型，构建人脸关键点对齐模型，准确拟合人脸数据的内在分布和关系，有效提高了模型在复杂光照、大姿态和极端表情等复杂环境下的表示能力，为分析人脸行为特征和掌握个体偏好提供了重要技术支撑，有广泛的实际应用价值。
36、2、本专利技术在保护个人隐私的情境下，能够实现对人脸注意力精准判别。
37、3、将人脸注意力模块构建的三维人脸，通过投影归一化坐标码方法，投影到二维平面实现人脸面部掩码渲染，贴合于对应图像的人脸上，从而在不影响研究内容可显示性和可验证性的基础上，实现个人隐私擦除。
本文档来自技高网...【技术保护点】
1.基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：所述人脸注意力判别模型包括自注意力机制、坐标注意力机制、多注意力融合方法和特征空间仿射变换机制，其中，
3.根据权利要求2所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：还包括设计约束模型学习的约束编码器损失函数，用于捕获样本中人脸面部语义和空间层次信息，生成多级层次知识矩阵。
4.根据权利要求3所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：所述约束编码器损失函数包括
5.根据权利要求1所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：个人隐私擦除的具体过程如下：
6.根据权利要求1所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：人脸偏离姿态角估计模型的构建方法如下：
7.根据权利要求6所述的基于注意力机制引导特征仿射变换的脱敏人
8.基于权利要求1至7中任一项所述方法的人脸注意力判别系统，其特征在于：包括人脸图片获取模块、人脸注意力判别模块、人脸信息脱敏模块、人脸偏离姿态角估计模块；其中，
9.根据权利要求8所述的人脸注意力判别系统，其特征在于：人脸注意力判别模块基于3DMM精确构建人脸的三维模型。
10.根据权利要求8所述的人脸注意力判别系统，其特征在于：对实时获取的人脸图片进行处理，抽取人脸关键点，以人脸关键点的相关位置来确定平面位置推断点。
...【技术特征摘要】
1.基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：所述人脸注意力判别模型包括自注意力机制、坐标注意力机制、多注意力融合方法和特征空间仿射变换机制，其中，
3.根据权利要求2所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：还包括设计约束模型学习的约束编码器损失函数，用于捕获样本中人脸面部语义和空间层次信息，生成多级层次知识矩阵。
4.根据权利要求3所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：所述约束编码器损失函数包括
5.根据权利要求1所述的基于注意力机制引导特征仿射变换的脱敏人脸注意力判别方法，其特征在于：个人隐私擦除的具体过程如下：
【专利技术属性】
技术研发人员：刘富强，李雷，王俊元，王旗，李佳豪，陈一凡，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。