基于结构等变性自监督学习的头部姿态估计方法及系统技术方案

本发明专利技术提供基于结构等变性自监督学习的头部姿态估计方法及系统，属于计算机视觉的头部姿态估计领域。包括：输入批处理图像，建立训练集X；将批处理图像送入特征提取器网络中进行学习，选择训练集X中的样本作锚点图像，在特征空间中构造关于锚点图像的近邻图G并进行细化调整；将各样本x

【技术实现步骤摘要】
基于结构等变性自监督学习的头部姿态估计方法及系统


[0001]本专利技术涉及计算机视觉的头部姿态估计领域，尤其涉及一种基于结构等变性自监督学习的头部姿态估计方法及系统。

技术介绍

[0002]头部姿态估计旨在基于给定的面部RGB图像预测人类头部的连续旋转方向(仰俯角、偏航角、滚动角)，它在许多潜在的计算机视觉应用中起着至关重要的作用，如人机交互、注意力建模和行为分析等。近年来，许多工作专注于解决头部姿态估计任务中的相关问题，但由于头部姿势标签的模糊性以及由表情、遮挡、性别、种族等引起的非线性关系的人脸数据，算法的性能仍然有限。近年来，头部姿态估计算法的发展方向从传统的模式识别方法向深度神经网络的方法进行转变。
[0003]人脸的规则结构、结构等变性与头部运动之间的内在关系在人脸姿态估计中起着至关重要的作用，人的头部可以被建模为一个无实体的刚性物体，在运动过程中每个像素都会变化。然而，单个RGB图像只能表示人脸像素的位置坐标，而不能表示三维形状。在头部姿态估计中，大多数模型都受到头部姿态不确定性的影响，在户外条件下往往会失败。这主要是因为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构等变性自监督学习的头部姿态估计方法，其特征在于，包括：步骤S1，输入批处理图像，建立训练集X＝{x
i
}；所述批处理图像为经过人脸检测和对齐操作预处理后的增强图像；步骤S2，将所述训练集X中的所述批处理图像送入特征提取器网络中进行学习，获得所述批处理图像的面部语义特征，选择所述训练集X中的样本作锚点图像anchor，进一步在特征空间中构造关于所述锚点图像anchor的近邻图G、并通过姿态不变损失函数对所述近邻图G进行细化调整，从而使所述训练集X的每一个样本控制不同的潜在语义属性以增强特征学习的多样性；步骤S3，将各所述样本x
i
划分为T个不重叠的补丁并映射到特征空间中，利用局部空间等变损失函数，计算得出细化调整后的近邻图G中不同补丁位置之间的差异，并以单个补丁为单位对所述锚点图像anchor特征进行训练调整，实现将不同语义因素下的特征拓展到不同姿态的局部图像；步骤S4，将训练调整后的锚点图像anchor特征输入到softmax函数中、转化为三个角度姿态向量[y
i
,p
i
,r
i
]并计算出面部姿态标签概率分布数据，选择概率最大的标签作为所述锚点图像anchor的头部姿态估计结果，头部姿态估计模型建立完毕；步骤S5，将待分析图像作为新锚点图像anchor输入所述头部姿态估计模型，按照所述步骤S2
‑
S4处理所述待分析图像，得出所述待分析图像的面部姿态标签概率分布数据及头部姿态估计结果，并将所述待分析图像的三个角度姿态向量转化为欧拉角。2.如权利要求1所述的基于结构等变性自监督学习的头部姿态估计方法，其特征在于，所述步骤S2包括：步骤S21，将所述批处理图像送入特征提取器网络中进行学习，获得所述批处理图像的面部语义特征；步骤S22，构造以节点v为锚点图像anchor的初始近邻图G＝{V,E}，其中V为节点集合，E为边的集合，边两端的节点所对应的图像具有相同语义下的相同视觉结构，所述初始近邻图G中具有A个子图，组成同一子图的节点为所述锚点图像anchor的邻居图像、且均具有相同语义下的相同视觉结构；步骤S23，选取其中一个子图G
a
进行姿态不变损失计算，a∈[1,A]，令所述子图G
a
中的节点集合表示为{n1,...,n
i
}，所述初始近邻图G中不属于所述子图G
a
内的节点集合表示为U，通过姿态不变损失函数计算出结果L
i
：其中，u∈{n1,...,n
i
}表示所述子图G
a
中的节点集合，u
′
∈U表示非所述子图G
a
内的节点集合，τ是温度系数，x
i
是原始样本；步骤S24，根据姿态不变损失函数的所述结果L
i
调整所述初始近邻图G中各个节点的空间距离，使特征空间中具有相同潜在语义因子的特征聚集在一起、不具有相同潜在语义因子的特征远离；步骤S25，重复执行步骤S23
‑
S24，基于每个所述子图G
a
进行姿态不变损失计算、并作空间距离调整，经A次调整后，得出所述细化调整后的近邻图G，所述细化调整后的近邻图G捕
获到图像中不同语义因素之间的相关性，从而实现更好的视觉特征表示。3.如权利要求2所述的基于结构等变性自监督学习的头部姿态估计方法，其特征在于，所述步骤S3包括：步骤S31，将各所述样本划分为T个不重叠的补丁并映射到特征空间中，转换为结构等变的面部特征，其中，所述样本x
i
划分为T个不重叠的补丁P
i1:T
＝{P
i(1)
,P
i(2)
,
…
,P
i(T)
}，并映射到特征空间中得到补丁特征F
i1:T
＝{F
i(1)
,F
i(2)
,
…
,F
i(t)
}，在特征空间中P
j(t)
对应的补丁特征为F
j(t)
，t∈[1,T]，i∈[1,N]，j∈[1,N]，N为所述训练集中的样本总数；其中，F
i(k)
表示所述锚点补丁P
i(k)
的特征，F
j(k)
表示非所述锚点相同位置补丁P
j(k)
的特征，F
j(t)
表示非所述锚点不同位置补丁P
j(t)
的特征，τ是温度系数；F
i(t)
指所述锚点图像中除F
i(k)
以外的补丁；步骤S33，重复执行步骤S32
‑
S33，根据局部空间等效损失函数的所述损失结果L
e
调整特征空间中所述锚点补丁P
i(k)
与补丁P
i(t)
、以及{u1,u2,...u
N
‑1}中各图的所有补丁之间的空间距离，实现将不同语义因素下的特征拓展到不同姿态的局部图像，最终利用结构等变性学习到人脸结构的补偿特征。4.如权利要求3所述的基于结构等变性自监督学习的头部姿态估计方法，其特征在于，所述步骤S4包括：步骤S41，将经所述步骤S33训练调整后的锚点图像anchor特征转化为姿态向量[y
i
,p
i
,r
i
]，其中，y
i
、p
i
、r
i
分别对应偏航角、俯仰角、滚动角三个方向向量；步骤S42，将映射到面部姿态标签空间的所述姿态向量[y
i
,p
i
,r
i
]输入到sotamax函数中，得到面部姿态标签概率分布，其中，将分布进行归一化处理保证中，得到面部姿态标签概率分布，其中，将分布进行归一化处理保证中，得到面部姿态标签概率分布，其中，将分布进行归一化处理保证中，得到面部姿态标签概率分布，其中，将分布进行归一化处理保证其中，l
i
∈{l1,l2,
…
,l
m
}表示在
±
99
°
范围内的分箱俯仰角，m为箱数，σ表示高斯分布的
标准差和姿态角度的最细粒度；步骤S43，选择y(l
i
)值最大的标签、p(l
i
)值最大的标签、r(l
i
...

【专利技术属性】
技术研发人员：刘昊，王耀兴，武文杰，李振东，
申请(专利权)人：宁夏大学，
类型：发明
国别省市：