【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种面向鱼眼图像的人体头部姿态估计方法及系统。
技术介绍
1、头部姿态估计是指从给定的图像或视频中估计头部相对于相机坐标系的朝向，通常用欧拉角来表示。欧拉角的三个维度分别为俯仰角、偏航角和翻滚角。头部姿态的准确估计对于人机交互、人类社会行为分析、监控、虚拟现实和心理评估等许多应用都至关重要，因此，头部姿态估计领域吸引了许多研究者的关注。
2、相比传统的透视投影镜头，鱼眼镜头能够提供更广阔的视场覆盖。它可以捕捉到更多的环境信息，将更多的场景纳入图像中。这对于一些需要全景观察或者广角视野的应用非常有意义，例如监控系统、虚拟现实和增强现实应用等。
3、然而，传统的头部姿态估计方法大多是针对常规的、无失真的直线图像进行研究。而目前从鱼眼图像中估计头部姿态大多采用“两步法”，即先对鱼眼图像进行矫正，再从矫正图像中估计头部姿态，此类方法中头部姿态估计的准确性严重依赖于图像矫正的质量，而现有图像矫正的技术难以完全消除图像中的畸变，进而导致头部姿态估计准确度受限。使用相机参数可以获得最优的矫正效果，但相机标定过程繁琐，标定成本高，不够灵活。
技术实现思路
1、有鉴于此，为了解决现有采用“两步法”进行的头部姿态估计方法中严重依赖于图像矫正的质量，进而导致头部姿态估计准确度受限的技术问题，本专利技术提出一种面向鱼眼图像的人体头部姿态估计方法，所述方法包括以下步骤：
2、基于骨干模块、位置特征提取模块、位置估计模块和姿态估计模块构
3、对所述估计网络进行训练，得到训练完成的估计网络；
4、获取鱼眼图像；
5、对所述鱼眼图像进行人脸检测并进行裁剪，得到预处理后的图像；
6、将所述预处理后的图像输入至所述训练完成的估计网络，生成头部姿态欧拉角。
7、可选的，还包括：
8、根据所述头部姿态欧拉角，在所述鱼眼图像进行欧拉角投影。
9、通过该优选步骤，对欧拉角进行可视化，可以让网络输出的结果更加直观。
10、可选的，所述对所述鱼眼图像进行人脸检测并进行裁剪，得到预处理后的图像这一步骤，其具体包括：
11、利用人脸检测器对所述鱼眼图像进行人脸检测，得到人脸信息；
12、基于所述人脸信息对所述鱼眼图像进行裁切和人脸对齐处理，得到人脸图像；
13、对所述人脸图像进行缩放和归一化处理，得到预处理后的图像。
14、通过该优选步骤，在检测到符合要求的人脸后进行图像预处理，以生成用于输入至估计网络的人脸图像。
15、可选的，所述对所述估计网络进行训练，得到训练完成的估计网络这一步骤，其具体包括：
16、构建鱼眼图像训练集；
17、基于所述鱼眼图像训练集对所述估计网络进行训练，结合交叉熵损失函数和均方误差损失函数计算损失值；
18、对所述损失值进行加权和，得到总损失；
19、基于所述总损失对所述估计网络进行参数调整，得到训练完成的估计网络。
20、其中，所述总损失的计算公式如下：
21、
22、其中，表示总损失，λ1和λ2表示不同的超参数，表示俯仰角损失，表示偏航角损失、表示翻滚角损失、表示归一化径向距离损失和表示极角损失。
23、可选的，所述构建鱼眼图像训练集这一步骤，其具体包括：
24、获取直线图像的头部姿态数据集；
25、针对所述头部姿态数据集中直线图像的目标人物，创建空白画布；
26、对所述空白画布构建极坐标系；
27、基于映射函数，将所述直线图像中的人脸边界框区域替换至所述空白画布上的相应区域，得到合成鱼眼图像；
28、根据所述合成鱼眼图像进行人脸区域裁剪，整合得到鱼眼图像训练集。
29、其中，映射函数的公式如下：
30、
31、
32、其中，(x，y)表示直线图像中任意像素的归一化坐标，r表示(x'，y')到坐标原点的径向距离，(x”，y”)表示(x，y)在对应的鱼眼图像中的位置，e表示自然常数，(x'，y')表示映射过程中的中间变量。
33、通过该优选步骤，基于公开的直线图像头部姿态数据集转化为鱼眼图像版本。
34、可选的，所述将所述预处理后的图像输入至所述训练完成的估计网络，生成头部姿态欧拉角这一步骤，其具体包括：
35、将所述预处理后的图像输入至所述训练完成的估计网络；
36、基于骨干模块对所述预处理后的图像进行特征提取，得到初步特征；
37、基于位置特征提取模块对所述初步特征进行位置特征学习，得到位置特征；
38、基于位置估计模块对所述位置特征进行映射，生成头部位置的极坐标；
39、将所述初步特征和所述位置特征进行融合，得到融合特征；
40、基于姿态估计模块对所述融合特征进行欧拉角估计，生成头部姿态欧拉角。
41、通过该优选步骤，利用“单步法”的头部姿态估计网络，直接从鱼眼图像中估计头部姿态。
42、本专利技术还提出了一种面向鱼眼图像的人体头部姿态估计系统，所述系统包括：
43、网络构建单元，基于骨干模块、位置特征提取模块、位置估计模块和姿态估计模块构建估计网络；
44、网络训练单元，用于对所述估计网络进行训练，得到训练完成的估计网络；
45、图像获取单元，用于获取鱼眼图像；
46、人脸检测单元，用于对所述鱼眼图像进行人脸检测并进行裁剪，得到预处理后的图像；
47、应用单元，用于将所述预处理后的图像输入至所述训练完成的估计网络，生成头部姿态欧拉角。
48、本专利技术还提出了一种面向鱼眼图像的人体头部姿态估计装置，包括：
49、至少一个处理器；
50、至少一个存储器，用于存储至少一个程序；
51、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种面向鱼眼图像的人体头部姿态估计方法。
52、基于上述方案，本专利技术提供了一种面向鱼眼图像的人体头部姿态估计方法及系统，构建一种“单步法”的头部姿态估计网络，能够直接从具有较大畸变的鱼眼图像中估计人物的头部姿态，无需进行图像矫正或相机标定，该方法利用了鱼眼畸变与位置有关的特性，同时学习头部姿态和头部位置，提高了头部姿态估计准确度。
本文档来自技高网...【技术保护点】
1.一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，还包括：
3.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述对所述鱼眼图像进行人脸检测并进行裁剪，得到预处理后的图像这一步骤，其具体包括：
4.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述对所述估计网络进行训练，得到训练完成的估计网络这一步骤，其具体包括：
5.根据权利要求4所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述总损失的计算公式如下：
6.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述构建鱼眼图像训练集这一步骤，其具体包括：
7.根据权利要求6所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述映射函数的公式如下：
8.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述将所述预处理后的图像输入至所述训练完成的估计网络
9.一种面向鱼眼图像的人体头部姿态估计系统，其特征在于，包括：
10.一种面向鱼眼图像的人体头部姿态估计装置，其特征在于，包括：
...【技术特征摘要】
1.一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，还包括：
3.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述对所述鱼眼图像进行人脸检测并进行裁剪，得到预处理后的图像这一步骤，其具体包括：
4.根据权利要求1所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述对所述估计网络进行训练，得到训练完成的估计网络这一步骤，其具体包括：
5.根据权利要求4所述一种面向鱼眼图像的人体头部姿态估计方法，其特征在于，所述总损失的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。