基于多视角图像和稀疏点云的三维人体姿态估计方法技术

本申请提出了一种基于多视角图像和稀疏点云的三维人体姿态估计方法，涉及3D视觉领域，包括：对多视角RGB信息与初始点云数据进行体素化预处理，确定第一模态体素数据与第二模态体素数据；根据三维卷积对第一模态体素数据与第二模态体素数据进行初步特征提取，确定第一模态初始特征信息与第二模态初始特征信息；将第一模态初始特征信息与第二模态初始特征信息进行融合，并对融合信息进行特征提取，确定三维姿态热图结果；根据三维姿态热图结果，确定三维人体姿态关节点坐标。本申请通过利用体素空间的表示方法，将多视角二维姿态信息与点云信息统一到同一体素空间下进行特征融合，进而确定出三维姿态表示，提升精度与准确度。提升精度与准确度。提升精度与准确度。

【技术实现步骤摘要】
基于多视角图像和稀疏点云的三维人体姿态估计方法


[0001]本申请涉及3D视觉领域，尤其涉及一种基于多视角图像和稀疏点云的三维人体姿态估计方法。

技术介绍

[0002]场景分析一直是视觉领域中的关键问题，它利用场景中的传感器信息提取出场景中的属性或者重要的前景特征，例如可实现场景中前景目标的检测与跟踪，场景语义分割等。三维人体姿态估计是利用传感器信息对场景中的行人身体骨架关节点进行定位，并恢复出完整的行人骨架信息，其相较于定位、跟踪、或者分割等任务更加复杂且困难。在三维人体姿态估计领域，已经存在一些方法可以实现每关节点2cm以内的误差表现，但他们的实现场景都在室内，且场景面积较小；另一方面，当前多数低误差的三维姿态估计方法依赖于多视角的二维姿态检测，当将应用场景转变到大场景后，前端的二维姿态检测效果会下降，从而使得此类方法在应用到大场景下的人体姿态检测时并没有较好的表现。
[0003]随着激光雷达技术成熟，利用激光雷达和相机采集场景信息成为可能，但由于激光雷达发射激光束的限制，在较大场景下采集，得到的点云数据通常比较稀疏。另一方面，在大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角图像和稀疏点云的三维人体姿态估计方法，其特征在于，包括：对多视角二维姿态RGB信息与初始点云数据进行体素化预处理，确定第一模态体素数据与第二模态体素数据；根据三维卷积对所述第一模态体素数据与所述第二模态体素数据进行初步特征提取，确定第一模态初始特征信息与第二模态初始特征信息；将所述第一模态初始特征信息与所述第二模态初始特征信息进行融合，并对融合信息进行特征提取，确定三维姿态热图结果；根据所述三维姿态热图结果，确定三维人体姿态关节点坐标。2.根据权利要求1所述的方法，其特征在于，所述对多视角RGB信息与初始点云数据进行体素化预处理，确定第一模态RGB体素数据与第二模态点云体素数据，包括：对体素空间进行划分，确定所述体素空间每个体素所对应的实际空间坐标；通过二维姿态检测算法从所述多视角RGB信息中提取出二维姿态热图，并将所述二维姿态热图反投影至所述体素空间，确定所述第一模态体素数据；通过所述实际空间坐标将所述初始点云数据映射至所述体素空间，确定所述第二模态体素数据。3.根据权利要求2所述的方法，其特征在于，所述对体素空间的进行划分，确定所述体素空间每个体素所对应的实际空间坐标，包括：确定所述体素空间的划分方式，其中，对于需要划分的物理尺寸大小为X
×
Y
×
Z与分辨率为K
×
W
×
H的所述体素空间，根据所述物理尺寸大小与所述分辨率，确定三维尺度下体素在量化后对应的物理尺寸为根据所述初始点云数据确定行人位置以及中心坐标c；根据所述行人位置、所述中心坐标c以及所述体素空间的划分方式，确定所述体素空间每个体素所对应的实际空间坐标0
i
＝(x
i
，y
i
，z
i
)。4.根据权利要求2所述的方法，其特征在于，所述确定所述第一模态体素数据，包括：根据相机参数确定所述体素代表的物理坐标O
i
＝(x
i
，y
i
，z
i
)；对于所述二维姿态热图P
v
，若所述体素投影到二维像素空间中的二维坐标为Q
i
＝π(O
i
)，则所述二维坐标Q
i
为所述二维姿态热图P
v
的热图特征索引，其中，P
v
∈R
C
×
W
×
H
；联合所述二维坐标Q
i
索引的V个视角热图特征，确定所述第一模态体素数据A，其中，A∈R
C
×
K
×
W
×
H
。5.根据权利要求4所述的方法，其特征在于，所述联合...

【专利技术属性】
技术研发人员：冯建江，潘治宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：