一种多视角融合的三维行人姿态估计与追踪方法技术

本发明专利技术公开了一种多视角融合的三维行人姿态估计与追踪方法，用于路口人行横道场景中的行人监控，利用二维图像在三维空间中估计并追踪行人的姿态，获取行人物理的位置、速度等信息。本发明专利技术通过人行横道实际中的位置与其在二维图像中投影的映射关系去构建路口三维模型，并通过对图像流进行高维特征提取估计行人的三维姿态，最后结合多路口传感器的信息融合并追踪行人，得到行人的运动信息。本发明专利技术在三维空间进行追踪和运动分析，相比于二维空间的分析更能准确的获取行人的位置和运动状态；提取具有时空信息的高维特征张量，避免了传感器单视角下行人的遮挡问题；利用多传感器下行人的信息，实现多角度全面的行人姿态融合。实现多角度全面的行人姿态融合。实现多角度全面的行人姿态融合。

【技术实现步骤摘要】
一种多视角融合的三维行人姿态估计与追踪方法


[0001]本专利技术涉及一种多视角融合的三维行人姿态估计与追踪方法，属于行人姿态估计与追踪领域。

技术介绍

[0002]行人追踪技术是一种计算机视觉技术，可以使用摄像头和相关的软件程序来自动追踪行人的动态信息，例如他们的位置、方向和速度。这种技术在许多领域都有应用，包括安全监控、智能交通系统、运动分析和人群管理等。
[0003]目前行人追踪通常是在二维图像上进行的，这些图像通常来自摄像机或其他类似的视频设备。行人追踪系统的目的是识别图像中的行人，并且能够跟踪行人在图像中的运动。这样可以帮助系统跟踪人群动态，有助于改善交通流量管理、安全监控和人群控制等方面的工作。
[0004]在二维图像中，行人可能会被其他物体遮挡，这可能会导致追踪算法无法准确地追踪行人。同时，行人所处的环境可能会发生变化，例如光照变化或背景变化，这也会对追踪算法造成挑战。
[0005]三维空间中的行人追踪相比二维图像上的行人追踪有一些优点。首先，三维空间中的行人追踪更容易识别行人的三维姿态，这对于识别行人的动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角融合的三维行人姿态估计与追踪方法，包括空间三维模型构建步骤S10，行人三维姿态估计步骤S20，多传感器信息融合和追踪步骤S30，其特征在于：空间三维模型构建步骤S10，利用场景中人行横道的二维语义信息和三维位置信息获取二维空间和三维空间的射影变换矩阵，进一步包括：步骤S101：构建空间模型；以路口的中心为三维空间原点，以东方为x轴正方向，北方为y轴正方向，上方为z轴正方向，构建路口三维空间坐标系；测量各个传感器在路口三维空间坐标系的位置，并测量人行横道在真实世界中的长宽、人行横道中点在路口三维空间坐标系的位置，确定人行横道每一根斑马线的位置；步骤S102：检测斑马线位置信息；利用传感器采集到的图像，提取像素纹理、形状、梯度等语义信息，并回归出每根斑马线的图像位置及其概率；步骤S103：获取射影变换矩阵；利用每根斑马线的图像位置即其在路口三维空间坐标系中的位置，根据相机投影模型确定二维图像空间和路口三维空间的射影变换矩阵组，并根据每根斑马线的回归概率对射影变换矩阵组进行加权求积，得到最终的射影变换矩阵；行人三维姿态估计步骤S20，结合传感器采集图像流的时空信息获取每个行人的三维姿态，进一步包括：步骤S201：检测行人的二维空间位置；首先对图像流进行特征提取，得到具有时空信息的高维特征张量，接着将特征张量分割成若干长宽一致的矩形特征块，然后用不同大...

【专利技术属性】
技术研发人员：刘泰廷，吴佳昱，
申请(专利权)人：南京美基森信息技术有限公司，
类型：发明
国别省市：