一种多深度相机融合的人体空间定位与跟踪方法技术

本发明专利技术涉及一种多深度相机融合的人体空间定位与跟踪方法，具体包括以下步骤：S1.获取RGB‑D相机拍摄的连续的RGB图像、深度图像以及RGB‑D图像，转换为点云并融合，得到图像点云；S2.根据PCL点云库进行检测，提取出目标对象的点云作为目标点云；S3.根据目标点云，通过点云匹配和粒子滤波算法进行空间定位；S4.空间定位内的点云作为搜索区域点云，目标点云作为目标模版点云输入Point‑to‑Box网络，训练得到跟踪器模型，通过跟踪器模型检测连续的RGB‑D图像中的目标对象，实现对目标对象的跟踪。与现有技术相比，本发明专利技术具有减少多行人重叠遮挡下的检测与跟踪误差、提高目标对象检测跟踪的稳定性等优点。

【技术实现步骤摘要】
一种多深度相机融合的人体空间定位与跟踪方法
本专利技术涉及计算机图像处理
，尤其是涉及一种多深度相机融合的人体空间定位与跟踪方法。
技术介绍
视觉跟踪问题是当前计算机视觉领域中的热点问题，而在动态环境中对运动目标进行实时、鲁棒的跟踪是其重要的组成部分，视觉跟踪在自动监控、人机交互、医学图像处理、虚拟现实等领域有着广泛的应用口。常用的用于目标跟踪平台有OpenCV和点云库(PointCloudLibrary，PCL)，均为用于计算机视觉和图像处理的开源平台，但是侧重点不同，OpenCV主要针对2D信息获取与处理，PCL主要用于在3D信息获取与处理。三维图像包含颜色信息和深度信息，对光照的敏感性较低，Kinect是常用的深度相机，可以获取红外图像、深度图像、彩色图像以及点云数据。目前大多数算法把目标跟踪问题细化为目标检测、数据关联以及目标模型更新共3个子问题，传统的目标跟踪采用先检测后跟踪的两步法跟踪策略，跟踪稳定的必要条件是能准确持续地检测目标。然而，点云数据因频繁受到遮挡，或观测视角变化的影响，常出现过分割和欠分割，目标点云检测结果具有不本文档来自技高网...

【技术保护点】
1.一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，具体包括以下步骤：/nS1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；/nS2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；/nS3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；/nS4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络...

【技术特征摘要】
1.一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，具体包括以下步骤：
S1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；
S2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；
S3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；
S4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪。


2.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：
S21.将所述图像点云分为正样本和负样本，提取所述正样本和负样本的方向梯度直方图特征；
S22.所述正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；
S23.根据所述目标对象的检测模型生成检测子；
S24.根据所述检测子检测负样本，得到标对象的困难样本；
S25.提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据所述最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。


3.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述RGB-D相机中的深度相机为Kinect深度相机。


4.根据权利要求3所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述Kinect深度相机的数量为2个或2个以上。


5.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S3中粒子滤波具体包括以下步骤：
S31.计算所述目标点云中粒子的权重，形成粒子集合；
S32.根据权重对上一时刻的粒子集合中的粒子进行抽样，根据状态转移概率和抽样得到的粒子的权重计算当前时刻的粒子，并将计算得到的当前时刻的粒子添加到粒子集合中；
S33.计算粒子集合中所有粒子的权值之和；
S34.根据所有粒子的权值之和对所有的粒子的权值进行归一化处理；
S35.输出当前时刻的粒子及其...

【专利技术属性】
技术研发人员：吴强，季晓枫，
申请(专利权)人：上海幻维数码创意科技有限公司，
类型：发明
国别省市：上海;31