基于ZED立体相机的行人空间信息感知方法及装置制造方法及图纸

本发明专利技术公开了基于ZED立体相机的行人空间信息感知方法及装置，主要用于展厅等公共场景下导览机器人对行人的空间位置及移动速度的智能感知。利用ZED双目视觉相机采集场景下的实时数据并上传至云端服务器；将预处理后RGB数据输入到部署好的人体关键点检测网络获取人体关键点二维信息，根据行人上半身主干区域的人体二维关键点信息生成行人包围框；对连续多帧下的多目标行人进行持续跟踪；结合点云数据获取相应区域的人体关键点三维空间坐标，并计算行人空间位置及移动速度；最后导览机器人根据获取到的行人空间信息进行本体移动控制，完成自主跟随及避障等智能导览任务，从而增加导览机器人的灵活性，提升参观者的交互体验。提升参观者的交互体验。提升参观者的交互体验。

【技术实现步骤摘要】
基于ZED立体相机的行人空间信息感知方法及装置


[0001]本专利技术涉及机器视觉领域，尤其是涉及了基于ZED立体相机的行人空间信息感知方法及装置。

技术介绍

[0002]展厅、博物馆等公共场所中采用智能导览机器人代替人工讲解员可以有效的节省人力。导览机器人需要对所处环境进行智能感知，而行人作为场景中的动态目标具有不确定性，对行人的空间位置及移动速度等空间信息进行智能感知具有重要意义。
[0003]视觉是机器人获取外部信息的重要方式。根据2D图像首先获取行人检测框，然后再根据坐标系转换关系及深度信息或者点云信息获取行人空间位置信息，这种方法依赖于行人检测框的精准度，而行人具有柔性及身体姿态不断变化的特性，传统的行人检测包围框在行人肢体变化时会存在大量背景噪声，导致后续的基于此包围框进行2D到3D空间转换也存在较大误差，从而进一步影响行人空间位置及移动速度的估计。

技术实现思路

[0004]为解决现有技术的不足，实现提高识别行人空间位置及行人移动速度的精度的目的，本专利技术采用如下的技术方案：一种基于立体相机的行人空间信息感知方法，包括如下步骤：步骤S1：获取立体相机实时图像数据，包括RGB图像数据和点云数据；步骤S2：通过RGB图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；对生成的行人包围框按比例进行扩展，将扩展的行人包围框作为行人检测框。由于生成的行人包围框为行人最小的包围框，考虑最小行人包围框仅仅只是行人骨架的最小包围框，需要对最小行人包围框进行扩展；扩展的行人包围框与最小行人包围框的面积比值为1.2；步骤S3：根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；步骤S4：对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。
[0005]进一步地，所述步骤S2中，获取RGB图像数据，采用人体关键点检测网络进行前向推理，输出关键点热力图和部分关联域，根据关键点热力图和部分关联域提取二维关键点并进行分组，将属于同一行人的二维关键点匹配到当前行人上，得到当前图像中每个行人的二维关键点坐标。
[0006]进一步地，所述步骤S3包括如下步骤：
步骤S3.1：根据行人检测框，获取行人运动特征；根据二维关键点相似度特征，获取行人的外观特征；步骤S3.2：根据行人运动特征和行人的外观特征，得到当前t时刻下的行人实测状态信息；步骤S3.3：将历史轨迹与t时刻下的行人实测状态信息进行数据关联，得到t时刻下每个行人的ID；数据关联的目的是将当前时刻的检测结果与历史轨迹通过外观、几何等特征进行匹配，以此确定当前帧检测出的每个人的ID；步骤S3.4：通过t时刻下每个行人的ID，更新历史轨迹，从而对行人进行持续跟踪。
[0007]进一步地，所述步骤S3.1中的二维关键点相似度特征，采用目标关键点相似性评价指标OKS进行相似度计算，并通过预设阈值判断二维关键点是否关联。
[0008]进一步地，所述步骤S3.3中的数据关联，是对各帧进行运动特征和外观特征两种关联，进行线性加权，得到最终的关联矩阵，根据此关联矩阵采用匈牙利匹配算法得到各帧间行人匹配结果。
[0009]进一步地，所述步骤S4包括如下步骤：步骤S4.1：根据所述行人上半身主干区域，结合二维关键点置信度进行筛选，根据筛选后的二维关键点，获取点云数据，得到行人关键点的三维坐标集合；步骤S4.2：对于每一个行人目标，根据其关键点的三维坐标集合，计算三维坐标均值作为行人目标的空间位置坐标；并根据欧式距离计算行人相对于立体相机的实际距离，根据当前时刻的行人空间位置坐标及上一时刻的行人空间位置坐标，计算在当前时刻与上一时刻的时间间隔下，行人相对于立体相机的移动距离，再结合所用时间，得到当前时刻下的行人移动速度。
[0010]进一步地，所述步骤S4.2中行人移动速度公式如下：其中，X、Y、Z分别为行人的三维空间位置坐标，i表示当前跟踪到的行人ID，t表示当前帧的时间，、、表示行人在当前帧下相对于立体相机的空间位置坐标，、、分别表示在时刻下相对立体相机的空间位置坐标，， m表示帧间隔数，f为立体相机帧率。
[0011]一种基于立体相机的行人空间信息感知装置，包括实时图像数据获取模块、行人检测框获取模块、多目标跟踪模块、实时空间信息生成模块；所述实时图像数据获取模块，通过立体相机获取RGB图像数据和点云数据；所述行人检测框获取模块，通过RGB图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；所述多目标跟踪模块，根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；所述实时空间信息生成模块，对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间
位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。
[0012]一种基于ZED相机的行人空间信息感知方法，根据所述的基于立体相机的行人空间信息感知方法，采用设置在导览机器人上的ZED双目视觉相机采集实时图像数据，并传输至云端服务器进行行人检测框获取、多目标跟踪和生成实时空间信息，其中对RGB图像进行预处理，包括调整图像尺寸resize及编码，以提高后续的数据传输效率，预处理后的数据通过消息中间件传输至云端服务器，ZED双目视觉相机的视域范围与行人上半身主干区域配合设置，根据行人动态特性以及与导览机器人上ZED双目视觉相机的视域范围，确定行人上半身主干区域，云端服务器将行人相对于ZED双目视觉相机的实时空间信息传输至导览机器人，导览机器人根据所述实时空间信息进行本体的移动控制，完成导览任务。
[0013]一种基于ZED相机的行人空间信息感知装置，包括云端服务器和设置在导览机器人上的ZED双目视觉相机，所述云端服务器包括行人检测框获取模块、多目标跟踪模块、实时空间信息生成模块；所述ZED双目视觉相机实时获取RGB图像数据和点云数据，并传输至云端服务器；所述行人检测框获取模块，通过RGB图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；其中ZED双目视觉相机的视域范围与行人上半身主干区域配合设置，根据行人动态特性以及与导览机器人上ZED双目视觉相机的视域范围，确定行人上半身主干区域；所述多目标跟踪模块，根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；所述实时空间信息生成模块，对于持续跟踪到的行人，根据其二维关键点信息结合点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于立体相机的行人空间信息感知方法，其特征在于包括如下步骤：步骤S1：获取立体相机实时图像数据，包括RGB图像数据和点云数据；步骤S2：通过RGB图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；步骤S3：根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；步骤S4：对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。2.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S2中，获取RGB图像数据，采用人体关键点检测网络进行前向推理，输出关键点热力图和部分关联域，根据关键点热力图和部分关联域提取二维关键点并进行分组，将属于同一行人的二维关键点匹配到当前行人上，得到当前图像中每个行人的二维关键点坐标。3.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3包括如下步骤：步骤S3.1：根据行人检测框，获取行人运动特征；根据二维关键点相似度特征，获取行人的外观特征；步骤S3.2：根据行人运动特征和行人的外观特征，得到当前t时刻下的行人实测状态信息；步骤S3.3：将历史轨迹与t时刻下的行人实测状态信息进行数据关联，得到t时刻下每个行人的ID；步骤S3.4：通过t时刻下每个行人的ID，更新历史轨迹。4.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3.1中的二维关键点相似度特征，采用目标关键点相似性评价指标OKS进行相似度计算，并通过预设阈值判断二维关键点是否关联。5.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3.3中的数据关联，是对各帧进行运动特征和外观特征两种关联，进行线性加权，得到最终的关联矩阵，根据此关联矩阵采用匈牙利匹配算法得到各帧间行人匹配结果。6.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S4包括如下步骤：步骤S4.1：根据所述行人上半身主干区域，结合二维关键点置信度进行筛选，根据筛选后的二维关键点，获取点云数据，得到行人关键点的三维坐标集合；步骤S4.2：对于每一个行人目标，根据其关键点的三维坐标集合，计算三维坐标均值作为行人目标的空间位置坐标；并根据欧式距离计算行人相对于立体相机的实际距离，根据当前时刻的行人空间位置坐标及上一时刻的行人空间位置坐标，计算在当前时刻与上一时刻的时间间隔下，行人相对于立体相机的移动距离，再结合所用时间，得到当前时刻下的行人移动速度。7.根据权利要求6所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步
骤S4.2中行人移动速度公式如下：其中，X、Y、Z分别为行人的三维空间位置坐标，i表示当前跟踪到的行人ID，t表示当前帧的时间，、、表示行人在当前帧下相对于立体相机的空间位置坐标，、...

【专利技术属性】
技术研发人员：寄珊珊，李特，朱世强，孟启炜，王文，宛敏红，
申请(专利权)人：之江实验室，
类型：发明
国别省市：