一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统技术方案

一种基于深度相机的导览机器人感知行人三维空间信息的方法，包括：1)机器人端获取深度相机的RGB图片及Depth图片，进行预处理后传输到云端服务器；2)根据云端部署的多目标跟踪方法及二维人体关键点检测网络获取每一个跟踪到的行人的二维关键点坐标，结合Depth图片与RGB图片的映射关系获取行人的三维关键点坐标；3)根据深度相机与激光雷达联合标定的坐标转换矩阵获取机器人坐标系下的行人三维关键点坐标并输出行人三维空间信息；4)机器人根据获取到的行人三维空间信息进行本体控制，完成自主唤醒等智能导览任务；采用基于视觉感知方法提升导览机器人的自然交互体验。本发明专利技术能用于展厅等公共场景下导览机器人对行人的三维空间信息的智能感知。空间信息的智能感知。空间信息的智能感知。

【技术实现步骤摘要】
一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统


[0001]本专利技术涉及机器视觉领域，尤其涉及一种基于深度相机的导览机器人感知行人三维空间信息的方法。

技术介绍

[0002]导览机器人在展厅、博物馆等公共场所中可以代替人工讲解员进行智能化服务，从而节省人力。行人作为该场景下的重点行为主体，导览机器人需要对其进行实时感知及智能分析，从而在人机交互中实现更加拟人化的服务，提升用户体验。
[0003]视觉是机器人获取外部信息的重要方式。对包含行人目标的图像进行二维人体关键点检测的方法只能获取2D图像信息，而行人与机器人的交互行为发生在真实的三维世界中，所以需要获取行人在三维空间中感知信息。利用深度相机获取人体关键点的三维坐标，采用非接触式的方法，可以为导览机器人自主唤醒等拟人化交互功能提供可靠地行人三维空间信息。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于深度相机的导览机器人感知行人三维空间信息的方法，本专利技术采用如下的技术方案：
[0005]一种基于深度相机的导览机器人感知行人三维空间信息的方法，包括以下步骤：
[0006]步骤S1机器人端采集深度相机的RGB图片和Depth图片，并进行时间对齐和空间对齐，将经过深度图降采样、图片编码等预处理操作的图片数据传输到云端服务器；
[0007]步骤S2利用云端部署的多目标跟踪方法及二维人体关键点检测方法获取每一个跟踪到的行人的二维关键点坐标，结合深度图片与RGB图片的映射关系获取行人的三维关键点坐标；
[0008]步骤S3根据深度相机与激光雷达联合标定获取坐标系转换矩阵，从而获取机器人坐标系下的行人三维关键点坐标，输出行人三维空间信息；
[0009]步骤S4机器人端通过访问云端服务器获取行人三维空间信息进行本体控制，完成自主唤醒等智能导览任务。
[0010]进一步的，所述步骤S1中的深度相机的RGB图片和Depth图片进行时间对齐是指通过时间戳获取同一时间下的一帧RGB图片和一帧Depth图片进行对齐；空间对齐是将Depth深度图片对齐到RGB彩色图片；
[0011]进一步的，所述步骤S1中深度图降采样的缩放系数为kh，kw，原始深度图尺寸为[W，H]，降采样后的尺寸为[W/kw，H/kh]；机器人端将采集到的原始RGB彩色图片及降采样后的Depth深度图片进行编码，然后通过Redis消息中间件发送至云端服务器。
[0012]进一步的，所述步骤S2包含如下步骤：
[0013]S2.1采用基于检测的两阶段的多目标跟踪方法方法，即采用YOLOV5+DeepSort的
方法获取连续帧下的每张图片中的每个行人目标的ID和检测框；
[0014]S2.2采用自顶向下(TopDown)的二维人体关键点检测方法进行行人人体关键点检测，二维关键点检测网络使用Lite
‑
HRNet
‑
18，输入为根据上一步骤的检测框裁剪出的每个行人目标图片，并使用标准化处理缩放到统一尺寸，输出为人体关键点二维坐标[17，3]，其中17表示人体关键点数量，3表示关键点在原始RGB图片中的二维像素坐标x，y和置信度c，c的取值范围为0
‑
1；
[0015]S2.3结合深度图片与RGB图片的映射关系获取行人的三维关键点坐标，根据缩放系数查找RGB图片中二维关键点(x，y)在深度图中对应的像素坐标(u，v)及相应的深度值d[u，v]，其中u＝round(u/kw)，v＝round(u/kh)，round表示取整，如果d不存在，则根据该点水平方向[u
‑
pts，u+pts]与垂直方向[v
‑
pts，v+pts]包围的矩形区域内的深度点集合取中值进行估算，其中pts为有效像素个数，pts＝3；
[0016]S2.4获取相机坐标系下的行人三维关键点坐标，根据二维关键点(x,y)对应的深度值结合相机内参进行计算，获取相机坐标系下的人体三维关键点P[Xc,Yc,Zc]：
[0017]Zc＝d[u，v][0018]Yc＝(v
‑
cy)
×
d[u，v]/fy
[0019]Xc＝(u
‑
cx)
×
d[u，v]/fx
[0020]其中，u，v为二维关键点(x，y)在深度图中对应的行列值，d[u，v]表示该像素坐标下的深度值，(cx，cy)为图像原点相对于光心成像点的横纵偏移量，fx为水平方向的焦距，fy为垂直方向的焦距。
[0021]进一步地，所述步骤S3包括如下步骤：
[0022]S3.1采用棋盘格标定板进行深度相机与激光雷达联合标定，根据单线激光雷达落在标定板上的激光点并采集标定图片，利用其在激光坐标系的坐标和平面方程在相机坐标系下的坐标，构建点在平面上的约束并求解两个坐标系的转换矩阵，包括旋转矩阵R
c2l
和平移矩阵T
c2l
；
[0023]S3.2根据相机坐标系与激光雷达坐标系的转换矩阵，获取行人在机器人坐标系下的三维关键点坐标:P(Xw,Yw,Zw)＝R
c2l
×
P(Xc，Yc，Zc)+T
c2l
，所述机器人坐标系与激光雷达坐标系相一致；
[0024]S3.3获取行人三维空间信息包括行人到机器人的空间距离Distacne(简称Dis)及行人高度Height(简称Hp)，根据行人三维关键点信息计算行到机器人的空间距离：其中X，Y，Z表示行人在机器人坐标系下的三维空间坐标，可以通行人的三维关键点获取：的三维关键点获取：N表示人体关键点个数：N＝17；行人高度Hp是以行人鼻子(nose)关键点为准。
[0025]进一步地，所述步骤S4包括如下步骤：
[0026]S4.1导览机器人通过消息中间件访问云端服务器，获取行人实时三维空间信息，根据行人与机器人的距离信息及预设阈值，判断是否激活导览机器人，当Dis>3m时，导览机器人状态机处于睡眠状态，能耗较低；当Dis≤3m时，导览机器人则从睡眠状态转为激活状态，从而实现基于视觉信息的机器人主动唤醒任务；
[0027]S4.2根据上一步骤判断导览机器人当前状态，当导览机器人处于睡眠状态时，机
器人头部处于初始状态，水平及垂直转动角度均为零度；当导览机器人处于激活状态时，根据行人鼻子的三维关键点坐标计算行人与机器人头部的角度，获取行人相对于机器人垂直方向的旋转角度θ1和水平方向的旋转角度θ2，机器人通过运动控制单元控制机器人头部实现两个自由度的旋转到达指定角度。根据行人鼻子关键点三维坐标(Xn,Yn,Zn)获取行人高度为Hp，H
p
＝Zn+0.20,单位为m，其中0.20为机器人底盘激光雷达到地面的距离，H
head
机器人头部旋转轴到地面的距离，H
head
＝1.25m，行人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于，包括以下步骤：步骤S1机器人端采集深度相机的RGB图片和Depth图片，并进行时间对齐和空间对齐，将经过深度图降采样、图片编码等预处理操作的数据传输到云端服务器；步骤S2利用云端部署的多目标跟踪方法及二维人体关键点检测方法获取每一个跟踪到的行人目标的人体二维关键点坐标，结合Depth深度图与RGB图片的映射关系获取行人的三维关键点坐标；步骤S3根据深度相机与激光雷达联合标定获取坐标系转换矩阵，从而获取机器人坐标系下的行人三维关键点坐标，输出行人三维空间信息；步骤S4机器人端通过访问云端服务器获取行人三维空间信息并进行本体控制，完成自主唤醒等智能导览任务。2.如权利要求1所述的一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于：步骤S1具体包括：S1.1所述步骤S1中的深度相机的RGB图片与Depth图片进行时间对齐是指通过时间戳获取同一时间下的一帧RGB图片和一帧Depth图片进行对齐；空间对齐是将Depth深度图片对齐到RGB彩色图片；S1.2所述步骤S1中深度图降采样的缩放系数为kh，kw，原始深度图尺寸为[W，H]，降采样后的尺寸为[W/kw,H/kh]；机器人端将采集到的原始RGB彩色图片及降采样后的Depth深度图片进行编码，然后通过Redis消息中间件发送至云端服务器。3.一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于：步骤S2具体包括：S2.1所述步骤S2中多目标跟踪方法采用基于检测的两阶段方法，即采用YOLOV5+DeepSort的方法获取连续帧下的每张图片中的每个行人目标的ID和检测框；S2.2所述步骤S2中二维关键点检测采用自顶向下(TopDown)的方法，二维关键点检测网络使用Lite
‑
HRNet
‑
18，输入是根据上一步骤检测框裁剪出的每个行人目标图片，并使用标准化处理缩放到统一尺寸，输出为人体关键点二维坐标；S2.3所述步骤S3结合Depth深度图与RGB图片的映射关系获取行人的三维关键点坐标，根据缩放系数查找RGB图片中二维关键点(x,y)在深度图中对应的像素坐标(u,v)及相应的深度值d[u，v]，其中u＝round(u/kw)，v＝round(u/kh)，round表示取整，如果d不存在，则根据该点水平方向[u
‑
pts，u+pts]与垂直方向[v
‑
pts，v+pts]包围的矩形区域内的深度点集合取中值进行估算，其中pts为有效像素个数；S2.4所述步骤S3获取相机坐标系下的行人三维关键点坐标，根据二维关键点(x,y)对应的深度值结合相机内参进行计算，获取相机坐标系下的人体三维关键点P[Xc,Yc,Zc]：Zc＝d[u，v]Yc＝(v
‑
cy)
×
d[u，v]/fyXc＝(u
‑
cx)
×
d[u，v]/fx其中，u，v为二维关键点(x,y)在深度图中对应的行列值，d[u，v]表示该像素坐标下的深度值，(cx，cy)为图像原点相对于光心成像点的横纵偏移量，fx为水平方向的焦距，fy为垂直方向的焦距。
4.一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于：步骤S2具体包括：步骤S2.2所述的人体关键点二维坐标是[17,3]，其中17表示人体关键点数量，3表示关键点在原始RGB图片中的二维像素坐标x，y和置信度c，c的取值范围为0
‑
1；步骤S2.3所述的有效像素个数pts＝3。5.如权利要求1所述的基于一种基于深度相机的导览机器人感知行人三维空间信息的方法，其特征在于：步骤S3具体包括：S3.1所述深度相机与激光雷达联合标定采用棋盘格标定板进行标定，根据单线激光雷达落在标定板上的激光点并采集标定图片，利用其在激光坐标系的坐标和平面方程在相机坐标系下的坐标，构建点在平面上的约束并求解...

【专利技术属性】
技术研发人员：朱世强，寄珊珊，王文，宛敏红，张春龙，李特，林哲远，黄敏，
申请(专利权)人：之江实验室，
类型：发明
国别省市：