一种基于行人轨迹预测的移动机器人路径规划方法技术

本发明专利技术提供了一种基于行人轨迹预测的移动机器人路径规划方法，包括如下步骤：步骤1：检测、跟踪和定位每个行人相对于相机帧的位置，获得组特征；步骤2：将检测到的组特征用于内聚估计，获得群体凝聚力指标；步骤3：利用群体凝聚力指标引入符合社交规则的导航算法。本发明专利技术利用机器人上的RGB

【技术实现步骤摘要】
一种基于行人轨迹预测的移动机器人路径规划方法


[0001]本专利技术属于机器人应用
，具体涉及一种基于行人轨迹预测的移动机器人路径规划方法。

技术介绍

[0002]自传统工业机器人诞生以来，机器人技术在短短的60年内便取得了显著的进步。如今，机器人已经不再受限于工业应用，它的研究重点和发展方向更趋向于日常生活的应用，如餐饮、迎宾、娱乐、陪伴等。在诸多形式的移动机器人中，全向轮式移动机器人又以其灵活的运动学性能而备受关注。而伴随现代传感技术、计算机技术以及人工智能技术的飞速发展，轮式移动机器人的路径规划和运动过程中的避障技术也成为了机器人技术的研究热点。其中，移动机器人越来越多地用于室内和室外环境中拥挤的场景。底层应用包括监视、交付、物流等。在这种情况下，机器人需要以一种不引人注目的方式导航，还需要避免与突然转弯或冻结相关的问题。此外，机器人需要很好地融入物理和社会环境。
[0003]Frozone是一种导航方法，可以解决人群中出现的冷冻机器人问题(Freezing Robot Problem，FRP)。同时，它可以生成对行人不那么突兀的路径。但底层算法计算潜在冻结区(Potential Freezing Zone，PFZ)，它对应于障碍物的配置，其中机器人的规划器在它认为所有速度都可能导致碰撞时停止机器人并开始振荡一段时间。此外，Frozone的公式比较保守，不适合密集人群导航(>1人每平方米)。

技术实现思路

[0004]本专利技术的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种基于行人轨迹预测的移动机器人路径规划方法，并以此改善机器人在拥挤场景中的导航。
[0005]为解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种基于行人轨迹预测的移动机器人路径规划方法，包括如下步骤：
[0007]步骤1：检测、跟踪和定位每个行人相对于相机帧的位置，获得组特征；
[0008]步骤2：将检测到的组特征用于内聚估计，获得群体凝聚力指标；
[0009]步骤3：利用群体凝聚力指标引入符合社交规则的导航算法。
[0010]步骤1中，检测和跟踪的步骤如下：
[0011]步骤1.1，移动机器人的相机获得是在时刻t捕获的宽度为w和高度为h的RGB图像，YOLOv5在时刻t为RGB图像中的每个检测到的行人i输出一组边界框β＝{β
i
}；β
i
使用其在图像空间或像素坐标中的左上角和右下角表示，并为每个检测到的行人i分配一个唯一的整数作为ID；
[0012]其中，β
i
是ID为i的人的边界框；
[0013]步骤1.2，使用深度图像来估计每个检测到的行人相对于相机坐标系的距离，其每个像素都包含图像该位置处物体的接近度，以米为单位；中的像素包含最小
和最大距离范围之间的值，取决于捕获图像的相机；
[0014]其中，是移动机器人的相机在时刻t捕获的宽度为w和高度为h的深度图像；
[0015]获得每个检测到的人相对于相机坐标系的距离后，定义组分类、估计接近度、估计步行速度和方向、估计组大小和检测交互。
[0016]步骤1.2.1，组分类：考虑任何一组人的IDs，IDs为任何一组人的ID的集合，在任何时间t，如果以下条件成立：
[0017][0018]||p
i,t
‑
p
j,t
||2≥||p
i,t
+v
i,t
‑
(p
j,t
+v
j,t
)||2ꢀꢀꢀ
(2)
[0019]那么集合G
k,t
在图像中被归类为一个组；
[0020]其中，ID
t
是在中检测到的人员ID集；p
i,t
为人i在时间t相对于机器人/相机坐标系的位置向量，p
j,t
为人j在时间t相对于机器人/相机坐标系的位置向量，p
i,t
＝(x
i,t
,y
i,t
)，p
j,t
＝(x
j,t
,y
j,t
)，x
i,t
、y
i,t
、x
j,t
、y
j,t
均为机器人/相机坐标系的位置向量；v
i,t
是人i在时间t相对于机器人/相机坐标系的步行速度向量，v
j,t
是人j在时间t相对于机器人/相机坐标系的步行速度向量，
[0021]X
i,t
是卡尔曼滤波器中使用的状态向量，用于在时刻t对人i进行步行向量估计，Γ是手动设置的距离阈值；式(1)确保人们彼此靠近，式(2)确保组成员朝同一方向行走；当|v
i
||,||v
j
||＝0时为静态组，此时只使用式(1)进行分组；
[0022]步骤1.2.2，估计接近度：为了估计t时刻人与人之间的接近度，首先将YOLOv5在RGB图像中检测到的边界框叠加在深度图像上；为了估计人i与相机的距离d
i,t
，计算以为中心的小方块内所有像素值的平均值；人i相对于相机的角位移ψ
i,t
计算为：
[0023][0024]其中，是边界框β
i
的质心，FOV
RGBD
是RGB
‑
D相机的视野，w是YOLOv5算法中的模型参数；人i相对于相机的位置计算为：
[0025][x
i,t
y
i,t
]＝d
i,t
×
[cosψ
i,t
sinψ
i,t
]ꢀꢀꢀ
(4)
[0026]人i和人j之间的距离可以计算为：
[0027][0028]步骤1.2.3，估计步行速度和方向：使用具有恒速运动模型的卡尔曼滤波器来估计中第i个人的步行向量v
i
；中所有检测到的人都使用状态向量X
t
进行建模，中所有检测到的人的ID存储在集合ID
t
中，对于在先前RGB图像中检测到的所有行人，即具有先前初始化状态的行人，此时即为建模前的行人的状态向量X
t
，先使用标准卡尔曼预测和更
新步骤更新他们的状态，再使用具有预设方差的零均值高斯噪声来模拟过程和感测噪声；
[0029]步骤1.2.4，估计组大小：组的大小为集合G
k,t
中ID的数量；
[0030]步骤1.2.5，检测交互：使用两个3
‑
D向量来表示一个人脸在中的位置和方向；
[0031]使用OpenFace在RGB图像上定位人i相对于相机坐标系的面部位置，并获得面部方向的单位向量如果两个人的面部位置和方向满足以下条件，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行人轨迹预测的移动机器人路径规划方法，其特征在于，包括如下步骤：步骤1：检测、跟踪和定位每个行人相对于相机帧的位置，获得组特征；步骤2：将检测到的组特征用于内聚估计，获得群体凝聚力指标；步骤3：利用群体凝聚力指标引入符合社交规则的导航算法。2.根据权利要求1所述的一种基于行人轨迹预测的移动机器人路径规划方法，其特征在于，步骤1中，检测和跟踪的步骤如下：步骤1.1，移动机器人的相机获得是在时刻t捕获的宽度为w和高度为h的RGB图像，YOLOv5在时刻t为RGB图像中的每个检测到的行人i输出一组边界框β＝{β
i
}；β
i
使用其在图像空间或像素坐标中的左上角和右下角表示，并为每个检测到的行人i分配一个唯一的整数作为ID；其中，β
i
是ID为i的人的边界框；步骤1.2，使用深度图像来估计每个检测到的行人相对于相机坐标系的距离，其每个像素都包含图像该位置处物体的接近度，以米为单位；中的像素包含最小和最大距离范围之间的值，取决于捕获图像的相机；其中，是移动机器人的相机在时刻t捕获的宽度为w和高度为h的深度图像；获得每个检测到的人相对于相机坐标系的距离后，定义组分类、估计接近度、估计步行速度和方向、估计组大小和检测交互。3.根据权利要求2所述的一种基于行人轨迹预测的移动机器人路径规划方法，其特征在于，步骤1.2.1，组分类：考虑任何一组人的IDs，IDs为任何一组人的ID的集合，在任何时间t，如果以下条件成立：||p
i,t
‑
p
j,t
||2≥||p
i,t
+v
i,t
‑
(p
j,t
+v
j,t
)||2ꢀꢀꢀ
(2)那么集合G
k,t
在图像中被归类为一个组；其中，ID
t
是在中检测到的人员ID集；p
i,t
为人i在时间t相对于机器人/相机坐标系的位置向量，p
j,t
为人j在时间t相对于机器人/相机坐标系的位置向量，p
i,t
＝(x
i,t
,y
i,t
)，p
j,t
＝(x
j,t
,y
j,t
)，x
i,t
、y
i,t
、x
j,t
、y
j,t
均为机器人/相机坐标系的位置向量；v
i,t
是人i在时间t相对于机器人/相机坐标系的步行速度向量，v
j,t
是人j在时间t相对于机器人/相机坐标系的步行速度向量，X
i,t
是卡尔曼滤波器中使用的状态向量，用于在时刻t对人i进行步行向量估计，Γ是手动设置的距离阈值；式(1)确保人们彼此靠近，式(2)确保组成员朝同一方向行走；当|v
i
||,||v
j
||＝0时为静态组，此时只使用式(1)进行分组；步骤1.2.2，估计接近度：为了估计t时刻人与人之间的接近度，首先将YOLOv5在RGB图像中检测到的边界框叠加在深度图像上；为了估计人i与相机的距离d
i,t
，计算以
为中心的小方块内所有像素值的平均值；人i相对于相机的角位移ψ
i,t
计算为：其中，是边界框β
i
的质心，FOV
RGBD
是RGB
‑
D相机的视野，w是YOLOv5算法中的模型参数；人i相对于相机的位置计算为：[x
i,t
y
i,t
]＝d
i,t
×
[cosψ
i,t
sinψ
i,t
]
ꢀꢀꢀ
(4)人i和人j之间的距离可以计算为：步骤1.2.3，估计步行速度和方向：使用具有恒速运动模型的卡尔曼滤波器来估计中第i个人的步行向量v
i
；中所有检测到的人都使用状态向量X
t
进行建模，中所有检测到的人的ID存储在集合ID
t
中，对于在先前RGB图像中检测到的所有行人，即具有先前初始化状态的行人，此时即为建模前的行人的状态向量X
t
，先使用标准卡尔曼预测和更新步骤更新他们的状态，再使用具有预设方差的零均值高斯噪声来模拟过程和感测噪声；步骤1.2.4，估计组大小：组的大小为集合G
k,t
中ID的数量；步骤1.2.5，检测交互：使用两个3
‑
D向量来表示一个人脸在中的位置和方向；使用OpenFace在RGB图像上定位人i相对于相机坐标系的面部位置，并获得面部方向的单位向量如果两个人的面部位置和方向满足以下条件，则认为他们正在交互：其中，和是人i相对于相机坐标系的面部位置和方向的向量；该条件检查两个人的面部位置之间的距离是否大于通过外推面部方向计算出的点之间的距离。4.根据权利要求3所述的一种基于行人轨迹预测的移动机器人路径规划方法，其特征在于，步骤2中将检测到的组特征用于内聚估计：步骤2.1，邻近凝聚力得分：人与人之间的凝聚力与他们之间的距离成反比；因此，由于接近度导致的凝聚力分数被公式化为组成员之间平均距离的倒数，如下所示：其中，n
k
是组G
k,t
中的成员数量；K
p
是邻近度程度系数；C
p
(G
k,t
)是(G
k,t
)组的邻近凝聚力得分；步骤2.2，步行速度凝聚力得分：将每个组的平均步行速度与中所有检测到的人的平均步行速度进行比较；因此，步行组因其步行速度而产生的凝聚力分数
的公式化为，其中，N是在RG...

【专利技术属性】
技术研发人员：朱文俊，董正伟，易阳，张梦怡，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：