基于人流估计的机器人路径规划方法、装置、介质和设备制造方法及图纸

本发明专利技术公开一种基于人流估计的机器人路径规划方法、装置、介质和设备。方法包括以下步骤：对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果；根据预设运动模型并基于检测跟踪结果实时预测每个行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果；对每个位置预测结果中位置坐标分别设置不同的损失权重，并基于A*算法以及所有行人的位置预测结果对机器人的当前移动路径进行规划，以对每个行人进行避让。本发明专利技术通过对实时检测跟踪到的行人进行轨迹预测，并对于行人的预测轨迹进行损失计算，从而为机器人规划出能够提前避让人流的移动路径，不仅方便机器人对目标行人的交互空间合理避让，而且保证了机器人的工作效率。机器人的工作效率。机器人的工作效率。

【技术实现步骤摘要】
基于人流估计的机器人路径规划方法、装置、介质和设备


[0001]本专利技术涉及机器人领域，尤其涉及一种基于人流估计的机器人路径规划方法、装置、介质和设备。

技术介绍

[0002]移动机器人尤其是服务机器人，需要在运动中与人进行交互，因此对机器人进行路径规划时需要对行人的运动行为进行提前预判并避让，同时避让过程中不能影响机器人的运行效率。
[0003]目前普遍采用激光雷达对行人进行避障，激光雷达能够准确稳定的估计出环境的障碍物信息，同时估计出障碍物与机器人的距离值，但是当采用激光雷达进行人流避让时激光雷达只能够将行人当作是普通的障碍物，无法识别和区分出行人和其他的障碍物，而行人相对普通障碍物是一个具有特定模式的运动物体，因此现有基于激光雷达的路径规划方式难以满足机器人的路径规划需求。

技术实现思路

[0004]本专利技术提供了一种基于人流估计的机器人路径规划方法、装置、介质和设备，解决了以上所述的难以对行人进行识别并针对人流进行机器人路径规划的技术问题。
[0005]第一方面，本专利技术提供了一种基于人流估计的机器人路径规划方法，包括以下步骤：
[0006]步骤1，对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果；
[0007]步骤2，根据预设运动模型并基于所述检测跟踪结果实时预测每个行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果；
[0008]步骤3，对每个位置预测结果中所述位置坐标分别设置不同的损失权重，并基于A*算法以及所有行人的位置预测结果对机器人的当前移动路径进行规划，以对每个行人进行避让。
[0009]在一个优选实施方式中，机器人上安装有摄像头，所述对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果具体包括以下步骤：
[0010]S101，获取所述摄像头采集到的多帧行人图像；
[0011]S102，采用预设目标检测模型对每帧行人图像中所有行人进行识别和标记，并生成每个行人的特征向量以及每个行人在空间的绝对坐标；
[0012]S103，计算不同行人图像中两个行人对应特征向量的距离值以及所述两个行人的像素距离正则项，并基于所述距离值和所述像素距离正则项生成不同行人图像中行人的最优匹配结果；
[0013]S104，根据所述行人的最优匹配结果将每个行人对应的所述绝对坐标按照时间顺序进行排序，并将每个排序结果和对应行人进行绑定生成所述检测跟踪结果。
[0014]在一个优选实施方式中，步骤S103采用预设匹配模型生成不同行人图像中行人的
最优匹配结果，所述预设匹配模型为：
[0015]i＝argmin
i
(similarity(i)+regulation(i))，
[0016]其中similarity为不同行人图像中两个行人对应特征向量的距离值，regulation为所述两个行人的像素距离正则项；两帧行人图像中所述特征向量距离值与所述像素距离正则项之和最小的两个目标行人被匹配为同一人。
[0017]在一个优选实施方式中，所述生成每个行人在空间的绝对坐标具体包括以下步骤：
[0018]S1021，采用预设目标检测模型对每帧行人图像中的所有行人进行识别和标记，生成每个行人对应的检测框以及行人在所述检测框的像素坐标；
[0019]S1022，根据所述摄像头的相机参数将每个行人在检测框的像素坐标转换为对应行人在空间的相对坐标；
[0020]S1023，获取机器人在空间的实时定位坐标，并基于所述实时定位坐标将行人的所述相对坐标转换为行人在空间的绝对坐标。
[0021]在一个优选实施方式中，所述对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果还包括以下步骤：将每帧行人图像中每个行人的检测框信息、特征向量信息以及绝对坐标信息绑后加入待匹配的行人信息池，并通过调用所述行人信息池的对应信息进行不同帧行人图像的行人匹配和绝对坐标排序。
[0022]在一个优选实施方式中，所述预测每个行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果具体包括以下步骤：
[0023]S201，采用预设方法获取每帧行人图像中行人对应的深度信息；
[0024]S202，基于所述深度信息将所述检测跟踪结果中每个行人在空间的绝对坐标转换为对应行人的世界坐标；
[0025]S203，获取所述行人在多个连续时刻的世界坐标，基于预设卡尔曼估计方法生成对应行人的当前速度信息和加速度信息，并采用预设匀加速运动模型实时预测对应行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果。
[0026]在一个优选实施方式中，步骤3中，所述位置坐标对应的时间节点距离当前时刻越近，所述位置坐标的损失权重越高。
[0027]本专利技术实施例的第二方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现以上所述的基于人流估计的机器人路径规划方法。
[0028]本专利技术实施例的第三方面提供了一种基于人流估计的机器人路径规划设备，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述基于人流估计的机器人路径规划方法的步骤。
[0029]本专利技术实施例的第四方面提供了一种基于人流估计的机器人路径规划装置，包括检测跟踪模块、预测模块和路径规划模块，
[0030]所述检测跟踪模块用于对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果；
[0031]所述预测模块用于根据预设运动模型并基于所述检测跟踪结果实时预测每个行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果；
[0032]所述路径规划模块用于对每个位置预测结果中所述位置坐标分别设置不同的损
失权重，并基于A*算法以及所有行人的位置预测结果对机器人的当前移动路径进行规划，以对每个行人进行避让。
[0033]本专利技术的有益效果在于：本专利技术提供了一种基于人流估计的机器人路径规划方法、装置、介质和设备，通过对实时检测跟踪到的行人进行轨迹预测，并对于行人的预测轨迹进行损失计算，从而为机器人规划出能够提前避让人流的移动路径，不仅方便机器人对目标行人的交互空间合理避让，而且保证了机器人的工作效率。
[0034]为使专利技术的上述目的、特征和优点能更明显易懂，下文特举本专利技术较佳实施例，并配合所附附图，作详细说明如下。
【附图说明】
[0035]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]图1是实施例1提供的基于人流估计的机器人路径规划方法的流程示意图；
[0037]图2是实施例2提供的基于人流估计的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人流估计的机器人路径规划方法，其特征在于，包括以下步骤：步骤1，对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果；步骤2，根据预设运动模型并基于所述检测跟踪结果实时预测每个行人在未来多个时间节点的位置坐标，生成每个行人对应的位置预测结果；步骤3，对每个位置预测结果中所述位置坐标分别设置不同的损失权重，并基于A*算法以及所有行人的位置预测结果对机器人的当前移动路径进行规划，以对每个行人进行避让。2.根据权利要求1所述基于人流估计的机器人路径规划方法，其特征在于，机器人上安装有摄像头，所述对场景中每个行人的位置信息进行检测和跟踪，生成检测跟踪结果具体包括以下步骤：S101，获取所述摄像头采集到的多帧行人图像；S102，采用预设目标检测模型对每帧行人图像中所有行人进行识别和标记，并生成每个行人的特征向量以及每个行人在空间的绝对坐标；S103，计算不同行人图像中两个行人对应特征向量的距离值以及所述两个行人的像素距离正则项，并基于所述距离值和所述像素距离正则项生成不同行人图像中行人的最优匹配结果；S104，根据所述行人的最优匹配结果将每个行人对应的所述绝对坐标按照时间顺序进行排序，并将每个排序结果和对应行人进行绑定生成所述检测跟踪结果。3.根据权利要求2所述基于人流估计的机器人路径规划方法，其特征在于，步骤S103采用预设匹配模型生成不同行人图像中行人的最优匹配结果，所述预设匹配模型为：i＝argmin
i
(similarity(i)+regulation(i))，其中similarity为不同行人图像中两个行人对应特征向量的距离值，regulation为所述两个行人的像素距离正则项；两帧行人图像中所述特征向量距离值与所述像素距离正则项之和最小的两个目标行人被匹配为同一人。4.根据权利要求2所述基于人流估计的机器人路径规划方法，其特征在于，所述生成每个行人在空间的绝对坐标具体包括以下步骤：S1021，采用预设目标检测模型对每帧行人图像中的所有行人进行识别和标记，生成每个行人对应的检测框以及行人在所述检测框的像素坐标；S1022，根据所述摄像头的相机参数将每个行人在检测框的像素坐标转换为对应行人在空间的相对坐标；S1023，获取机器人在空间的实时定位坐标，并基于所述实时定位坐标将行人的所述相对坐标转换为行人在空间的绝...

【专利技术属性】
技术研发人员：陈国军，
申请(专利权)人：上海有个机器人有限公司，
类型：发明
国别省市：