一种基于双目立体视觉机器人跟随行人的方法技术

本发明专利技术提供了一种基于双目立体视觉机器人跟随行人的方法，具体包括如下步骤：建立行人数据集；训练行人检测器，双目检测行人；基于YOLO网络的检测方法将特征提取、目标分类、目标定位统一在一个神经网络中；采用递归卡尔曼滤波和逐帧数据关联的传统单一假设跟踪方法，对目标行人进行跟踪；获取检测到的被跟随行人，获取行人轮廓，两路图像同时提取行人特征点，匹配双目特征点，利用相似三角形计算出特征点在图像上的深度信息；通过深度信息和机器人编码器信息，计算行人的速度和方向，预测行人下一时刻的运动方向轨迹。本方法能够计算行人的速度和方向，预测行人下一时刻的运动方向轨迹，使机器人保持持续追踪能力，快速找到目标行人。标行人。

【技术实现步骤摘要】
一种基于双目立体视觉机器人跟随行人的方法


[0001]本专利技术属于机器人
，具体涉及一种基于双目立体视觉机器人跟随行人的方法。

技术介绍

[0002]随着机器人行业的快速发展，各种服务机器人层出不穷，机器人在我们的生活、工作中也应用得越来越广泛。在酒店、银行等服务行业的楼宇中，迎宾机器人可以协助实现宾客身份登记、协助宾客存放随身背包等物品，并跟随宾客直到服务结束。而在实际场景下，尤其是在人流量大、人与人相互穿行等场景，机器人容易错认目标宾客或者在目标宾客转弯时错失目标宾客等，因此，需要对现有机器人跟随方法进行改进，保证机器人在各种复杂环境下的跟随效果。

技术实现思路

[0003]本专利技术的目的在于提供一种基于双目立体视觉机器人跟随行人的方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种基于双目立体视觉机器人跟随行人的方法，具体包括如下步骤：
[0005]步骤1、建立行人数据集；
[0006]步骤2、训练行人检测器，双目检测行人：基于YOLO网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目立体视觉机器人跟随行人的方法，其特征在于：具体包括如下步骤，步骤1、建立行人数据集；步骤2、训练行人检测器，双目检测行人：基于YOLO网络的检测方法将候选框提取、特征提取、目标分类、目标定位统一在一个神经网络中；YOLO网络结构由24个卷积层与2个全连接层构成，网络入口为448x448(v2为416x416)，图片进入网络先经过resize，网络的输出结果为一个张量，维度为：S*S*(B*5+C)其中，S为划分网格数，B为每个网格负责目标个数，C为类别个数；步骤3、采用递归卡尔曼滤波和逐帧数据关联的传统单一假设跟踪方法，对目标行人进行跟踪；步骤4、获取检测到的被跟随行人，获取行人轮廓，两路图像同时提取行人特征点，匹配双目特征点，利用相似三角形计算出特征点在图像上的深度信息；步骤5、通过深度信息和机器人编码器信息，计算行人的速度和方向，预测行人下一时刻的运动方向轨迹。2.根据权利要求1所述的一种基于双目立体视觉机器人跟随行人的方法，其特征在于：所述步骤2中表达式的含义为：(1)每个小格会对应B个边界框，边界框的宽高范围为全图，表示以该小格为中心寻找物体的边界框位置；(2)每个边界框对应一个分值，代表该处是否有物体及定位准确度：(3)每个小格会对应C个概率值，找出最大概率对应的类别P(Class|object)，并认为小格中包含该物体或者该物体的一部分。3.根据权利要求1所述的一种基于双目立体视觉机器人跟随行人的方法，其特征在于：所述步骤3中递归卡尔曼滤波和逐帧数据关联的传统单一假设跟踪方法具体包括：(1)定义8维状态空间其中(u,v)是检测到行人轮廓的中心坐标，γ是长宽比，h是高度，其余四个变量表示在图像坐标系中的速...

【专利技术属性】
技术研发人员：张阳新，田浩，玉苏普江司马义，
申请(专利权)人：上海智逍遥机器人有限公司，
类型：发明
国别省市：