一种基于视觉和UWB定位的移动机器人跟随方法技术

本发明专利技术涉及一种基于视觉和UWB定位的移动机器人跟随方法，基于UWB定位技术，使得移动机器人在多目标场景下确定跟随的目标，并以RGBD相机对确定的目标进行跟随。本发明专利技术通过UWB定位确定RGBD相机视野内的跟随目标，有效地解决了移动机器人在复杂环境下无法确定跟随目标的问题。的问题。的问题。

【技术实现步骤摘要】
一种基于视觉和UWB定位的移动机器人跟随方法


[0001]本专利技术涉及非电变量的控制或调节系统的
，属于智能机器人领域，特别涉及一种基于视觉和UWB定位的移动机器人跟随方法。

技术介绍

[0002]随着科技的发展和经济水平的提升，机器人技术迎来了快速发展的阶段，其中服务机器人作为机器人技术的重要载体，已被广泛运用于各种服务场合。特别地，在车站和酒店帮人搬运行李、行人购物时跟随目标、引导顾客参观等场合，服务机器人的跟随功能就显得尤为重要。作为服务机器人的一种，跟随机器人指的是能够在与跟随目标没有接触、保持安全距离的情况下，自主完成连续且具有良好响应的跟随运动。
[0003]现有的机器人跟随技术主要有两种：
[0004]第一种是以双目相机主要传感器，跟随机器人通过双目相机拍摄跟随目标的信息并且联合深度信息获取机器人与跟随目标的距离和角度信息来建立机器人的跟随模型，从而完成跟随动作，在跟随的过程中通过动态窗口法不断地刷新跟随目标的尺寸和大小；这种方法虽然能够准确地获取跟随目标的相对位置信息，但是要求跟随目标必须出现在视野范围内，并且容易受到光线的影响导致跟随目标的信息错误，同时，如果在初始状态时选择跟随目标，由于图像信息的单一性，很难让机器人在具有干扰信息，即有同跟随目标信息相似的其他目标的环境下，选择一个正确的跟随目标；
[0005]第二种是以超宽带(Ultra
‑
Wide Band,UWB)为主要传感器，UWB定位技术因其多径性，高传输性等特点，在定位、自主跟随等方面运用广泛，主要使用的场景是室内，通过搭建多个基站构建一个局部定位模式或者分布式测距模式，在基站构成的范围内，跟随目标和机器人各携带一个标签，即可获取两者在该区域的相对位置关系；这种相对位置的获取方法可以实现跟随机器人对于跟随目标实时地、准确地跟踪，但是缺点也是显而易见的，首先由于需要搭建多个基站模块，因此限制了跟随目标和移动机器人的活动范围，很难在实际应用的场合下实施；其次，由于UWB技术容易受金属材料的干扰，且在通信时，遮挡会衰减信号强度，降低通讯距离；机器人在跟随的过程中，若在机器人和跟随目标突然有干扰目标闯入，会使通过UWB测量得到的机器人与跟随目标的相对位置发生改变。
[0006]申请号为202010847107.5的专利公开了一种基于UWB与激光雷达的室内行人跟随与避障方法，主要采用AGV车载UWB模块获取行人坐标信息，利用激光雷达获取障碍物信息，并实时发送至上位机；该方法搭建了包括3个基站的室内环境，AGV车载了一个UWB模块，跟踪目标手持一个标签。然而，该方法的传感器成本过高，并且只能在3个基站所包围的范围内运动，可活动范围过小。
[0007]申请号为202011224356.5的专利公开了一种适用于多人场景的移动机器人自动跟随方法，主要使用高精度的激光雷达来识别跟随目标的腿部特征信息，从而获取机器人与跟随目标的相对位置。该方法的实施需要高精度、昂贵的激光雷达，且识别的距离有限，机器人与跟随目标的距离不能超过1.25m，使用范围受限制。

技术实现思路

[0008]本专利技术解决了现有技术中存在的问题，提供了一种优化的基于视觉和UWB定位的移动机器人跟随方法。
[0009]本专利技术所采用的技术方案是，一种基于视觉和UWB定位的移动机器人跟随方法，所述方法基于UWB定位技术，使得移动机器人在多目标场景下确定跟随的目标，并以RGBD相机对确定的目标进行跟随。
[0010]优选地，所述方法包括以下步骤：
[0011]步骤1：配置UWB定位系统，基于UWB定位系统进行数据采集和预处理；
[0012]步骤2：对RGBD相机进行标定，并获得相机坐标系与像素坐标系的坐标转化关系；由于只使用相机坐标系下的点云数据，所以该步骤只标定相机的内参，从而获得相机坐标系P的坐标数据(X,Y,Z)与像素坐标系P
uv
的像素数据(U,V)的转化关系；
[0013]步骤3：以RGBD相机采集图像，以目标检测器检测目标，得到每个目标的外接矩形坐标，并确认所述外接矩形在像素坐标系下的左上角像素坐标(U
MIN
,V
MIN
)和右下角像素坐标(U
MAX
,V
MAX
)；
[0014]本专利技术中，令该像素坐标系的原点为图像左上角，x轴方向为水平向右，y轴方向为垂直向下。
[0015]步骤4：从已检测目标中选择跟随目标；特别是在多人场景下，步骤3会识别出多个目标，在这种情况下只使用相机是无法确定跟随目标的，需要进行跟随目标的选择；
[0016]步骤5：采用相关滤波器更新跟随目标并确定跟随距离；
[0017]本专利技术中，步骤4中获得相机视野中的最终的跟随目标，虽然能通过目标检测器继续读取以后每一帧的跟随目标的位置信息，但是在速度和实时性方面都会有所损失，特别是当跟随目标丢失的时候，后续将会无法重新找回跟随目标，所以在确定跟随目标之后，做出步骤5的处理。
[0018]步骤6：采用PID算法对移动机器人的线速度和角速度进行控制，进而实现目标的跟随。
[0019]优选地，所述步骤1中，UWB定位系统包括搭载于移动机器人的基站及对应每个目标设置的标签，基站与移动机器人的主控制器配合设置，主控制器采集每个标签到基站的距离Dis、角度Angle、信号强度RSSI。
[0020]优选地，对于采集的数据的预处理包括：
[0021]判断在当前时刻基站所接收在信号范围内标签的信号强度RSSI是否在阈值TH
RSSI
范围内，若是，则将距离Dis和角度Angle按式(1)和(2)转化为标签在基站坐标系下的坐标信息(X
T
‑
A
,Y
T
‑
A
)，否则循环等待；
[0022][0023][0024]其中，TH
RSSI
的取值范围为[6,10]，单位为db。
[0025]优选地，所述步骤2中，RGBD相机水平放置，标定相机的内参，如式(3)获得相机坐
标系P的坐标数据(X,Y,Z)与像素坐标系P
uv
的像素数据(U,V)的转化关系，
[0026][0027]其中，U、V表示RGBD图像各个像素点的行列号，c
x
、c
y
表示图像中心像素点行列号，Z表示深度图像中各个像素点到相机平面的深度距离,f
x
、f
y
表示相机水平、垂直方向的焦距，K为相机的内参矩阵，即矩阵
[0028]优选地，所述步骤4包括以下步骤：
[0029]步骤4.1：若步骤3只检测到一个目标，则直接将该目标作为跟随目标，并进行步骤5，否则进行下一步；
[0030]步骤4.2：根据步骤2中的相机坐标系与像素坐标系的转换关系，将所有的像素坐标系下的目标的矩形外接框的两个像素点坐标(U<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉和UWB定位的移动机器人跟随方法，其特征在于：所述方法基于UWB定位技术，使得移动机器人在多目标场景下确定跟随的目标，并以RGBD相机对确定的目标进行跟随。2.根据权利要求1所述的一种基于视觉和UWB定位的移动机器人跟随方法，其特征在于：所述方法包括以下步骤：步骤1：配置UWB定位系统，基于UWB定位系统进行数据采集和预处理；步骤2：对RGBD相机进行标定，并获得相机坐标系与像素坐标系的坐标转化关系；步骤3：以RGBD相机采集图像，以目标检测器检测目标，得到每个目标的外接矩形坐标，并确认所述外接矩形在像素坐标系下的左上角像素坐标(U
MIN
,V
MIN
)和右下角像素坐标(U
MAX
,V
MAX
)；步骤4：从已检测目标中选择跟随目标；步骤5：采用相关滤波器更新跟随目标并确定跟随距离；步骤6：采用PID算法对移动机器人的线速度和角速度进行控制，进而实现目标的跟随。3.根据权利要求2所述的一种基于视觉和UWB定位的移动机器人跟随方法，其特征在于：所述步骤1中，UWB定位系统包括搭载于移动机器人的基站及对应每个目标设置的标签，基站与移动机器人的主控制器配合设置，主控制器采集每个标签到基站的距离Dis、角度Angle、信号强度RSSI。4.根据权利要求3所述的一种基于视觉和UWB定位的移动机器人跟随方法，其特征在于：对于采集的数据的预处理包括：判断在当前时刻基站所接收在信号范围内标签的信号强度RSSI是否在阈值TH
RSSI
范围内，若是，则将距离Dis和角度Angle按式(1)和(2)转化为标签在基站坐标系下的坐标信息(X
T
‑
A
,Y
T
‑
A
)，否则循环等待；)，否则循环等待；其中，TH
RSSI
的取值范围为[6,10]，单位为db。5.根据权利要求2所述的一种基于视觉和UWB定位的移动机器人跟随方法，其特征在于：所述步骤2中，RGBD相机水平放置，标定相机的内参，如式(3)获得相机坐标系P的坐标数据(X,Y,Z)与像素坐标系P
uv
的像素数据(U,V)的转化关系，其中，U、V表示RGBD图像各个像素点的行列号，c
x
、c
y
表示图像中心像素点行列号，Z表示深度图像中各个像素点到相机平面的深度距离，f
x
、f
y
表示相机水平、垂直方向的焦距，K为相机的内参矩阵。6.根据权利要求2所述的一种基于视觉和UWB定位的移动机器人跟随方法，其特征在
于：所述步骤4包括以下步骤：步骤4.1：若步骤3只检测到一个目标，则直接将该目标作为跟随目标，并进行步骤5，否则进行下一步；步骤4.2：根据步骤2中的相机坐标系与像素坐标系的转换关系，将所有的像素坐标系下的目标的矩形外接框的两个像素点坐标(U
MIN
,V
MIN
)和(U
MAX
,V
MAX
)转化为相机坐标系下的二维坐标(X...

【专利技术属性】
技术研发人员：朱威，韩慧，王国强，何德峰，郑雅羽，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：