一种无地图场景下基于多传感器的人员跟随方法技术

本发明专利技术公开了一种无地图场景下基于多传感器的人员跟随方法，包括：使用行人识别算法识别摄像头拍摄到的所有行人，结合摄像头采集的点云信息得到图像中所有人相对运动载体的位置信息，进而使用UWB测得的目标人员的位置信息与之前测得所有人的位置信息比较，在所有行人中确定目标人员及目标人员相对与运动载体的位置信息；根据实时获得的目标人员相对于运动载体的位置信息控制云台旋转，使目标人员始终保持在摄像头可拍摄范围之内，摄像头与云台连接，云台可360

【技术实现步骤摘要】
一种无地图场景下基于多传感器的人员跟随方法


[0001]本专利技术涉及人员跟随的
，尤其是涉及一种无地图场景下基于多传感器的人员跟随方法。

技术介绍

[0002]目前的对于下面这种情况国内外的研究较少，即AGV小车装载工具跟随工程师，方便工程师随时取用工具的情况，同时，目前要实现AGV的导航功能通常都需要提前构建全局地图，AGV小车在未构建全局地图的环境中无法自动导航到目标位置，因此一种可以跟随目标人员且无需提前构建全局地图的人员跟随方案是目前亟待解决的问题。

技术实现思路

[0003]本专利技术要解决的技术问题是针对上述现有技术的不足，而提供一种无地图场景下基于多传感器的人员跟随方法，解决现有技术中存在无法识别跟随的对象是否是人、无法避障、跟随目标已丢失等问题。
[0004]为实现上述目的，本专利技术的无地图场景下基于多传感器的人员跟随方法的具体技术方案如下：
[0005]一种无地图场景下基于多传感器的人员跟随方法，包括以下步骤：
[0006]S1、将激光雷达、云台、UWB基站安装在运动载体上，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无地图场景下基于多传感器的人员跟随方法，其特征在于，包括以下步骤：S1、将激光雷达、云台、UWB基站安装在运动载体上，将摄像机安装在云台上，将UWB标签设置在被跟随的目标人员身上；S2、标定摄像机与UWB基站，使用摄像机获得RGB图像和点云信息，使用行人识别算法获取摄像机所拍图像中所有行人相对于运动载体的位置信息；使用UWB基站及UWB标签获取目标人员相对于运动载体的位置信息；将UWB获取的目标人员位置信息与摄像机获取的所有行人的位置信息进行位置信息融合得到目标人员位置；S3、根据目标人员相对于运动载体的位置信息做局部路径规划，跟随目标人员且在跟随时保持与目标人员两米的距离；S4、使用激光雷达获取运动载体周围障碍物的信息，使用pointcloud_to_scan算法获得二维的障碍物信息，即scan信息，在跟随过程中使用局部路径规划算法进行避障；S5、在跟随和避障的过程中，使用PID算法根据目标人员相对于运动载体的位置信息控制云台旋转，使目标人员始终处于摄像机能够拍摄的范围内，避免在避障过程中丢失目标位置。2.根据权利要求1所述的无地图场景下基于多传感器的人员跟随方法，其特征在于，步骤S1中激光雷达采用机械旋转多线激光雷达，用于获得运动载体周围360
°
的障碍物信息；UWB基站和UWB标签采用到达角度AOA算法，用于从UWB基站获得UWB标签相对于UWB基站的角度和距离。3.根据权利要求1所述的无地图场景下基于多传感器的人员跟随方法，其特征在于，步骤S2中的行人识别算法为FairMot多目标识别算法，FairMot多目标识别算法使用矩形框框住图像中的所有行人，根据矩形框在图像中的位置信息裁剪从摄像机获得的点云信息，将裁剪过后的点云信息做聚类处理，求取聚类之后的点云的质心坐标，得到所有行人相对于摄像机的位置信息，这些位置信息进行滑窗滤波得到波动小的位置信息，最后经过坐标变换，将摄像机左目坐标系变换为运动载体的载体坐标系，得到所有行人相对于运动载体的位置信息。4.根据权利要求1所述的无地图场景下基于多传感器的人员跟随方法，其特征在于，步骤S2中使用UWB基站及UWB标签获取目标人员相对于运动载体的位置信息具体为：使用UWB基站及UWB标签获取UWB标签相对于UWB基站的距离和角度，对UWB标签相对于UWB基站的距离和角度做低通滤波处理后求得数据波动较小的UWB标签相对于UWB基站的距离和角度，将UWB基站的坐标系变换为运动载体...

【专利技术属性】
技术研发人员：周志强，李瑞峰，付勇，黄鑫，王莹莹，吴炜，万泽青，
申请(专利权)人：江南大学，
类型：发明
国别省市：