一种多传感器融合的充电座检测方法技术

本申请公开了一种多传感器融合的充电座检测方法，机器人上设置视觉检测传感器、激光雷达传感器，视觉检测到充电座后会在图片中生成一个矩形识别框表示充电座位置，根据矩形识别框左右两边在图片中的位置计算出矩形识别框相对于摄像头的方向，根据摄像头和激光雷达的位置关系，把矩形识别框的方向映射到激光雷达检测范围，通过计算激光雷达设定的检测范围内距离平均值，即得到充电座到机器人的准确距离；通过视觉和激光雷达协同测试，得到充电座距离机器人的方向和距离，本申请充分利用两种检测方式的优势，在机器人无地图信息情况下，准确定位充电座相对机器人的位置，提高机器人自动回充的成功率。

A detection method of charging base based on multi-sensor fusion

【技术实现步骤摘要】
一种多传感器融合的充电座检测方法
本专利技术涉及机器人
，尤其是涉及一种多传感器融合的充电座检测方法。
技术介绍
目前，机器人主要是依靠红外对管接收识别来完成机器人自动回充功能，机器人设备上的红外对管根据接收到的充电座上的红外对管位置来调整运动位置；在机器人领域，视觉检测充电座都是利用二维码等辅助工具来完成检测功能，实际检测到的是二维码而不是充电座本身。在机器人无地图信息的情况下，目前技术存在自动回充成功率不高，机器人只有在能检测到充电座的红外数据范围内才能回充成功，机器人位置局限性大、增加额外成本、激光雷达检测充电座距离范围较小。在机器人无地图信息情况下，如何提高机器人自动回充成功率、消除机器人自动回充位置局限性、提高机器人检测准确性是亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种多传感器融合的充电座检测方法，机器人上设置视觉检测传感器、激光雷达传感器，视觉检测到充电座后会在图片中生成一个矩形识别框表示充电座位置，根据矩形识别框左右两边在图片中的位置计算出矩形识别框相对于摄像头的方向，根据摄像头和激光雷达的位置关系，把矩形识别框的方向映射到激光雷达检测范围，通过计算激光雷达设定的检测范围内距离平均值，即得到充电座到机器人的准确距离；通过视觉和激光雷达协同测试，得到充电座距离机器人的方向和距离。视觉检测与激光雷达检测相结合，充分发挥两种检测方式的优势，实现对充电座相对机器人位置的准确检测，提高机器人自动回充成功率。本专利技术的上述专利技术目的通过以下技术方案得以实现：一种多传感器融合的充电座检测方法，机器人上设置视觉检测传感器、激光雷达传感器，利用视觉检测传感器检测充电座所在的方向，在未检测到充电座时，开启探索建图功能，继续进行检测；将所述方向映射到激光雷达传感器的检测范围，通过激光雷达确认充电座到机器人的距离，并将机器人移动到充电座进行充电。本专利技术进一步设置为：机器人查找充电座，包括以下步骤：S1、接收到回充指令；S2、开启视觉检测功能，寻找充电座；S3、视觉检测是否检测到充电座，若是，进入下一步，若否，转S9；S4、计算充电座相对机器人的方向范围；S5、将所述方向范围映射到激光雷达的检测范围；S6、计算激光雷达相对充电座范围的平均距离；S7、计算充电座相对机器人的方向和距离；S8、开启激光雷达检测充电座功能，移动到充电座，进行回充，转S15；S9、开启探索建图功能；S10、开启视觉检测功能，寻找充电座；S11、视觉检测是否检测到充电座，若否，进入下一步，若是，转S4；S12、继续进行探索建图；S13、判断探索建图是否结束，若是，进入下一步，若否，转S10；S14、寻找充电座失败；S15、结束。本专利技术进一步设置为：步骤S2中，开启视觉检测功能，机器人原地旋转一周，寻找充电座。本专利技术进一步设置为：在机器人寻找充电座之前，机器人控制中心存储有充电座模型、充电座视觉检测模型。本专利技术进一步设置为：利用激光雷达，建立充电座模型，包括以下步骤：A1、改变机器人相对于充电座的方向与位置，收集正样本数据；A2、将所有的正样本数据汇集到同一个文件中；A3、收集充电座负样本数据；A4、采用深度学习方法，生成充电座模型。本专利技术进一步设置为：利用视觉传感器，建立充电座视觉检测模型，包括以下步骤：B1、选取应用程序；B2、采集充电座彩色图像，并标定充电座位置；B3、将充电座彩色图像划分为训练集与测试集；B4、进行神经网络训练，得到充电座视觉检测模型。本专利技术进一步设置为：选用深度学习框架caffe；采用labelImg工具标记出采集图片中的充电座，利用caffe脚本生成指定的LMDB文件；在MobileNet-SSD目录下利用脚本生成可用的模型文件；在caffe目录下利用脚本将训练完的模型转换成NCNN需要的bin和param文件；把生成的bin和param文件替换NCNN内部的文件，即得到充电座视觉检测模型。本专利技术进一步设置为：步骤S3中，将检测到的图像输入充电座视觉检测模型中进行学习，得出是否检测到充电座的结果。本专利技术进一步设置为：步骤S4中，根据充电座在图片中的位置计算出充电座左右两边相对机器人的方向范围。本专利技术进一步设置为：在计算充电座相对机器人的方向和距离后，步骤S8中，还包括以下步骤：C1、选取充电座正前方某一位置作为机器人的临时目标点；C2、机器人运动到所述临时目标点；C3、开启激光雷达检测充电座功能；C4、激光雷达检测到充电座的位置与方向；C5、机器人准确移动到充电座，完成对接。与现有技术相比，本专利技术的有益技术效果为：1.本申请采用视觉检测与激光雷达相结合的检测方式，充分利用两种检测方式的优势，在机器人无地图信息情况下，准确定位充电座相对机器人的位置，提高机器人自动回充的成功率；2.进一步地，本申请通过建立充电座模型、充电座视觉检测模型，对及时准确检测到充电座提供了依据；3.进一步地，本申请将视觉检测到的方向数值映射到激光雷达检测，实现了两种检测方式的结合，为提高检测充电座准确位置提供保证；4.进一步地，本申请通过设置临时目标点，充分发挥激光检测的准确性，再进行一次准确定位，提高机器人检测充电座灵活性和稳定性。附图说明图1是本专利技术的一个具体实施例的检测方法流程示意图；图2是本专利技术的一个具体实施例的建立充电座模型流程示意图；图3是本专利技术的一个具体实施例的建立充电座视觉检测模型流程示意图；图4是本专利技术的一个具体实施例的激光雷达检测机器人移动流程示意图。具体实施方式以下结合附图对本专利技术作进一步详细说明。本专利技术的一种多传感器融合的充电座检测方法，机器人上设置视觉检测传感器、激光雷达传感器，视觉检测传感器、激光雷达传感器用于检测充电座图像与位置。具体地，利用视觉检测传感器检测充电座所在的方向，然后将所述方向映射到激光雷达传感器的检测范围，通过激光雷达确认充电座到机器人的距离。视觉检测，对充电座形状和颜色无要求，充电座长和高均不小于10cm，只要能与平常物体区分开即可。激光雷达检测，要求充电座正面形状为凹凸结构或者梯形结构，要与其他物体表面结构区分开。机器人通过激光雷达传感器，收集充电座样本，建立充电座模型，如图2所示，包括以下步骤：A1、改变机器人相对于充电座的方向与位置，收集正样本数据；A2、将所有的正样本数据汇集到同一个文件中；A3、收集充电座负样本数据；A4、采用深度学习方法，生成充电座模型。在本申请的一个具体实施例中，建立充电座模型，按照以下步骤进行：E1、在ROS工作空间下载编译leg_tracker功能包；E2、启动本文档来自技高网...

【技术保护点】
1.一种多传感器融合的充电座检测方法，其特征在于：机器人上设置视觉检测传感器、激光雷达传感器，利用视觉检测传感器检测充电座所在的方向，在未检测到充电座时，开启探索建图功能，继续进行检测；将所述方向映射到激光雷达传感器的检测范围，通过激光雷达确认充电座到机器人的距离，并将机器人移动到充电座进行充电。/n

【技术特征摘要】
1.一种多传感器融合的充电座检测方法，其特征在于：机器人上设置视觉检测传感器、激光雷达传感器，利用视觉检测传感器检测充电座所在的方向，在未检测到充电座时，开启探索建图功能，继续进行检测；将所述方向映射到激光雷达传感器的检测范围，通过激光雷达确认充电座到机器人的距离，并将机器人移动到充电座进行充电。


2.根据权利要求1所述的充电座检测方法，其特征在于：机器人查找充电座，包括以下步骤：
S1、接收到回充指令；
S2、开启视觉检测功能，寻找充电座；
S3、视觉检测是否检测到充电座，若是，进入下一步，若否，转S9；
S4、计算充电座相对机器人的方向范围；
S5、将所述方向范围映射到激光雷达的检测范围；
S6、计算激光雷达相对充电座范围的平均距离；
S7、计算充电座相对机器人的方向和距离；
S8、开启激光雷达检测充电座功能，移动到充电座，进行回充，转S15；
S9、开启探索建图功能；
S10、开启视觉检测功能，寻找充电座；
S11、视觉检测是否检测到充电座，若否，进入下一步，若是，转S4；
S12、继续进行探索建图；
S13、判断探索建图是否结束，若是，进入下一步，若否，转S10；
S14、寻找充电座失败；
S15、结束。


3.根据权利要求2所述的充电座检测方法，其特征在于：步骤S2中，开启视觉检测功能，机器人原地旋转一周，寻找充电座。


4.根据权利要求2所述的充电座检测方法，其特征在于：在机器人寻找充电座之前，机器人控制中心存储有充电座模型、充电座视觉检测模型。


5.根据权利要求4所述的充电座检测方法，其特征在于：利用激光雷达，建立充电座模型，包括以下步骤：
A1、改变机器人相对于充电座的方向与位置...

【专利技术属性】
技术研发人员：董敏杰，向良华，罗方龙，
申请(专利权)人：弗徕威智能机器人科技上海有限公司，
类型：发明
国别省市：上海;31