一种基于机器人感知融合的地图生成方法技术

本发明专利技术公开了一种基于机器人感知融合的地图生成方法，涉及机器人控制技术领域，通过机器人自身感知构建闭环的环境地图。本发明专利技术包括：采用超声雷达和可见光摄像头监测的超声数据和图像数据，生成超声差值和重投影差值，构成相邻帧联合差值函数；利用图像数据的特征进行闭环检测，利用闭环帧和当前帧计算得到机器人位姿；以机器人位姿作为顶点，相邻帧联合差值函数作为边加入图优化框架，得到优化的机器人位姿；利用优化后的机器人位姿和超声数据得到闭环栅格地图。本发明专利技术提出了超声视觉相结合的SLAM框架，弥补了现有定位构图技术存在的缺陷，在保证定位精度的同时解决栅格地图难以识别闭环、单一模型的闭环检测技术难以区分相似场景的问题。

【技术实现步骤摘要】
一种基于机器人感知融合的地图生成方法
本专利技术涉及机器人控制
，尤其涉及一种基于机器人感知融合的地图生成方法。
技术介绍
随着科技的发展，机器人已经在全世界范围内得到了广泛的应用。机器人关键技术的研究已经成为各国科技和产业的热点话题,机器人的发展也已经成为衡量国家科技水平、工业化先进水平的一个重要指标。从全球角度来看，人工智能是二十一世纪具有前沿性和可行性的一项顶尖科学技术，而机器人更是人工智能方向中一个具有极大发展潜力和发展市场，并会改变人类生活方式、改变世界的一个分支。室内服务机器人便是最贴近生活的一种机器人,室内服务机器人定位技术也是科研和应用热点，其科研和应用价值都得到了普遍的肯定。室内是服务机器人使用最多的场景，现如今室内服务机器人已经开始走进了百姓的视野，在家庭中应用广泛的扫地机器人，银行、酒店等公共场所配备的迎宾机器人，用于物流搬运的仓储机器人以及进行巡逻安检的安防机器人等等。在如今社会激烈竞争的压力下，室内服务机器人可有效节省人力物力以及时间等宝贵资源，替代人们完成一些简单的工作。随着科技的发展，单一的重复性劳动慢慢会彻底被机器人所替代，今后室内机器人的需求将越来越大。为了进一步扩大室内机器人的工作范围，对室内机器人定位精度的要求也越来越高。定位问题引申来的便是地图问题，位置与地图往往是息息相关的，即定位与地图是互相依存的。想要通过室内机器人构建一个适用于机器人的地图，那就必须要知道机器人本身的位置。由于室内常常会摆放桌椅箱子柜子等物品，环境复杂，其工程蓝图与实际并不完全相符，机器人通常无法直接使用给定的人工地图。
技术实现思路
本专利技术提供一种基于机器人感知融合的地图生成方法，能够通过机器人自身感知构建闭环的环境地图。为达到上述目的，本专利技术采用如下技术方案：一种基于机器人感知融合的地图生成方法，包括：S1、采集超声雷达和可见光摄像头的监测结果，得到超声数据和图像数据；S2、构建超声数据的关键帧，根据相邻帧得到超声差值；S3、对图像数据进行ORB(OrientedFastandRotatedBrief特征提取算法)特征提取，根据提取的ORB特征得到重投影差值；S4、将ORB特征转换为单词，用单词进行闭环检测，利用检测到的闭环帧和当前帧计算得到机器人位姿；S5、利用超声差值和重投影差值得到相邻帧联合差值函数；S6、以机器人位姿作为顶点，相邻帧联合差值函数作为边加入图优化框架，得到优化后的机器人位姿；S7、利用优化后的机器人位姿和超声数据得到闭环栅格地图。进一步的，在S2中，超声数据的关键帧构建规则为：当前时刻关键帧与前一时刻关键帧相比，发生了满足预设量的平移和旋转，并且当前时刻关键帧包含48个以上的视觉特征点。进一步的，超声数据和图像数据的同步规则为：将超声雷达和可见光摄像头采样时间戳之差小于特定阈值的数据作为同一时刻的一组数据。进一步的，在S3中，重投影差值为：ev＝Pv2-pv2^＝Pv2-(RPv1+t)其中Pv2表示当前帧三维特征点，Pv1表示所述相邻帧中的三维特征点，R为所述可见光摄像头位姿旋转矩阵。进一步的，超声差值为：e1＝f(x)＝P12-P'12＝P12-(RP11+t)其中P12为当前帧超声点坐标，P11为上一时刻所述相邻帧的超声点坐标，P’12为P12的重投影点，f(x)为超声差值函数,R为所述可见光摄像头位姿旋转矩阵,t为所述可见光摄像头位姿平移矩阵。进一步的，相邻帧联合差值函数为：RP+t＝exp(ξ^)P其中m代表当前帧和相邻帧匹配上的ORB特征点数，n代表当前帧和相邻帧匹配上的超声点数，α表示权重，Pi为第i个特征点的实际坐标，Pj为第j个特征点的实际坐标，ξ为相机位姿的李代数表示，P为三维空间点，exp(ξ^)为ξ^的指数函数，^表示乘方运算。本专利技术的有益效果是：本专利技术针对超声SLAM(simultaneouslocalizationandmapping同步定位与建图)和视觉SLAM各自的优点，提出了一种超声和视觉相结合的SLAM框架，弥补了现有定位构图技术存在的缺陷，保证了定位精度的同时解决了栅格地图难以识别闭环的问题以及基于单一模型的闭环检测技术难以区分相似场景的问题。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是超声视觉融合的流程示意图；图2是单一视觉SLAM框架的示意图；图3是联合优化示意图；图4是联合优化结果。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合具体实施方式对本专利技术作进一步详细描述。本专利技术实施例提供一种基于机器人感知融合的地图生成方法，包括：S1、采集超声雷达和可见光摄像头的监测结果，得到超声数据和图像数据。S2、构建超声数据的关键帧，根据相邻帧得到超声差值。相比于视觉SLAM，超声SLAM关键帧的构建更为简单，往往只考虑机器人的平移量和旋转量，而关键帧的构建更多的属于工程问题。因此，本实施例采用的关键帧筛选策略既考虑平移旋转，又考虑视觉特征点数量，判断条件为：(1)距离上一次构建关键帧发生了足够的平移；(2)距离上一次构建关键帧发生了足够的旋转；(3)包含48个以上的视觉特征点。上述平移和旋转量均是根据实际需求认为设定。S3、对图像数据进行ORB(OrientedFastandRotatedBrief特征提取算法)特征提取，根据提取的ORB特征得到重投影差值。S4、将ORB特征转换为单词，用所述单词进行闭环检测，利用检测到的闭环帧和当前帧计算得到机器人位姿。词库模型是通过单词的形式来描述图像的一种方式。人类在看到一幅图时会看到图像中有一个人、一辆车以及一棵树等等信息，词库模型类比了这种描述方式，将特征作为单词，将图像等价于多个单词的组合，再通过对比两幅图是否包含足够多的同类单词来检测两幅图的相似度。本实施例采用的图像特征为ORB特征，因此为实现基于ORB特征的词库模型，首先需要先提取出有哪些ORB特征，其中哪些是同一个单词。许多单词在一起则组成了字典，使用词库模型的第一步便是训练字典。本实施例中基于多信息融合的闭环检测算法如下。闭环检测一直是SLAM中极为重要的一部分，对于走过的场景的识别能有效地控制地图大小、减小累积差值、防止地图断裂、不闭合等问题。超声SLAM所构建的栅格地图不闭合会导致地图与实际环境不匹配，从而导致定位不准等诸多问题，高精度超声雷达由于其采样频率高、超声点密集、噪声小等优点，构建出来的栅格地图往往不会存在累积差值。但对于目前流行的低成本超声雷达，构建的地本文档来自技高网...

【技术保护点】
1.一种基于机器人感知融合的地图生成方法，其特征在于，包括：/nS1、采集超声雷达和可见光摄像头的监测结果，得到超声数据和图像数据；/nS2、构建超声数据的关键帧，根据相邻帧得到超声差值；/nS3、对图像数据进行ORB(Oriented Fast and Rotated Brief特征提取算法)特征提取，根据提取的ORB特征得到重投影差值；/nS4、将ORB特征转换为单词，用所述单词进行闭环检测，利用检测到的闭环帧和当前帧计算得到机器人位姿；/nS5、利用超声差值和重投影差值得到相邻帧联合差值函数；/nS6、以机器人位姿作为顶点，相邻帧联合差值函数作为边加入图优化框架，得到优化后的机器人位姿；/nS7、利用优化后的机器人位姿和超声数据得到闭环栅格地图。/n

【技术特征摘要】
1.一种基于机器人感知融合的地图生成方法，其特征在于，包括：
S1、采集超声雷达和可见光摄像头的监测结果，得到超声数据和图像数据；
S2、构建超声数据的关键帧，根据相邻帧得到超声差值；
S3、对图像数据进行ORB(OrientedFastandRotatedBrief特征提取算法)特征提取，根据提取的ORB特征得到重投影差值；
S4、将ORB特征转换为单词，用所述单词进行闭环检测，利用检测到的闭环帧和当前帧计算得到机器人位姿；
S5、利用超声差值和重投影差值得到相邻帧联合差值函数；
S6、以机器人位姿作为顶点，相邻帧联合差值函数作为边加入图优化框架，得到优化后的机器人位姿；
S7、利用优化后的机器人位姿和超声数据得到闭环栅格地图。


2.根据权利要求1所述的一种基于机器人感知融合的地图生成方法，其特征在于，在所述S2中，所述超声数据的关键帧构建规则为：
当前时刻关键帧与前一时刻关键帧相比，发生了满足预设量的平移和旋转，并且当前时刻关键帧包含48个以上的视觉特征点。


3.根据权利要求1所述的一种基于机器人感知融合的地图生成方法，其特征在于，所述超声数据和图像数据的同步规则为：
将所述超声雷达和可见光摄像头采样时间戳之差小于特定阈值...

【专利技术属性】
技术研发人员：芦嘉毅，徐李雪，胡秋，
申请(专利权)人：南京凌华微电子科技有限公司，
类型：发明
国别省市：江苏;32