一种移动机器人视听觉融合感知与导航方法技术

本发明专利技术涉及一种移动机器人视听觉融合感知与导航方法，包括以下步骤：对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；利用视觉传感器系统和标定的参数构建导航栅格地图；使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。本发明专利技术能够以更加智能和自然的方式与机器人导航系统进行交互。导航系统进行交互。导航系统进行交互。

【技术实现步骤摘要】
一种移动机器人视听觉融合感知与导航方法


[0001]本专利技术涉及机器视觉
，特别是涉及一种移动机器人视听觉融合感知与导航方法。

技术介绍

[0002]视觉和听觉信息是人类感知外界环境的主要信息来源，也是机器人具备人工智能的重要基础。与现有人工智能技术中视觉信息处理与听觉信息作为两个单独的研究方向不同，人类对客观世界的感知与认知，是基于视听等多种不同的感官获取大量不同种类的信息融合实现的。
[0003]面向低速移动机器人系统，提供更加自然的交互方式是使其具备高级智能的直接体现。现有移动机器人系统往往提供的交互手段较为单一，多使用语音或交互屏幕进行指令的发出，使用深层次的视听觉融合交互手段未能在移动机器人系统中得以实现。单一的语音控制指令往往受到噪声、远场等环境，实现语音唤醒的召回率和准确率将大幅降低。视觉传感器的大量使用将视觉信息辅助语音并提升交互的准确性和便利性成为可能，也成为解决单一模态信息处理劣势的重要突破方向。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种移动机器人视听觉融合感知与导航方法，能够以更加智能和自然的方式与机器人导航系统进行交互。
[0005]本专利技术解决其技术问题所采用的技术方案是：提供一种移动机器人视听觉融合感知与导航方法，包括以下步骤：
[0006]对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；
[0007]利用视觉传感器系统和标定的参数构建导航栅格地图；
[0008]使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；
[0009]从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。
[0010]所述对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定，包括：
[0011]使用标定板对视觉传感器系统进行内参和外参的标定及校正；
[0012]将发声单元放置在所述标定板附近的某一位置，使得所述发声单元能够测量与所述标定板的位置关系；
[0013]发声单元唤醒听觉传感器系统得到发声单元发声角度后，根据视觉传感器系统的内参、视觉传感器系统与标定板的外参关系，得到听觉传感器系统与视觉传感器系统的外参关系。
[0014]所述利用视觉传感器系统和标定的参数构建导航栅格地图，包括：
[0015]使用视觉传感器系统获取场景的深度信息；
[0016]根据深度信息使用视觉立体匹配技术获取视觉传感器系统的视差图，并结合视觉传感器系统的内参和外参构建深度图像，并根据深度图像得到单帧的三维点云图；
[0017]使用视觉SLAM技术进行移动机器人的位姿参数计算，根据深度图像和移动机器人的位姿参数进行连续帧三维点云的拼接与融合，并在移动过程中构建起场景的三维点云地图，通过设置最大障碍物高度信息建立起导航栅格地图。
[0018]在建立起导航栅格地图后还包括，根据预定义的目标函数进行无干预的自主环境感知与地图构建，通过视觉传感器系统采集的原图和场景的三维点云地图进行环境要素地图的构建。
[0019]所述端到端手势行为识别，具体为：通过三维卷积神经网络学习手势的短时空特征，基于提取的短时空特征通过卷积LSTM网络学习手势的长时空特征，以挖掘输入的视频序列中帧与帧之间隐含的手势运动轨迹和姿态变换信息。
[0020]所述从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列，包括：
[0021]采用多目标检测和追踪方法从视频序列中提取出感兴趣的目标对象并跟踪；
[0022]利用听觉传感器系统的声源定位方法和视觉传感器系统的的视线方向检测方法分别对目标对象进行显著性程度分配；
[0023]将听觉传感器系统得到的目标对象显著性结果和视觉传感器系统得到的目标对象显著性结果进行融合，得到最终的具有显著性的目标对象序列。
[0024]在进行融合时，当视觉传感器系统推断的移动机器人与目标对象的夹角与听觉传感器系统推断的移动机器人与目标对象的夹角的差值超过阈值时，则以视觉传感器系统推断的目标对象为主，重新进行目标对象的选择与判定，并放弃此次交互任务的执行。
[0025]有益效果
[0026]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术能够感知环境的三维信息，再此基础上建立起人类手势识别、人眼视线检测及机器人导航地图等能力，本专利技术提供基于双目或多目视觉的未知环境自主路线搜索能力，实现快速的环境感知与地图构建。本专利技术实现麦克风阵列定向、环境视觉特征、人类手势识别与人眼视线检测等多种视听觉信息融合的机器人导航目标点建立方法，通过多源信息的融合能够提供更为自然的人机交互方式。本专利技术可以为扫地机器人、服务机器人以及巡检机器人等多类型的机器人提供面向机器人自主移动的更加智能且贴近人类习惯的自然交互方式。
附图说明
[0027]图1是本专利技术实施方式的移动机器人视听觉融合感知与导航方法示意图；
[0028]图2是本专利技术实施例中视觉传感器和听觉传感器标定的示意图；
[0029]图3是本专利技术实施例中联合语音、视线、手势的移动机器人交互系统示意图。
具体实施方式
[0030]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术
而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0031]本专利技术的实施方式涉及一种移动机器人视听觉融合感知与导航方法，该方法可以为扫地机器人、服务机器人以及巡检机器人等多类型的机器人提供面向机器人自主移动的更加智能且贴近人类习惯的自然交互方式。本实施方式中的移动机器人包括视觉传感器系统和听觉传感器系统，其中，视觉传感器系统可以是双目相机(包含两个分离式单目组成)或多目相机，听觉传感器系统可以是麦克风阵列。如图1所示，其实现步骤如下：
[0032]步骤一：对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定。标定时，首先，使用标定板对视觉传感器系统进行内参和外参的标定及校正；然后，将发声单元放置在所述标定板附近的某一位置，使得所述发声单元能够测量与所述标定板的位置关系；最后，发声单元唤醒听觉传感器系统得到发声单元发声角度后，根据视觉传感器系统的内参、视觉传感器系统与标定板的外参关系，得到听觉传感器系统与视觉传感器系统的外参关系。
[0033]步骤二：利用视觉传感器系统和标定的参数构建导航栅格地图。在完成步骤一后，视觉传感器系统通过立体匹配与视觉定位技术构建环境的三维点云地图，并进一步构建导航栅格地图，具体为：使用视觉传感器系统获取场景的深度信息；根据深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动机器人视听觉融合感知与导航方法，其特征在于，包括以下步骤；对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；利用视觉传感器系统和标定的参数构建导航栅格地图；使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。2.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定，包括：使用标定板对视觉传感器系统进行内参和外参的标定及校正；将发声单元放置在所述标定板附近的某一位置，使得所述发声单元能够测量与所述标定板的位置关系；发声单元唤醒听觉传感器系统得到发声单元发声角度后，根据视觉传感器系统的内参、视觉传感器系统与标定板的外参关系，得到听觉传感器系统与视觉传感器系统的外参关系。3.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述利用视觉传感器系统和标定的参数构建导航栅格地图，包括：使用视觉传感器系统获取场景的深度信息；根据深度信息使用视觉立体匹配技术获取视觉传感器系统的视差图，并结合视觉传感器系统的内参和外参构建深度图像，并根据深度图像得到单帧的三维点云图；使用视觉SLAM技术进行移动机器人的位姿参数计算，根据深度图像和移动机器人的位姿参数进行连续帧三维点云的拼接与融合，并在移动过程中构建起场景的三维点云地图，...

【专利技术属性】
技术研发人员：李嘉茂，朱冬晨，刘衍青，王文浩，王磊，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：