3D语义地图构建方法和模块、机器人交互方法和系统技术方案

提供了一种用于机器人交互中的3D语义地图构建方法，其包括：接收输入的序列图像，并识别出所述序列图像的图像帧中的动态对象和语义信息；将识别出的所述动态对象从所述序列图像的图像帧中去除；根据所述动态对象被去除的所述序列图像的图像帧构建3D地图并获取机器人位姿信息；通过所述机器人位姿信息将与所述语义信息相应的语义图映射到所述3D地图上；根据映射有所述语义图的所述3D地图构建得到3D语义地图。本发明专利技术能够使机器人根据语义信息理解周围环境中的内容，并在周围环境中出现运动物体时也能够具有较高的算法精度和鲁棒性，从而能够实现真正的智能化，并且能够充分高水平的为人类提供服务。的为人类提供服务。的为人类提供服务。

【技术实现步骤摘要】
3D语义地图构建方法和模块、机器人交互方法和系统


[0001]本专利技术属于机器人和图像处理
，具体地讲，涉及一种3D语义地图构建方法和模块、机器人交互方法和系统。

技术介绍

[0002]随着科技的发展，技术的进步，机器人已逐渐进入人类社会的各个领域。在公共场所也可以看到各种服务机器人，可以通过语音交互的方式查询各种信息。然而，目前的移动服务机器人功能简单，仅仅停留在一问一答的状态，机器人还无法实现真正的智能化，无法理解其所处的周围环境，从而无法充分高水平的为人类提供服务。
[0003]移动机器人想要实现智能化的应用，一个关键问题在于实现自主定位和环境感知。在许多涉及到机器人应用的场景中，比如路径规划、环境感知、避障等，定位与建图的过程被视作是先决条件。传统的定位与建图方法构建的地图只是栅格地图或拓扑地图，这些地图无法提供周围环境中物体的语义信息。语义信息在此处泛指机器人对周围环境内容的理解，例如了解环境中的物体类别以及它们的关系等。同时，传统的定位与建图方法只适用于静态环境，当环境中出现运动物体时，运动物体会对算法的精度与鲁棒性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器人交互中的3D语义地图构建方法，其特征在于，所述3D语义地图构建方法包括：接收输入的序列图像，并识别出所述序列图像的图像帧中的动态对象和语义信息；将识别出的所述动态对象从所述序列图像的图像帧中去除；根据所述动态对象被去除的所述序列图像的图像帧构建3D地图并获取机器人位姿信息；通过所述机器人位姿信息将与所述语义信息相应的语义图映射到所述3D地图上；根据映射有所述语义图的所述3D地图构建得到3D语义地图。2.一种用于机器人交互中的3D语义地图构建模块，其特征在于，所述3D语义地图构建模块包括：序列图像接收单元，用于接收输入的序列图像；动态对象识别单元，用于识别出所述序列图像的图像帧中的动态对象；动态对象去除图像帧单元，用于将识别出的所述动态对象从所述序列图像的图像帧中去除；3D地图构建单元，用于根据所述动态对象被去除的所述序列图像的图像帧构建3D地图；机器人位姿信息输出单元，用于根据所述动态对象被去除的所述序列图像的图像帧获取并输出机器人位姿信息；语义识别单元，用于识别出所述序列图像的图像帧中的语义信息；语义地图映射单元，用于通过所述机器人位姿信息将所述语义信息相应的语义图映射到所述3D地图上；3D语义地图构建单元，用于根据映射有所述语义图的所述3D地图得到3D语义地图。3.一种机器人交互方法，其特征在于，所述机器人交互方法包括：根据接收到的语音信号获取相应的语音语义信息；根据所述语音语义信息，并利用权利要求1所述的3D语义地图构建方法构建3D语义地图；根据所述语音语义信息以及所述3D语义地图控制完成与所述语音语义信息相应的操作。4.根据权利要求3所述的机器人交互方法，其特征在于，所述根据所述语音语义信息以及所述3D语义地图完成与所述语音语义信息相应的操作，包括：在3D语义地图中检测到与所述语音语义信息相应的语义图的情况下，获取所述语义图在所述3D语义地图中的第一位置坐标；根据所述第一位置坐标控制完成对与所述语义图相应的对象的操作。5.根据权利要求4所述的机器人交互方法，其特征在于，所述根据所述第一位置坐标完成对与所述语义图相应的对象的操作，包括：根据所述第一位置坐标移动到所述对象位置的特定范围内，并获取机器人当前所在的第二位置坐标；根据手眼标定信息和所述第一位置坐标完成对所述对象的操作；根据所述第二位置坐标和初始位置坐标在所述3D语义地图上规划路径，所述初始位置
坐标是机器人在接收所述语音信号时的位置坐标；根据规划的所述路径从所述第二位置坐标返回所述初始位置坐标。6.根据权利要求5所述的机器人交互方法，其特征在于，在所述根据规划的所述路径从所述第二位置坐...

【专利技术属性】
技术研发人员：宋呈群，程俊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：