一种基于视觉内容的多层语义地图的创建方法技术

本发明专利技术公开一种基于视觉内容的多层语义地图的创建方法，包括：将机器人在环境中漫游拍摄的图像集合按照拍摄地点场景进行标注；构建分层词汇树；构建知识拓扑层，为知识拓扑层赋予知识；构建场景拓扑层；构建地点拓扑层。本发明专利技术利用视觉传感器对空间构建多层语义地图，在知识拓扑层使用有向图结构存储和查询知识，可以省去知识表达系统中不必要的操作，插入和查询速度快；利用场景拓扑层对环境进行抽象划分，将整个环境抽象成子区域，可减小图像的检索空间和路径搜索空间；利用地点拓扑层对特定的地点图像进行保存，采用图像检索技术即可自定位，不必维护全局的世界坐标系，解决了自定位估计误差累计问题。

【技术实现步骤摘要】
【专利摘要】本专利技术公开，包括：将机器人在环境中漫游拍摄的图像集合按照拍摄地点场景进行标注；构建分层词汇树；构建知识拓扑层，为知识拓扑层赋予知识；构建场景拓扑层；构建地点拓扑层。本专利技术利用视觉传感器对空间构建多层语义地图，在知识拓扑层使用有向图结构存储和查询知识，可以省去知识表达系统中不必要的操作，插入和查询速度快；利用场景拓扑层对环境进行抽象划分，将整个环境抽象成子区域，可减小图像的检索空间和路径搜索空间；利用地点拓扑层对特定的地点图像进行保存，采用图像检索技术即可自定位，不必维护全局的世界坐标系，解决了自定位估计误差累计问题。【专利说明】
本专利技术属于机器人导航领域，涉及一种利用视觉传感器进行多层语义地图的创建方法，该多层语义地图共有三层，包括特定地点互连信息的拓扑地图、场景互连的拓扑地图和知识拓扑地图。
技术介绍
当前，移动机器人被广泛地应用于工业、航空航天、军事和服务等领域。随着社会的发展，人们对机器人的智能性要求也越来越高，服务机器人已成为研究和应用的热点。在人类的一次导航任务中，通常首先思考目标地点，例如“我要找的玩具机器人在什么地方”，然后思考“我现在在什么地方”，接着思考“怎么从我所在地方到玩具机器人所在的地方”。而“地方”、“玩具机器人”等信息就是环境中的语义信息，具有先验知识的人类能通过视觉获得场景中的语义信息。描述某一地点的图像具有明确的语义内容，例如“机器人实验室”、“走廊”、“会议室”等都代表着一定的区域(语义)，而不同区域之间通常具有差异性。此外，“玩具机器人”则表示一个物体，人类同样也可以通过视觉方便地获得。具备语义识别能力的人不需要知道环境的世界坐标，仅仅通过对环境的熟悉程度，利用已有的语义信息和大致的空间位置关系，即可找到“玩具机器人”。同样，服务机器人只有具备对语义信息的处理能力，才能更好、更加智能地完成诸如“拿盒牛奶”等事务性导航任务。由此可见,环境中的语义信息对机器人的导航具有很好的指导作用，可以大大地减少机器人路径规划的搜索空间，并实现更加智能的任务操作。随着计算机视觉领域的物体识别、场景识别、姿态估计以及图像检索等技术的发展，机器人的视觉导航已经成为可能。2006年，D.Nister等在论文“Scalable Recognitionwith a Vocabulary Tree”中提出一种分层词汇树图像检索方法,采用分层词汇树方法对图像内容进行压缩，使用生成的视觉单词向量表示整个图像，并以视觉单词为检索元素，将图像进行倒排索引。该方法可以处理百万数量的图像，而且查询的时间在十毫秒级别，完全可以用于机器人视觉导航中的实时地点识别任务。2007年，F.Fraundorfer等在论文“Topological mapping, localization and navigation using image collections，，中将D.Nister提出的分层词汇树图像检索方法用于机器人视觉导航中，机器人漫游过程中拍摄的图像经过分层词汇树视觉单词化之后存入倒排索引数据库，一帧图像代表一个拓扑节点，形成拓扑地图。该方法通过相似地点的查询实现定位，以及图像之间的姿态差进行导航。其不足是，在大范围场景中，需要维护庞大的词汇树和倒排索引数据库，影响拓扑导航的性能。2007 年 A.Bouguerra 等在论文 “Semantic Knowledge-Based ExecutionMonitoring for Mobile Robots”中提出使用视觉传感器获得的语义信息对机器人的定位进行指导的技术，通过视觉传感器识别物体，然后判断物体应该所属的房间。该系统对语义信息的利用仅仅在判断机器人是否到达目标房间，而没有充分考虑语义信息对机器人导航的作用。2008 年 H.Zender 等在论文“Conceptual spatial representations for indoormobile robots”中提出了一种对机器人所在的室内环境进行分层描述的方法,利用激光传感器实现自定位和几何地图同时构建、场景的识别以及保存机器人漫游中经过的路径构建导航图，和利用视觉传感器进行物体识别获取空间中的语义信息，并将激光和视觉传感器获得的场景和物体语义信息加入到知识表达系统中。该系统侧重获取空间中的语义信息并实现与人的交流，例如告诉人某个地方有什么，哪个区域跟那个区域相连等。在对环境描述以及导航方面，存在一下问题:需要维护一个全局世界坐标系，机器人自定位误差会随着系统运行而累计，会对选择导航图中的节点产生较大影响；该系统通过跟踪人来实现导航，在自主导航能力方面较弱；该系统利用无线网络连接知识表达系统完成语义信息处理，操作复杂，处理速度慢；该系统采用激光传感器，成本也较高。综上所述，现有技术在室内坏境的多层描述及视觉导航存在以下问题:利用知识表达系统进行语义信息的处理，需要利用网络连接知识库，限制了机器人活动范围，查询和插入知识实时性也受到影响；现有基于图像检索的视觉导航维护一个大的图像检索库，没有利用室内空间中场景的划分构建不同场景的小检索库，提高检索的精度；在自定位方面，通过维护世界坐标系的方法，自定位误差会随着时间而累计；利用激光传感器普遍的比较曰虫印贝ο
技术实现思路
针对现有技术中存在的上述问题，本专利技术提出。所述多层语义地图共有三层:底层为特定地点互连信息的拓扑地图，中层为场景互连的拓扑地图，高层为知识拓扑地图。，其特征在于包括以下步骤:步骤1，将机器人在室内环境中漫游拍摄的图像集合按照拍摄地点场景进行标注。设所述图像集合为P，每个场景一般不少于50帧图像。对P中的图像进行标注，形成标注文件，标注文件的每一行代表一个图像，行号与图像编号对应，每行内容包括该图像拍摄时机器人所处的场景和图像的内容，图像的内容用于显示图像是什么物体或者什么地点。步骤2，构建分层词汇树；步骤2.1,利用 0penCV2.4.4 (URL:http://opencv.0rg/)中的GoodFeatureToTrack检测子获得图像集P中每巾贞图像的特征点集合，利用0penCV2.4.4中的SIFT描述子对特征点进行描述获得特征向量集合。步骤2.2,利用开源库 VLFeat0.9.17 (URL:http://vlfeat.0rg/)中 C 语言接 P的层次化整数类型K-Means聚类模块构建多层词汇树，对图像集合的特征向量集合进行训练，得到一棵多层词汇树T。分层词汇树的分支数为10，层数为4。步骤3，构建多层语义地图中的知识拓扑层，为知识拓扑层赋予知识。知识的定义格式为:源语义关联目的语义。其中，语义和关联所表达的知识在计算机中以有向图的方式表示和存储，源语义位于有向图的源节点，目的语义位于有向图的目的节点，关联位于源节点和目的节点之间的有向边，有向图采用邻接表的方式存储。步骤4，构建多层语义地图中的场景拓扑层。场景拓扑层采用无向图表示，在计算机中采用邻接表的方式存储。构建场景拓扑层的方法如下:步骤4.1，从步骤I形成的标注文件中依次取一帧图像和其所属的场景。步骤4.2，如果是第一帧图像，则在场景拓扑层加入第一帧图像所在的场景节点；步骤4.3，如果不是第一帧图像，且当前图像的场景和前一个本文档来自技高网...

【技术保护点】
一种基于视觉内容的多层语义地图的创建方法，其特征在于包括以下步骤：步骤1，将机器人在环境中漫游拍摄的图像集合按照拍摄地点场景进行标注；设所述图像集合为P，每个场景一般不少于50帧图像；对P中的图像进行标注，形成标注文件，标注文件的每一行代表一个图像，行号与图像编号对应，每行内容包括该图像拍摄时机器人所处的场景和图像的内容，图像的内容用于显示图像是什么物体或者什么地点；步骤2，构建分层词汇树；步骤2.1，利用OpenCV2.4.4中的GoodFeatureToTrack检测子获得图像集P中每帧图像的特征点集合，利用OpenCV2.4.4中的SIFT描述子对特征点进行描述获得特征向量集合；步骤2.2，利用开源库VLFeat0.9.17中C语言接口的层次化整数类型K‑Means聚类模块构建多层词汇树，对图像集合的特征向量集合进行训练，得到一棵多层词汇树T；步骤3，构建多层语义地图中的知识拓扑层，为知识拓扑层赋予知识；知识的定义格式为：源语义关联目的语义；其中，语义和关联所表达的知识在计算机中以有向图的方式表示和存储，源语义位于有向图的源节点，目的语义位于有向图的目的节点，关联位于源节点和目的节点之间的有向边，有向图采用邻接表的方式存储；步骤4，构建多层语义地图中的场景拓扑层；步骤5，构建多层语义地图中的地点拓扑层。...

【技术特征摘要】

【专利技术属性】
技术研发人员：杨金福，赵伟伟，解涛，李明爱，高晶钰，张济昭，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11