一种基于视觉词袋模型的室内场景认知方法技术

本发明专利技术属于移动机器人环境感知领域，特别涉及一种基于视觉词袋模型的室内场景认知方法。本发明专利技术包括，离线部分：依据应用需求确定场景类别，机器人利用搭载的RGB‑D传感器扫描各个场景，获得足够多的场景图像组成图像训练集；利用ORB算法生成图像训练集中每一幅图像的ORB 256维描述符，每幅图像通常包含成百上千个ORB矢量等；在线部分：机器人接收到当前场景类别查询指令，系统初始化，准备进行场景查询等。本发明专利技术采用ORB算法完成特征提取与匹配的图像预处理过程，算法快速性得到保证；采用KNN分类器算法提高了场景识别率，可满足移动机器人室内常见场景查询应用需求。

【技术实现步骤摘要】

本专利技术属于移动机器人环境感知领域，特别涉及一种基于视觉词袋模型的室内场景认知方法。
技术介绍
通常情况下，栅格地图可满足机器人对导航、避障任务的底层需求，然而对于完成诸如人机交互和任务规划一类的高层任务，还需要获取关于场景认知的语义信息，创建面向认知的语义地图。移动机器人在室内场景中移动，不知晓自身所在位置属于客厅、厨房抑或是卧室，则不能完成类似于为人类到厨房的冰箱里取瓶矿泉水这样的高智能任务了。
技术实现思路
本专利技术的目的在于提出一种基于视觉词袋模型的室内场景认知方法。本专利技术的目的是这样实现的：本专利技术包括离线和在线两个部分，具体步骤如下：离线部分：(1)依据应用需求确定场景类别，机器人利用搭载的RGB-D传感器扫描各个场景，获得足够多的场景图像组成图像训练集；(2)利用ORB算法生成图像训练集中每一幅图像的ORB256维描述符，每幅图像通常包含成百上千个ORB矢量；(3)利用K-means聚类算法对图像训练集中ORB特征点进行训练，生成K个类心组成视觉词汇，构造出视觉词典；(4)针对所有图像的ORB特征，计算每一个视觉单词出现的频率和逆频率，通过TF-IDF对频数表添加权重，生成加权的训练集各图像的视觉词袋模型；保存视觉词典和训练集视觉词袋模型就获得了新形式的离线语义地图；在线部分：(5)机器人接收到当前场景类别查询指令，系统初始化，准备进行场景查询；(6)机器人利用其搭载的摄像机获取当前场景的RGB图像，并采用ORB算法检测并提取特征点集；(7)查询语义地图数据库，比对视觉词典，生成当前场景图像的加权视觉词袋模型；(8)采用KNN分类器将当前场景图像的视觉词袋模型与语义地图数据库训练集视觉词袋模型对比，最终确定当前场景类别，并返回查询结果。所述的步骤(3)包括以下几个子步骤：(3.1)在特征点集X中随机挑选k个样本点作为初始聚类中心(3.2)计算特征点集中每个特征点xi(i＝1,2,…,n)到所有聚类中心的距离且将特征点xi划分到与其距离最近的类mj中；(3.3)计算各个类的聚类中心j＝1,2,…,k，其中nj为划分到类簇mj中特征点数目，计算目标函数Wn(t)，并与前一次计算结果作差，如果Wn(t)-Wn(t-1)＜0，继续迭代步骤(3.2)、(3.3)；否则，退出迭代，计算结束；将获得的k个聚类中心作为视觉单词，将所有视觉单词列表存储获得视觉词典；所述步骤(3)视觉词典单词容量参数K设为900。所述步骤(8)中KNN分类器参数K设置为1。本专利技术的有益效果在于：本专利技术采用ORB算法完成特征提取与匹配的图像预处理过程，算法快速性得到保证；采用KNN分类器算法提高了场景识别率，可满足移动机器人室内常见场景查询应用需求。附图说明图1为基于视觉词袋模型的室内场景认知方法算法流程示意图。具体实施方式下面结合附图对本专利技术做进一步描述。本专利技术公开了一种基于视觉词袋模型的室内场景认知方法，本专利技术方法包括离线地图生成和在线地图查询两部分。离线地图生成部分包括：扫描场景获取场景训练集；ORB特征检测与描述；K均值聚类提取类心构造视觉词典；TF-IDF技术添加权重生成训练集视觉词袋模型数据库。在线地图查询部分包括：接收场景查询指令；获取当前场景RGB图像并提取ORB特征；查询地图数据库视觉词典，生成当前场景图像视觉词袋模型；KNN分类器对比地图数据库训练集与当前场景词袋模型，判定当前场景类别。通过上述方式，本专利技术能够快速准确地帮助移动机器人完成室内场景认知，从而更好地同人类交互。为解决上述问题，本专利技术提出基于视觉词袋模型的室内场景认知方法，从而建立室内常见场景视觉词典，建立一种面向室内场景认知的新的语义地图形式，然后用于机器人室内场景类别查询。为达到上述目的，本专利技术的技术方案包含以下要点：离线部分：步骤1.扫描场景获取场景训练集；步骤2.ORB特征检测与描述；步骤3.K均值聚类提取类心构造视觉词典；步骤4.TF-IDF技术添加权重生成训练集视觉词袋模型数据库；在线部分：步骤1.获取当前场景RGB图像并提取ORB特征；步骤2.查询地图数据库视觉词典生成当前场景图像视觉词袋模型；步骤3.KNN分类器对比地图数据库训练集与当前场景词袋模型，判定当前场景类别。基于视觉词袋模型的室内场景认知方法算法流程如图1所示，可分为离线和在线两个部分，具体实施步骤如下：(1)离线地图生成：步骤1.依据应用需求确定场景类别，机器人利用搭载的RGB-D传感器扫描各个场景，获得足够多的场景图像组成图像训练集。步骤2.利用ORB算法生成图像训练集中每一幅图像的ORB256维描述符，每幅图像通常包含成百上千个ORB矢量。步骤3.利用K-means聚类算法对图像训练集中ORB特征点进行训练，生成K个类心组成视觉词汇，构造出视觉词典。对于室内10个左右的场景，取K＝900可获得约80％的场景识准率，且算法具备不错的快速性，所以本专利技术参数K选取900。K-means算法是一种无监督自适应聚类分析算法，具有效率高、适合大规模数据处理的优点。其核心思想是在特征点集X＝{x1,x2,…,xn本文档来自技高网...

【技术保护点】
一种基于视觉词袋模型的室内场景认知方法，其特征在于，包括离线和在线两个部分，具体步骤如下：离线部分：(1)依据应用需求确定场景类别，机器人利用搭载的RGB‑D传感器扫描各个场景，获得足够多的场景图像组成图像训练集；(2)利用ORB算法生成图像训练集中每一幅图像的ORB 256维描述符，每幅图像通常包含成百上千个ORB矢量；(3)利用K‑means聚类算法对图像训练集中ORB特征点进行训练，生成K个类心组成视觉词汇，构造出视觉词典；(4)针对所有图像的ORB特征，计算每一个视觉单词出现的频率和逆频率，通过TF‑IDF对频数表添加权重，生成加权的训练集各图像的视觉词袋模型；保存视觉词典和训练集视觉词袋模型就获得了新形式的离线语义地图；在线部分：(5)机器人接收到当前场景类别查询指令，系统初始化，准备进行场景查询；(6)机器人利用其搭载的摄像机获取当前场景的RGB图像，并采用ORB算法检测并提取特征点集；(7)查询语义地图数据库，比对视觉词典，生成当前场景图像的加权视觉词袋模型；(8)采用KNN分类器将当前场景图像的视觉词袋模型与语义地图数据库训练集视觉词袋模型对比，最终确定当前场景类别，并返回查询结果。...

【技术特征摘要】
1.一种基于视觉词袋模型的室内场景认知方法，其特征在于，包括离线和在线两个部分，具体步骤如下：离线部分：(1)依据应用需求确定场景类别，机器人利用搭载的RGB-D传感器扫描各个场景，获得足够多的场景图像组成图像训练集；(2)利用ORB算法生成图像训练集中每一幅图像的ORB256维描述符，每幅图像通常包含成百上千个ORB矢量；(3)利用K-means聚类算法对图像训练集中ORB特征点进行训练，生成K个类心组成视觉词汇，构造出视觉词典；(4)针对所有图像的ORB特征，计算每一个视觉单词出现的频率和逆频率，通过TF-IDF对频数表添加权重，生成加权的训练集各图像的视觉词袋模型；保存视觉词典和训练集视觉词袋模型就获得了新形式的离线语义地图；在线部分：(5)机器人接收到当前场景类别查询指令，系统初始化，准备进行场景查询；(6)机器人利用其搭载的摄像机获取当前场景的RGB图像，并采用ORB算法检测并提取特征点集；(7)查询语义地图数据库，比对视觉词典，生成当前场景图像的加权视觉词袋模型；(8)采用KNN分类器将当前场景图像的视觉词袋模型与语义地图数据库训练...

【专利技术属性】
技术研发人员：赵玉新，李亚宾，刘厂，雷宇宁，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23