基于空间与时间信息融合的机器人场景识别方法技术

本发明专利技术涉及一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤：1)初步描述场景图像的对象特征；2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；3)建立场景图像的时间序列模型；4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别；5)对识别模型进行在线更新。与现有技术相比，本发明专利技术鲁棒性好，可以适应复杂环境。

Robot scene recognition method based on spatial and temporal information fusion

The invention relates to a spatial and temporal information fusion method based on scene recognition robot, which comprises the following steps: 1) a preliminary description of object features the image of the scene; 2) according to the characteristics of the object scene image to establish a spatial hierarchy model, the spatial hierarchy model including scene layer, object layer and feature layer, each layer between the association through conditional probability relation, the object level of probability prediction by the feature layer, scene layer of probability prediction by the object layer, the image of probability prediction by the scene layer; 3) to establish the time series model of scene image; 4) by the Bayesian network hierarchical model and time series model of scene images are combined. To obtain recognition model by image recognition model for the next moment of probability prediction, and scene recognition according to the scene image prediction; 5) Update the identification model online. Compared with the prior art, the invention has good robustness and can adapt to complicated environment.

【技术实现步骤摘要】
基于空间与时间信息融合的机器人场景识别方法
本专利技术涉及一种场景识别方法，尤其是涉及一种基于空间与时间信息融合的机器人场景识别方法。
技术介绍
移动机器人的自主作业将极大的依赖于其对环境的感知和理解，其中核心问题之一是对场景的识别。空间和时间是场景识别任务中两种重要信息来源。目前的一些研究已经为基于空间或者时间信息的场景识别方法提供了理论基础。不过这些工作大多数只是单独考虑一个方面的信息，目前还没有一个完整的用于移动机器人场景识别时间与空间信息融合的系统框架。另外，目前大多数场景识别方法都假设有限和静态的场景类型。这些方法被限制用于预定义的或者已知的环境，对于动态和未知的环境，需要场景识别模型能够在运行中根据环境更新系统参数，甚至是模型结构。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于空间与时间信息融合的机器人场景识别方法，该方法可以提高机器人的适应动态复杂环境的能力以及鲁棒性。本专利技术的目的可以通过以下技术方案来实现：一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤：1)对场景图像的对象进行特征提取，初步描述场景图像的对象特征，对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割，场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征，所述的全局特征、外观特征和轮廓特征采用相关向量机结合核函数组合的方式进行多种特征通道的融合；2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；3)建立场景图像的时间序列模型；4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别。5)对识别模型进行在线更新。步骤1)中对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割。步骤1)中场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征。外观特征的描述采用SIFT算法，轮廓特征的描述采用Canny算法结合梯度方向统计算法。步骤2)中场景的空间关系信息用层次化概率模型来描述。步骤3)中时间序列模型通过隐马尔可夫模型来进行描述。步骤4)通过概率方式实现空间层次模型和时间序列模型进行结合与场景识别。步骤5)中以预测到的场景图像作为训练样本，对识别模型进行自适应学习，在线更新并优化识别模型，其更新策略受人工记忆系统控制。与现有技术相比，本专利技术通过同时对空间和时间信息的融合，可以进一步提高识别模型的性能，更符合人类获取信息的特点，也将会更适应复杂环境下的场景识别任务，此外本专利技术可以对识别模型进行在线学习，更新并优化识别模型，使其可以处理更加复杂的动态场景以及未知场景。附图说明图1为本专利技术的整体流程图；图2为本专利技术中空间层次模型的示意图；图3为本专利技术中时间序列模型的示意图；图4为识别模型的示意图；图5为人工记忆管理系统的结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。如图1所示，一种基于空间与时间信息融合的机器人场景识别方法，包括以下步骤：1)对场景图像的对象进行特征提取，初步描述场景图像的对象特征。其中，对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割，场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征，分别采用SIFT和Canny算法结合梯度方向统计算法进行特征提取。上述特征采用相关向量机结合核函数组合的方式进行多种特征通道的融合，该模型中特征核函数的权重将根据特征在对场景进行识别时具有的不同的重要程度自适应地学习得到，并且模型中与每一个训练样本相关联的核函数的组合方式都是灵活可变的。具体为：由于每个场景图像为一个样本，而每一种特征描述构成了该样本的一个通道。令x为场景图像样本的多特征联接向量，其包含的三个特征通道分别为：全局特征xglobal、外观特征xapp和轮廓特征xshape。首先，本专利技术分别为这三个通道的特征向量选择一种核函数，用于衡量同类特征向量间的相似度。注意到，不同特征通道的核函数可以是高斯核、χ2核、线性核、或者其它。核函数可以相同，也可以不同，可视需要自由组合。下面为了表达的简洁，使用如下的等价表达：Kglobal(x,y)＝Kglobal(xglobal,yglobal)Kapp(x,y)＝Kapp(xapp,yapp)Kshape(x,y)＝Kshape(xshape,yshape)对于具有N个样本的训练集，基本的相关向量机定义了如下的判别函数：针对特征具有多个通道的特点，将该相关向量机判别函数进行了扩展。定义如下的多核相关向量机判别函数：其中w即为该多核相关向量机的权值参数向量，其维度为3N+1维。而φ(x)为3N+1维的列向量，其形式为：φ(x)＝[1,Kglobal(x,x1),Kapp(x,x1),Kshape(x,x1),…,Kglobal(x,xN),Kapp(x,xN),Kshape(x,xN)]T.相关向量机学习模型具有从训练样本中挑选“相关(样本)向量”的能力。而对于上述判断函数定义的多核分类器，最终挑选出不再是“相关样本”，而是“相关通道特征向量”。并且由相关向量机的原理可知，在训练中对分类越是“相关”的通道特征向量，其学习得到的权值将越大。即特征核函数的组合权值是由该特征在分类时具有的不同的重要性自适应地学习得到的。对于每一个训练输入样本xi，都有一组独立的组合权值wglobal,i，wapp,i和wshape,i与之对应。因此，对于每个训练样本，其特征通道间核函数的组合方式都是不同的。因此，该模型可以实现比一般的组合核函数更灵活的特征融合。更重要的是，模型看似有很多的参数，不过通过相关向量机的稀疏学习，将使得大部分的参数为0，因此最终只会保留少量的模型参数，保证了模型的计算效率与泛化性能。2)根据场景图像的对象特征建立如图2所示的空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测。具体为：考虑场景在空间上的信息建模，本专利技术将空间信息分类为两个方面，一方面是在图像空间内的位置关系，例如物体与物体之间、区域与区域之间的位置关系；另一方面是在抽象层次上的关系，如场景与物体之间，物体与图像特征之间的关系。本专利技术通过图模型(GraphicalModel)来本文档来自技高网...

【技术保护点】
一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，包括以下步骤：1)对场景图像的对象进行特征提取，初步描述场景图像的对象特征；2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；3)建立场景图像的时间序列模型；4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别。5)对识别模型进行在线更新。

【技术特征摘要】
1.一种基于空间与时间信息融合的机器人场景识别方法，其特征在于，包括以下步骤：1)对场景图像的对象进行特征提取，初步描述场景图像的对象特征，对场景图像的对象进行初步描述的方式包括场景特征提取与描述、物体识别以及区域分割，场景图像的对象特征包括全局特征和局部特征，其中局部特征包括外观特征和轮廓特征，所述的全局特征、外观特征和轮廓特征采用相关向量机结合核函数组合的方式进行多种特征通道的融合；2)根据场景图像的对象特征建立空间层次模型，该空间层次模型包括场景层、对象层、特征层，每个层之间通过条件概率关系进行关联，由特征层对对象层进行概率预测，由对象层对场景层进行概率预测，由场景层对场景图像进行概率预测；3)建立场景图像的时间序列模型；4)通过贝叶斯网络对场景图像的空间层次模型和时间序列模型进行结合，获得识别模型，由识别模型对下一时刻的场景图像进行概率预测，并根据预测的场景图像进行场景识别；5)对识别模型进行...

【专利技术属性】
技术研发人员：陈启军，陈雷，
申请(专利权)人：同济大学，
类型：发明
国别省市：