基于多模态感知的足式机器人运动行为识别方法及系统技术方案

本发明专利技术公开了一种基于多模态感知的足式机器人运动行为识别方法及系统，其中，所述方法包括：基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息；对多模态传感数据信息按照不同类型地面来进行数据集划分，得到不同地面类型的多模态传感数据集；基于不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练，获得最优粘性层次狄利克雷过程隐马尔科夫模型；将待识别样本信息输入最优粘性层次狄利克雷过程隐马尔科夫模型，并计算对数似然函数值之和；基于计算结果后进行足式机器人运动行为识别。在本发明专利技术实施中，提高了运动行为识别的可靠性和准确率。

Recognition method and system of foot robot motion behavior based on multimodal perception

【技术实现步骤摘要】
基于多模态感知的足式机器人运动行为识别方法及系统
本专利技术涉及机器人运动行为识别
，尤其涉及一种基于多模态感知的足式机器人运动行为识别方法及系统。
技术介绍
足式机器人具备环境适应性好、运动范围广、负载能力强，能够实现崎岖山地运输、危险灾难救援、军事侦察等任务。从而，能够实时识别到足式机器人在不同类型地面(如泥沙、水泥、草地、木质、瓷砖等)行走的运动行为及运动特征将能直接对机器人的控制和步态进行调整，提高环境的适应性和系统的鲁棒性。因此，开展基于关节编码器、IMU、关节力矩等多模态感知的足式机器人运动行为识别是目前足式机器人前沿研究的关键技术。传统足式机器人的运动行为识别技术通常采用参数化隐性马尔科夫模型(HiddenMarkovModel，HMM)对关节编码器的关节角度信息进行建模，具有训练样本数量少和计算复杂度低等优点，初步实现了运动行为识别，具有一定的可行性。但是随着环境的复杂性和任务的多样性增加，主要存在两方面的问题：(1)仅考虑单模态的传感信息，无法准确地实现对环境的感知及机器人系统的状态估计，降低了运动行为识别的容错本文档来自技高网...

【技术保护点】
1.一种基于多模态感知的足式机器人运动行为识别方法，其特征在于，所述方法包括：/n基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息；/n对所述多模态传感数据信息按照不同类型地面进行数据集划分，得到不同地面类型的多模态传感数据集，所述不同地面类型的多模态传感数据集包括训练集和测试集；/n基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练，获得最优粘性层次狄利克雷过程隐马尔科夫模型；/n将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算；/n基于对数似然函数值之和的计算结果进...

【技术特征摘要】
1.一种基于多模态感知的足式机器人运动行为识别方法，其特征在于，所述方法包括：
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息；
对所述多模态传感数据信息按照不同类型地面进行数据集划分，得到不同地面类型的多模态传感数据集，所述不同地面类型的多模态传感数据集包括训练集和测试集；
基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练，获得最优粘性层次狄利克雷过程隐马尔科夫模型；
将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算；
基于对数似然函数值之和的计算结果进行足式机器人运动行为识别。


2.根据权利要求1所述的足式机器人运动行为识别方法，其特征在于，所述基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息，包括：
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的数据信息；
基于人为方式对所述数据信息进行标注，获得标注数据信息；
基于非线性的卡尔曼滤波法对所述标注数据信息进行降噪处理，并对降噪后的数据信息利用数值插补法进行频率对齐，获得多模态传感数据信息。


3.根据权利要求1或2所述的足式机器人运动行为识别方法，其特征在于，所述多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息。


4.根据权利要求1所述的足式机器人运动行为识别方法，其特征在于，所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程，包括：
获得层次狄利克雷过程，并定义所述层次狄利克雷过程如下：



则，利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下：



即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示；
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ，获得粘性层次狄利克雷过程隐马尔科夫模型；
其中，H表示任意的基分布；γ表示集中系数；集中系数γ决定了β的相对离散比例，当γ越大表示数据越离散，反之，越集中；DP表示为狄利克雷过程；G表示一个对数据聚类的过程，在狄利克雷过程中，G～DP(γ,H)，G0,Gj∈G；GEM表示折棍子的生成过程；α表示DP过程的集中系数；vk表示第k个隐性状态的中间变量，有γ决定；βk表示第k个隐性状态的转移概率；l＝1,2,3,…,k-1；k＝1,2,3,4,…；θk表示第k个隐性状态的未知参数；表示取值只为0或1的逻辑函数；γ～Beta(1,γ)表示γ服从贝塔分布。


5.根据权利要求4所述的足式机器人运动行为识别方法，其特征在于，所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ，获得粘性层次狄利克雷过程隐马尔科夫模型，包括：
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身，并没有考虑到隐性状态间的自转换，即：
E[πjk|β]＝βk；(3)
参照公式(2)的描述，以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整：



在公式(4)中，(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0，使得转换概率πjk的期望自转换概率与常量值κ成正比，κ越大，表示模型对观察值的“粘性”越高；从而增加“粘性”后转换概率的期望值为：



其中，定义为模型...

【专利技术属性】
技术研发人员：吴鸿敏，鄢武，徐智浩，苏泽荣，唐观荣，周雪峰，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东;44