基于贪婪深度字典学习的机器人多模态物体识别方法技术

本发明专利技术涉及物体识别技术领域，具体涉及一种基于贪婪深度字典学习的机器人多模态物体识别方法，该方法包括以下步骤：视觉模态与触觉模态数据采集、数据特征提取、视觉模态与触觉模态融合、惩罚字典的贪婪深度字典学习、特征表示合并和分类器设计。该方法克服了传统视觉模态在单模态识别时识别率低的难题，解决了触觉训练样本不足的问题。采用多模态融合的方式进行物体识别，视觉模态与触觉模态的融合可以获得物体的形状、颜色、纹理和粗糙度特征，且无需创建大型的训练测试数据集，省时省力，提高了识别物体的准确率。高了识别物体的准确率。高了识别物体的准确率。

【技术实现步骤摘要】
基于贪婪深度字典学习的机器人多模态物体识别方法


[0001]本专利技术涉及物体识别
，具体涉及一种基于贪婪深度字典学习的机器人多模态物体识别方法。

技术介绍

[0002]物体识别最常用的方法是使用相机获取物体的图像，然后进行特征提取、图像分类、图像识别。然而，仅仅依靠视觉的物体识别在实际交互操作中具有巨大的挑战。例如，仅依靠图片很难区分两个外观相似但属性不同的瓶子，此外，在有遮挡或者照明条件不良的情况下无法采集准确的数据而很难获得准确的分类识别结果。触觉信息也常被用于识别物体，但由于触觉信号是高度可变的，纯粹基于触觉传感器的物体分类与识别是不可靠的。随着技术的发展，深度神经网络算法被用于物体识别，而随着训练过程中网络参数数量增加，需要学习大量参数，因而需要大量的训练样本才能实现较好的分类能力，然而一个大型数据集，使用时存在耗时耗力的问题。
[0003]传统的贪婪深度字典学习以最深层特征表示作为分类器的输入，此时只能应用复杂抽象的表示到分类器中，无法保存浅层的信息，影响识别物体的准确率。另外对于传统的贪婪深度字典框架学习到的字典，有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于贪婪深度字典学习的机器人多模态物体识别方法，其特征在于，主要包括以下步骤：S1，视觉模态与触觉模态数据采集(1a)视觉模态的数据采集采用照相机完成；(1b)触觉模态的数据采集采用配备触觉传感器的灵巧手，将其搭载在机械臂末端完成；(1c)进行数据采集工作时，机械臂使用照相机获取物体图像，并使用手指触摸它，以此获得待识别物体的图像样本与触觉样本；S2，数据特征提取；(2a)对图像数据进行特征提取采用尺度不变特征变换算法，该算法具有尺度不变性，可以检测出图像中的关键点；(2b)对触觉数据进行预处理得到列矢量后采用主成分分析算法得到触觉序列特征，减少触觉序列中的冗余部分，降低整体分类算法的时间成本；S3，视觉模态与触觉模态融合将视觉特征矩阵与触觉序列特征矩阵水平方向合并进行融合，融合后得到数据集，分割数据集得到训练集X与测试集X
test
，可以获得物体的形状、颜色、纹理和粗糙度特征，提高识别物体的准确率；S4，惩罚字典的贪婪深度字典学习惩罚字典的贪婪深度字典学习是对多层字典框架进行逐层训练，每一层都通过迭代训练进行优化，得到训练集数据的特征表示Z＝{Z1，Z2，...，Z
L
}与字典层Ω＝{D1，D2，
…
，D
L
}，共L层，输入测试样本n的数据x
test
，根据训练求解的字典层Ω＝{D1，D2，
…
，D
L
}得到测试样本n的所有特征表示z
test
＝{z
1,test
，z
2,test
，...，z
L,test
}；S5，特征表示合并特征表示合并是将浅层的边、角、线特征表示与深层的复杂抽象特征表示合并，以跨层保存信息，提高识别物体的准确率...

【专利技术属性】
技术研发人员：熊鹏文，王月柔，周雨梦，肖洋，李军，王雯钰，汪永阳，何程杰，刘继忠，宋爱国，刘小平，
申请(专利权)人：南昌大学，
类型：发明
国别省市：