【技术实现步骤摘要】
本专利技术属于视触融合领域，尤其涉及一种基于视触融合的抓握物体分类方法。
技术介绍
1、模态是指人或设备接收信息的特定方式或来源，如人接收信息的方式有触觉、味觉、视觉、嗅觉等等，信息传递的方式依据渠道的不同，采用不同的媒介，如音频、视频、文字等，在设备层面，如传感器、雷达、红外以及加速度计等。多模态融合是指综合来自两个或多个模态的信息以进行预测的过程。在预测的过程中，单个模态通常不能包含产生精确预测结果所需的全部有效信息，多模态融合过程结合了来自两个或多个模态的信息，实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。
2、目前，自主机器人在执行各种任务时，通常都使用多种传感器模态进行输入。这些传感器构成了机器人感知系统的感官系统，形成了机器人的视觉、触觉甚至听觉。机器人的感知系统是在人类感知系统的基础上进行的。有研究表明，人类对物体信息进行识别的时候，会进行感知系统之间的信息共享与融合。对比人类，机器人也可以在一定程度上进行感知模态信息融合，尤其是视觉和触觉，结合效果较好，有实验证明，...
【技术保护点】
1.一种基于视触融合的抓握物体分类方法，其特征在于，步骤如下：
2.根据权利要求1所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述数据预处理采用数据标准化。
3.根据权利要求1所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述触觉特征和所述视觉特征的获取过程如下：利用去噪方法对触觉图像数据降噪处理，将去噪后的触觉图像数据依次经过一个初始卷积层和一个最大池化层，得到第一触觉图像特征；将第一触觉图像特征输入到所述残差模块中，得到触觉图像数据的触觉特征；将视觉图像数据依次经过一个初始卷积层和一个最大池化层，得到第一视觉图像特征；将第...
【技术特征摘要】
1.一种基于视触融合的抓握物体分类方法，其特征在于，步骤如下：
2.根据权利要求1所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述数据预处理采用数据标准化。
3.根据权利要求1所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述触觉特征和所述视觉特征的获取过程如下：利用去噪方法对触觉图像数据降噪处理，将去噪后的触觉图像数据依次经过一个初始卷积层和一个最大池化层，得到第一触觉图像特征；将第一触觉图像特征输入到所述残差模块中，得到触觉图像数据的触觉特征；将视觉图像数据依次经过一个初始卷积层和一个最大池化层，得到第一视觉图像特征；将第一视觉图像特征输入到所述残差模块中，得到第二视觉图像特征，将第二视觉图像特征输入到所述卷积注意力机制模块，得到视觉图像数据的视觉特征。
4.根据权利要求3所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述残差模块由若干个残差块依次级联而成，在每个所述残差块中，将第一输入数据依次经过第一卷积层、第二卷积层、所述第一卷积层后，得到第一中间特征数据；将输入数据与中间特征数据进行残差连接，得到第一输出数据。
5.根据权利要求4所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述第一卷积层的卷积核大小为1×1；所述第二卷积层的卷积核大小为3×3。
6.根据权利要求3所述的一种基于视触融合的抓握物体分类方法，其特征在于，所述初始卷...
【专利技术属性】
技术研发人员：闫凯波，吕汇，李焕焕，傅裕康，夏庆华，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。