一种基于深度神经网络的机器人材质识别方法及系统技术方案

本发明专利技术提供了机器人触觉感知技术领域的一种基于深度神经网络的机器人材质识别方法及系统，方法包括如下步骤：步骤S10、机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；步骤S20、基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；步骤S30、基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；步骤S40、机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。本发明专利技术的优点在于：极大的提升了机器人材质识别的准确性、稳定性以及泛化能力。化能力。化能力。

【技术实现步骤摘要】
一种基于深度神经网络的机器人材质识别方法及系统


[0001]本专利技术涉及机器人触觉感知
，特别指一种基于深度神经网络的机器人材质识别方法及系统。

技术介绍

[0002]触觉感知对于机器人了解其工作环境至关重要，随着触觉传感器的发展，机器人在物体分类、材质识别、抓握、滑动检测等方面取得了很大的进展。其中，材质识别是特定种类机器人的强制性能力，例如服务机器人、医疗机器人和探索性机器人。
[0003]在现实世界的开放场景下，由于环境的复杂性，存在各种不确定因素以及突发情况，例如机械臂的重新安装、位置的偏移等，这将直接导致机器人感知的数据存在特征偏移，即直接影响机器人的材质识别准确性。
[0004]因此，如何提供一种基于深度神经网络的机器人材质识别方法及系统，实现提升机器人材质识别的准确性、稳定性以及泛化能力，成为一个亟待解决的技术问题。

技术实现思路

[0005]本专利技术要解决的技术问题，在于提供一种基于深度神经网络的机器人材质识别方法及系统，实现提升机器人材质识别的准确性、稳定性以及泛化能力。
[0006]第一方面，本专利技术提供了一种基于深度神经网络的机器人材质识别方法，包括如下步骤：
[0007]步骤S10、机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；
[0008]步骤S20、基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；
[0009]步骤S30、基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；
[0010]步骤S40、机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。
[0011]进一步地，所述步骤S10具体为：
[0012]在机械臂末端与电子皮肤之间嵌入泡沫硅橡胶，机器人通过安装于机械臂末端的电子皮肤，采集若干种材质的若干张材质图像；
[0013]依次调整机械臂关节角度、机械臂姿态、按压力度、移动速度、重新拆装电子皮肤，每次调整均分别采集若干种材质的若干张材质图像，以完成在不同工况下分批次采集大量的材质图像。
[0014]进一步地，所述步骤S20具体包括：
[0015]步骤S21、随机从其中一个批次的材质图像中，选取不同材质的基准图像；
[0016]步骤S22、依次计算各所述基准图像与各批次中，相同材质的其余图像的SSIM值，
并计算各批次的各所述SSIM值的均值，作为该批次材质图像的不同材质的相似度；
[0017]步骤S23、基于各所述相似度对材质图像进行分类，进而构建数据集。
[0018]进一步地，所述步骤S22中，所述SSIM值的计算公式为：
[0019][0020]其中，μ
x
和μ
y
分别表示图像x和图像y的均值；和分别表示图像x和图像y的方差；σ
xy
表示图像x与图像y的协方差；C1和C2均表示常数。
[0021]进一步地，所述步骤S30具体包括：
[0022]步骤S31、机器人基于深度神经网络创建一材质识别模型；所述材质识别模型基于DenseNet以及CBAM构建；所述DenseNet包括3个稠密块以及2个过渡层；所述CBAM包括1个通道注意力模块以及1个空间注意力模块；
[0023]步骤S32、将所述数据集中批次1的数据按2：1的比例划分为训练集和验证集，将所述数据集中批次2和批次3的数据作为测试集，并预设一收敛条件以及一准确率阈值；
[0024]步骤S33、利用所述训练集对材质识别模型进行训练，直至满足收敛条件，并保存训练过程中所述材质识别模型在验证集上的最佳权重；
[0025]步骤S34、利用所述测试集对材质识别模型进行测试，判断识别准确率是否大于所述准确率阈值，若是，则结束训练，并进入步骤S40；若否，则扩充所述训练集，并进入步骤S33。
[0026]第二方面，本专利技术提供了一种基于深度神经网络的机器人材质识别系统，包括如下模块：
[0027]材质图像采集模块，用于机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；
[0028]数据集构建模块，用于基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；
[0029]材质识别模型训练模块，用于基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；
[0030]材质识别模块，用于机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。
[0031]进一步地，所述材质图像采集模块具体为：
[0032]在机械臂末端与电子皮肤之间嵌入泡沫硅橡胶，机器人通过安装于机械臂末端的电子皮肤，采集若干种材质的若干张材质图像；
[0033]依次调整机械臂关节角度、机械臂姿态、按压力度、移动速度、重新拆装电子皮肤，每次调整均分别采集若干种材质的若干张材质图像，以完成在不同工况下分批次采集大量的材质图像。
[0034]进一步地，所述数据集构建模块具体包括：
[0035]基准图像选取单元，用于随机从其中一个批次的材质图像中，选取不同材质的基准图像；
[0036]相似度计算单元，用于依次计算各所述基准图像与各批次中，相同材质的其余图
像的SSIM值，并计算各批次的各所述SSIM值的均值，作为该批次材质图像的不同材质的相似度；
[0037]材质图像分类单元，用于基于各所述相似度对材质图像进行分类，进而构建数据集。
[0038]进一步地，所述相似度计算单元中，所述SSIM值的计算公式为：
[0039][0040]其中，μ
x
和μ
y
分别表示图像x和图像y的均值；和分别表示图像x和图像y的方差；σ
xy
表示图像x与图像y的协方差；C1和C2均表示常数。
[0041]进一步地，所述材质识别模型训练模块具体包括：
[0042]材质识别模型创建单元，用于机器人基于深度神经网络创建一材质识别模型；所述材质识别模型基于DenseNet以及CBAM构建；所述DenseNet包括3个稠密块以及2个过渡层；所述CBAM包括1个通道注意力模块以及1个空间注意力模块；
[0043]训练参数设定单元，用于将所述数据集中批次1的数据按2：1的比例划分为训练集和验证集，将所述数据集中批次2和批次3的数据作为测试集，并预设一收敛条件以及一准确率阈值；
[0044]模型训练单元，用于利用所述训练集对材质识别模型进行训练，直至满足收敛条件，并保存训练过程中所述材质识别模型在验证集上的最佳权重；
[0045]模型验证单元，用于利用所述测试集对材质识别模型进行测试，判断识别准确率是否大于所述准确率阈值，若是，则结束训练，并进入材质识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的机器人材质识别方法，其特征在于：包括如下步骤：步骤S10、机器人通过安装于机械臂末端的电子皮肤，在不同工况下分批次采集大量的材质图像；步骤S20、基于结构相似性计算各批次的所述材质图像之间的相似度，基于各所述相似度构建数据集；步骤S30、基于深度神经网络创建一材质识别模型，利用所述数据集对材质识别模型进行训练；步骤S40、机器人利用训练后的所述材质识别模型，对新的工况下电子皮肤采集的图像进行实时的材质识别，并实时输出识别结果。2.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤S10具体为：在机械臂末端与电子皮肤之间嵌入泡沫硅橡胶，机器人通过安装于机械臂末端的电子皮肤，采集若干种材质的若干张材质图像；依次调整机械臂关节角度、机械臂姿态、按压力度、移动速度、重新拆装电子皮肤，每次调整均分别采集若干种材质的若干张材质图像，以完成在不同工况下分批次采集大量的材质图像。3.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤S20具体包括：步骤S21、随机从其中一个批次的材质图像中，选取不同材质的基准图像；步骤S22、依次计算各所述基准图像与各批次中，相同材质的其余图像的SSIM值，并计算各批次的各所述SSIM值的均值，作为该批次材质图像的不同材质的相似度；步骤S23、基于各所述相似度对材质图像进行分类，进而构建数据集。4.如权利要求3所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤S22中，所述SSIM值的计算公式为：其中，μ
x
和μ
y
分别表示图像x和图像y的均值；和分别表示图像x和图像y的方差；σ
xy
表示图像x与图像y的协方差；C1和C2均表示常数。5.如权利要求1所述的一种基于深度神经网络的机器人材质识别方法，其特征在于：所述步骤S30具体包括：步骤S31、机器人基于深度神经网络创建一材质识别模型；所述材质识别模型基于DenseNet以及CBAM构建；所述DenseNet包括3个稠密块以及2个过渡层；所述CBAM包括1个通道注意力模块以及1个空间注意力模块；步骤S32、将所述数据集中批次1的数据按2：1的比例划分为训练集和验证集，将所述数据集中批次2和批次3的数据作为测试集，并预设一收敛条件以及一准确率阈值；步骤S33、利用所述训练集对材质识别模型进行训练，直至满足收敛条件，并保存训练过程中所述材质识别模型在验证集上的最佳权重；步骤S34、利用所述测试集对材质识别模型进行测试，判断识别准确率是否大于所述准
确率阈值，若是，则结束训练，并进入步骤S40；若否，则扩充所述训练集，并进入步骤S33。6.一种基于深度神经网络的机器人材质识别系统，其特征在于：包括如下模块：...

【专利技术属性】
技术研发人员：刘昆宏，杨千慧，姚俊峰，谢瑜，黄祥逸，
申请(专利权)人：厦门大学，
类型：发明
国别省市：