一种基于深度学习的柔性压力传感阵列图的识别方法技术

本发明专利技术涉及一种基于深度学习的柔性压力传感阵列图的识别方法，该方法通过将传感器贴在机械手上抓取物体，对识别的物体进行分类；利用深度卷积生成对抗网络技术生成柔性压力传感阵列图样本；利用改进的神经网络模型并引入注意力机制的方式对柔性压力传感阵列图样本进行训练，得到最优模型；根据训练得到的最优模型对样本中的测试集进行测试；将训练好的最优模型应用到机械手中，动态地抓取物体并识别该物体的类型；该方法识别准确度高、识别效率高、泛化能力强，并且能满足大量应用场景需求。求。求。

【技术实现步骤摘要】
一种基于深度学习的柔性压力传感阵列图的识别方法


[0001]本专利技术涉及图像识别
，尤其是涉及一种基于深度学习的柔性压力传感阵列图的识别方法。

技术介绍

[0002]物体与物体间相互接触而产生的作用力在许多工业领域具有非常重要的作用。与一般类型的传感器不同的是，柔性压力传感阵列可以检测出柔性—柔性以及柔性—刚性相接触的作用力。柔性压力传感阵列不但拥有普通传感器的特点，而且具有轻薄、柔软、可弯曲等特点。柔性压力传感阵列可以在弯曲状态下检测出接触作用力的大小与分布信息，尤其是在一些曲面或者非平面形状的接触力检测中，具有较好的效果，并且已广泛应用在很多领域。
[0003]目前现有的柔性压力阵列信息的采集与检测方面的研究，大多是基于足底压力或者握力压力的，这种类型压力的信息数值一般较大，如果在感知、采集或者预测压力信息时存在误差，则误差对整体信息的处理影响不大，作用不明显。而服装对人体产生的压力属于微小的压力信息，也称为微力，因为服装和人体都是柔性体曲面，两个柔性体相互接触时，产生的是轻微的压力信息，这种类型的压力信息数值较小；在处理微小的压力信息的时候，感知、重构或者预测压力信息产生的误差，对整体信息的获取影响很大，作用非常明显，这就导致了柔性压力阵列处理人体服装这种数值微小的压力信息时，感知、重构和预测的难度远远高于足底或者握力这种数值较大的压力信息。
[0004]惠文珊等人(惠文珊,李会军,陈萌,等.基于CNN
‑
LSTM的机器人触觉识别与自适应抓取控制[J].仪器仪表学报,2019,40(1):211
‑
218.)通过对深度学习算法的研究学习，提出了在基于触觉识别领域使用卷积神经网络和长短期记忆网络的融合模型进行分类。其方法的主要步骤如下：首先利用CNN模型对抓取时采集的触觉信息进行特征降维，然后通过LSTM模型来捕获相应时间特征，最后使用Softmax分类器完成对物体的识别工作。这种方法虽然能够通过机械手抓取物体并识别，但是存在识别准确率不高并且在样本差异较大时无法准确识别的缺陷，因此其泛化能力较差。
[0005]所以，现有的关于柔性压力传感阵列图的识别方法存在一定的局限性，主要表现在：
[0006](1)、在训练过程中对物体进行识别时，如果样本之间的差异性较小，对物体的识别准确度将下降，泛化能力也较差；
[0007](2)、机械手抓取物体采用的方式不同和抓取的物体位置不同等问题都会对物体的识别结果产生影响，无法满足大多数的场景需求；
[0008](3)、在机械手抓取物体时，对于抓取物体的识别效率将影响其使用的场景，从而对其实用性带来影响。

技术实现思路

[0009]本专利技术所要解决的技术问题是提供一种识别准确度高、识别效率高、泛化能力强，并且能满足大量应用场景需求的基于深度学习的柔性压力传感阵列图的识别方法。
[0010]本专利技术所采用的技术方案是，一种基于深度学习的柔性压力传感阵列图的识别方法，该方法包括下列步骤：
[0011](1)、将柔性压力传感器贴合于机械手的各个关节点上，利用机械手抓取物体，并采集若干柔性压力传感阵列图，若干柔性压力传感阵列图组成训练集；
[0012](2)、根据步骤(1)得到的训练集，将训练集输入到深度卷积生成对抗网络中生成若干柔性压力传感阵列图样本，由若干柔性压力传感阵列图样本组成验证集；
[0013](3)、利用卷积神经网络模型并引入注意力机制的方式对步骤(1)中得到的训练集和步骤(2)中得到的验证集进行训练，得到训练后的最优网络模型；其具体过程为：
[0014](3
‑
1)、采用Vgg16网络模型和Resnet152网络模型，将步骤(1)中形成的训练集分别输入到Vgg16网络模型和Resnet152网络模型中，对Vgg16网络模型和Resnet152网络模型进行预训练，得到预训练后的Vgg16神经网络模型和预训练后的Resnet152神经网络模型；
[0015](3
‑
2)、将步骤(2)中的验证集分别导入到步骤(3
‑
1)中得到的预训练后的Vgg16神经网络模型和预训练后的Resnet152神经网络模型中进行模型特征融合；
[0016](3
‑
3)、经过特征融合后再引入注意力机制，得到引入注意力机制后的深度学习网络模型；
[0017](3
‑
4)、将步骤(3
‑
1)形成的训练集和步骤(3
‑
2)形成的验证集均输入到步骤(3
‑
3)中得到的引入注意力机制后的深度学习网络模型中进行训练，得到训练后的最优网络模型；
[0018](4)、利用机械手抓取不同的物体形成柔性压力传感阵列图，将形成的柔性压力传感阵列图输入到最优网络模型中进行实时识别。
[0019]本专利技术的有益效果是：采用上述一种基于深度学习的柔性压力传感阵列图的识别方法，利用传感器贴合于机械手上的各个节点，使得机械手在抓取物体时能够触摸到物体的各个部位并得到有效的柔性压力传感阵列图，然后通过对卷积神经网络结构进行改进和引入注意力机制的方式对实时采集的柔性压力传感阵列进行识别，该方法提高了识别准确度以及识别效率高，并且泛化能力强，能满足大量应用场景需求，具有十分重要的意义和使用场景。
[0020]作为优选，在步骤(1)中，利用机械手抓取物体，并采集若干柔性压力传感阵列图的具体过程为：选取若干类日常可见的物体，采用机械手对每一个物体进行抓取，针对同类物体，采用机械手抓取同类物体不同的部位，从而形成若干柔性压力传感阵列图。
[0021]在步骤(1)中，在采集若干柔性压力传感阵列图之后，还包括：按照相同物体归属于同一类的方式对形成的柔性压力传感阵列图进行分类并打上标签，标签为各类物体的名称，带有标签的若干柔性压力传感阵列图组成训练集。
[0022]作为优选，在步骤(2)中，在生成若干柔性压力传感阵列图样本之后，还包括：对已生成的若干柔性压力传感阵列图样本打上标签，标签为各类物体的名称，由若干打上标签的柔性压力传感阵列图样本组成验证集。
[0023]作为优选，在步骤(2)中，所述深度卷积生成对抗网络包括生成器和判别器，利用
所述深度卷积生成对抗网络来生成若干柔性压力传感阵列图样本的具体方法包括下列步骤：
[0024](2
‑
1)、将训练集中的若干柔性压力传感阵列图作为真实图像数据输入到生成器，生成器抓取若干柔性压力传感阵列图的特征分布；
[0025](2
‑
2)、往生成器中添加噪声数据，生成器结合抓取到的特征分布来生成若干与真实图像数据对应的虚假图像数据；
[0026](2
‑
3)、对真实图像数据进行采样，将采样到的柔性压力传感阵列图输入进判别器中，同时，对若干虚假图像数据进行采样，将采样到的虚假图像数据也输入进判别器中，判别器会对输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的柔性压力传感阵列图的识别方法，其特征在于：该方法包括下列步骤：(1)、将柔性压力传感器贴合于机械手的各个关节点上，利用机械手抓取物体，并采集若干柔性压力传感阵列图，若干柔性压力传感阵列图组成训练集；(2)、根据步骤(1)得到的训练集，将训练集输入到深度卷积生成对抗网络中生成若干柔性压力传感阵列图样本，由若干柔性压力传感阵列图样本组成验证集；(3)、利用卷积神经网络模型并引入注意力机制的方式对步骤(1)中得到的训练集和步骤(2)中得到的验证集进行训练，得到训练后的最优网络模型；其具体过程为：(3
‑
1)、采用Vgg16网络模型和Resnet152网络模型，将步骤(1
‑
1)中形成的训练集分别输入到Vgg16网络模型和Resnet152网络模型中，对Vgg16网络模型和Resnet152网络模型进行预训练，得到预训练后的Vgg16神经网络模型和预训练后的Resnet152神经网络模型；(3
‑
2)、将步骤(1)中的验证集分别导入到步骤(3
‑
1)中得到的预训练后的Vgg16神经网络模型和预训练后的Resnet152神经网络模型中进行模型特征融合；(3
‑
3)、经过特征融合后再引入注意力机制，得到引入注意力机制后的深度学习网络模型；(3
‑
4)、将步骤(1)形成的训练集和步骤(2)形成的验证集均输入到步骤(3
‑
3)中得到的引入注意力机制后的深度学习网络模型中进行训练，得到训练后的最优网络模型；(4)、利用机械手抓取不同的物体形成柔性压力传感阵列图，将形成的柔性压力传感阵列图输入到最优网络模型中进行实时识别。2.根据权利要求1所述的一种基于深度学习的柔性压力传感阵列图的识别方法，其特征在于：在步骤(1)中，利用机械手抓取物体，并采集若干柔性压力传感阵列图的具体过程为：选取若干类日常可见的物体，采用机械手对每一个物体进行抓取，针对同类物体，采用机械手抓取同类物体不同的部位，从而形成若干柔性压力传感阵列图。3.根据权利要求2所述的一种基于深度学习的柔性压力传感阵列图的识别方法，其特征在于：在步骤(1)中，在采集若干柔性压力传感阵列图之后，还包括：按照相同物体归属于同一类的方式对形成的柔性压力传感阵列图进行分类并打上标签，标签为各类物体的名称，带有标签的若干柔性压力传感阵列图组成训练集。4.根据权利要求3所述的一种基于深度学习的柔性压力传感阵列图的识别方法，其特征在于：在步骤(2)中，在生成若干柔性压力传感阵列图样本之后，还包括：对已生成的若干柔性压力传感阵列图样本打上标签，标签为各类物体的名称，由若干打上标签的柔性压力传感阵列图样本组...

【专利技术属性】
技术研发人员：尚杰，凌章瑾，李润伟，汪松，胡振宇，王璕，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：