一种基于DDQN和生成对抗网络的触觉材料分类方法技术

本发明专利技术涉及一种基于DDQN和生成对抗网络的触觉材料分类方法，属于触觉材料的分类方法。使用触觉材料的图片和加速度频谱图训练生成对抗网络GAN，送入VGG19网络中提取特征，设置DDQN的奖励函数，DDQN的评估网络估计Q值，找到全局最优解，保存训练好的网络，根据最大Q值所对应的动作来分类图片。优点是使用生成对抗网络GAN生成的触觉信息去分类触觉材料，提高了数据的抗噪能力，首次将DDQN用于分类问题，引入了卷积神经网络VGG19处理图片，避免了噪声的干扰，保证提取的特征的鲁棒性，避免了复杂的触觉信息采集过程，节省了分类成本，与传统分类的CNN方法相比，只用了很小的时间代价，提高了分类精度，避免了采购昂贵的触觉信息采集设备。集设备。集设备。

【技术实现步骤摘要】
一种基于DDQN和生成对抗网络的触觉材料分类方法


[0001]本专利技术涉及触觉材料的分类方法，具体涉及一种基于DDQN和生成对抗网络的触觉材料分类方法。

技术介绍

[0002]触觉材料分类成为近年来一个重要且快速发展的研究课题。触觉材料分类的应用场景广泛，如机器人识别，虚拟现实等。
[0003]近年来，人们提出了许多触觉材料的分类方法。其中，利用视觉信息进行分类是主要的分类方法之一。在触觉材料分类研究的开始时，人们采用了许多方法从图像中提取定义的特征进行分类。他们使用随机投影来压缩图像并获得图像特征，然后使用K阶最近邻方法对这些特征进行分类。此外，计算灰度共生矩阵也是一种很先进的方法。他们使用k阶最近邻来对从灰度共生矩阵中获得的特征进行分类。由于这些方法对图像信息进行了大量压缩，材料之间的差异变得非常小，以至于很难应用到触觉材料的分类中。随着卷积神经网络(CNN)的发展，已经发展了许多基于CNN的触觉材料分类方法。2015年，Mircea Cimpoi等人使用CNN作为特征提取工具，将从CNN中间层的输出中提取的Fisher
‑
vector描述符定义为特征。但是基于CNN的方法的一个主要缺点是在无法区分两种纹理相似，视觉信息接近的图片。
[0004]随着最近几年触觉传感器的快速更新，基于触觉信息(如加速度，摩擦力等)和视觉信息(图片)的视触融合的触觉材料分类方法开始发展起来。2014年，Matti Strese等人采集了69种材料的视觉信息和触觉信息(加速度，冲击加速度，摩擦力等)，定义了几种关于材料触觉信息和视觉信息的特征，利用这些特征来训练朴素贝叶斯分类器，达到了74％的分类精度。2020年，Matti Strese等人进一步扩大了触觉材料的数据库，构建了包含184种材料的触觉材料数据库，其中包括触觉材料的视觉信息和触觉信息，定义了多达15种的关于触觉材料视觉信息和触觉信息的特征，使用了随机森林的分类方法达到了90％的分类准确度。然而，这些分类方法在实际的分类场景中，都需要同时采集触觉材料的视觉信息和触觉信息。触觉材料的触觉信息采集过程繁琐，需要昂贵的触觉信息采集设备，增加了分类的成本。
[0005]DDQN作为一种深度强化学习算法，在机器人决策和游戏领域非常流行。相比于现有的分类方法，它的评估网络和目标网络构成的对抗系统能使网络参数的训练更加迅速，防止过拟合的能力也更加突出。同时DDQN的表征能力要远远强于现有的分类方法，它将输入的特征映射到更高维的空间，分类效果更加显著。但是目前还没有研究将DDQN用于分类问题。
[0006]在一般的方法中，用于分类的特征在处理过程中总是混淆有噪声，影响分类器的性能。VGG19是牛津大学的视觉几何组(Visual Geometry Group)在2015年提出的，它的提出证明了增加网络的深度在一定程度上影响网络的性能。VGG19由16层卷积层和3层全连接层组成，在分类图片和提取图片特征方面表现非常突出。然而，VGG19最后的三层全连接层
包含大量参数，严重影响了方法的性能。

技术实现思路

[0007]本专利技术提供一种基于DDQN和生成对抗网络的触觉材料分类方法，以解决现实场景中分类触觉材料时需要复杂的触觉信息采集设备的问题。
[0008]本专利技术采取的技术方案是，包括下列步骤：
[0009](1)、使用触觉材料的图片和加速度频谱图训练生成对抗网络GAN；
[0010](2)、将训练完的生成对抗网络GAN生成的加速度频谱图和触觉材料的图片送入VGG19网络中提取特征；
[0011](3)、将VGG19提取的材料特征当作DDQN的状态，将它们的标签当作DDQN的动作；
[0012](4)、设置DDQN的奖励函数；
[0013](5)、DDQN的评估网络估计Q值，并选择Q值最大的动作传递给目标网络；
[0014](6)、DDQN的目标网络计算评估网络估计Q值的时间差分误差；
[0015](7)、将评估网络估计Q值的时间差分误差进行随机梯度下降优化参数，直至找到全局最优解，训练结束，保存训练好的网络；
[0016](8)、当新的图片输入到训练好的网络时，生成对抗网络根据新图片生成材料对应的加速度频谱图，然后将新图片和生成的加速度频谱图输入到VGG19提取材料特征，DDQN的评估网络Q
′
根据材料特征估计出每个动作对应的Q值，根据最大Q值所对应的动作来分类图片。
[0017]本专利技术所述步骤(1)训练生成对抗网络GAN的具体途径是：
[0018]触觉材料的类别标签可以表示为其中M代表有M种材料，触觉材料的图片集表示为其中表示第种材料的图片集，触觉材料的加速度频谱图集表示为其中表示第种材料的加速度频谱图集，用于训练的图片集和加速度频谱图集为同时采集，即采集一种材料图片信息的同时，也采集了材料的加速度频谱图，对于一种材料的采集过程重复多次，每一次都一一对应地采集了材料的图片和加速度频谱图；
[0019]使用触觉材料的图片集和加速度频谱图集去训练生成对抗网络GAN，生成对抗网络GAN包括生成器网络Generator和判别器网络Discriminator分别简称G和D，生成器网络G输入一个噪声输出生成新的图片，判别器网络D用于判断生成器网络G生成的新图片是否为真，即是否符合要求，训练生成对抗网络时首先固定生成器网络G，求解最优的判别器网络D，然后利用最优的判别器网络D去求解生成器网络G；
[0020][0021]V(G,D)为生成对抗网络GAN的损失函数，p
data
为加速度频谱图y服从的数据分布，p
G
为生成器网络G生成的数据服从的数据分布，D(y)为生成器G生成的加速度频谱图为真实的加速度频谱图的概率，训练最后得到的生成器G应该符合以下公式：
[0022][0023]D(y)应该尽可能的接近1，而生成器G应该尽可能的误差最小，让生成的加速度频
谱图与真实的加速度频谱图之间的误差最小；
[0024]在经过大量的数据训练后，当生成对抗网络收敛时，训练结束，将触觉材料的图片输入到训练好的生成对抗网络GAN中，得到生成的加速度频谱图，用于触觉材料的图片和生成对抗网络GAN生成的加速度频谱图提取特征。
[0025]本专利技术所述步骤(2)VGG19提取特征的具体途径是：
[0026]使用VGG19作为特征提取网络，VGG19由16个卷积层和3个全连接层组成，用一层全局平均池化层来代替3个全连接层，全局平均池化层输出卷积得到的每个特征图中所有的像素的平均值，然后将这些平均值视为特征向量，将图片集和生成对抗网络GAN生成的加速度频谱图集中分别输入到VGG19中，得到材料的图片和生成对抗网络GAN生成的加速度频谱图的特征，再将一种材料的一次采样得到的图片特征和加速度频谱图特征拼接得到对应的材料特征，将材料特征集表示为其中表示第种材料的材料特征集，这些提取的材料特征用于下一步构建DD本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDQN和生成对抗网络的触觉材料分类方法，其特征在于，包括以下步骤：(1)、使用触觉材料的图片和加速度频谱图训练生成对抗网络GAN；(2)、将训练完的生成对抗网络GAN生成的加速度频谱图和触觉材料的图片送入VGG19网络中提取特征；(3)、将VGG19提取的材料特征当作DDQN的状态，将它们的标签当作DDQN的动作；(4)、设置DDQN的奖励函数；(5)、DDQN的评估网络估计Q值，并选择Q值最大的动作传递给目标网络；(6)、DDQN的目标网络计算评估网络估计Q值的时间差分误差；(7)、将评估网络估计Q值的时间差分误差进行随机梯度下降优化参数，直至找到全局最优解，训练结束，保存训练好的网络；(8)、当新的图片输入到训练好的网络时，生成对抗网络根据新图片生成材料对应的加速度频谱图，然后将新图片和生成的加速度频谱图输入到VGG19提取材料特征，DDQN的评估网络Q
′
根据材料特征估计出每个动作对应的Q值，根据最大Q值所对应的动作来分类图片。2.根据权利要求1所述的一种基于DDQN和生成对抗网络的触觉材料分类方法，其特征在于：所述步骤(1)训练生成对抗网络GAN的具体途径是：触觉材料的类别标签可以表示为L＝{l1,
…
,l
M
},其中M代表有M种材料，触觉材料的图片集表示为{X1,
…
,X
M
}，其中X
i
表示第l
i
种材料的图片集，触觉材料的加速度频谱图集表示为{y1,
…
,y
M
}，其中y
i
表示第l
i
种材料的加速度频谱图集，用于训练的图片集和加速度频谱图集为同时采集，即采集一种材料图片信息的同时，也采集了材料的加速度频谱图，对于一种材料的采集过程重复多次，每一次都一一对应地采集了材料的图片和加速度频谱图；使用触觉材料的图片集和加速度频谱图集去训练生成对抗网络GAN，生成对抗网络GAN包括生成器网络Generator和判别器网络Discriminator分别简称G和D，生成器网络G输入一个噪声输出生成新的图片，判别器网络D用于判断生成器网络G生成的新图片是否为真，即是否符合要求，训练生成对抗网络时首先固定生成器网络G，求解最优的判别器网络D，然后利用最优的判别器网络D去求解生成器网络G；V(G,D)为生成对抗网络GAN的损失函数，p
data
为加速度频谱图y服从的数据分布，p
G
为生成器网络G生成的数据服从的数据分布，D(y)为生成器G生成的加速度频谱图为真实的加速度频谱图的概率，训练最后得到的生成器G应该符合以下公式：D(y)应该尽可能的接近1，而生成器G应该尽可能的误差最小，让生成的加速度频谱图与真实的加速度频谱图之间的误差最小；在经过大量的数据训练后，当生成对抗网络收敛时，训练结束，将触觉材料的图片输入到训练好的生成对抗网络GAN中，得到生成的加速度频谱图，用于触觉材料的图片和生成对抗网络GAN生成的加速度频谱图提取特征。3.根据权利要求1所述的一种基于DDQN和生成对抗网络的触觉材料分类方法，其特征在于，所述步骤(2)VGG19提取特征的具体途径是：使用VGG19作为特征提取网络，VGG19由16个卷积层和3个全连接层组成，用一层全局平
均池化层来代替3个全连接层，全局平均池化层输出卷积得到的每个特征图中所有的像素的平均值，然后将这些平均值视为特征向量，将图片集和生成对抗网络GAN生成的加速度频谱图集中分别输入到VGG19中，得到材料的图片和生成对抗网络GAN生成的加速度频谱图的特征，再将一种材料的一次采样得到的图片特征和加速度频谱图特征拼接得到对应的材料特征，将材料特征集表示为其中表示第l
i
种材料的材料特征集，这些提取的材料特征用于下一步构建DDQN的状态和动作。4.根据权利要求1所述的一种基于DDQN和生成对抗网络的触觉材料分类方法，其特征在于：所述步骤(3)构建DDQN状态和动作的具体途径是：状态：在每一次迭代开始之前，随机打乱VGG19从图片集和加速度频谱图集中提取的材料特征然后将它们当作状态{S1,
…
,S
h
}，h是所有材料所有的材料特征数量之和，使用这种方式将图片特征转换为状态序列；动作：分类的目标是为每张图片找到正确的标签，将其定义为做出正确的动作，将图片的标签{l1,
…
,l
M
}作为动作空间，DDQN在状态S
t
下做出动作，然后状态S
t<...

【专利技术属性】
技术研发人员：王聪，吕帅，刘国红，李晓萌，
申请(专利权)人：吉林大学，
类型：发明
国别省市：