一种基于视触觉融合的目标属性和类别的识别方法技术

本发明专利技术涉及一种基于视触觉融合的目标属性和类别的识别方法，属于分类技术领域，该方法包括:1)采集作为训练样本的视触觉信息：2)按照不同的训练样本和它们不同的属性，将训练样本分为物体类别i类、属性j类，对每个训练样本抓取并采集触觉信息和视觉图像，建立训练样本数据集；3)对需要进行分类的测试样体进行抓取、采集视觉图像，得到测试样本的触觉信息和视觉图像，建立测试样本数据集，求出触觉时间序列测试集与训练集的动态时间规整(DTW)距离矩阵和视觉图像测试集与训练集的协方差描述子距离矩阵。4)将所有测试样本通过最近邻算法得到每个测试样本的物体、属性类别。本发明专利技术在最近邻算法的基础上实现一种精细目标识别的视触觉融合方法。提高了分类的鲁棒性和准确率。

【技术实现步骤摘要】

本专利技术涉及一种基于视触觉融合的目标属性和类别的识别方法，属于物体分类

技术介绍
BH8系列的BarrettHand灵巧手是一个可编程的多手指抓持器，它具有非常高的灵活性，可以抓取不同形状、大小及姿态的目标物体。该灵巧手由三个手指F1、F2、F3和一个手掌S四个触觉传感器组成，每个传感器分别包含24个触觉阵列，可抓取物体并采集所抓取物体的触觉信息得到触觉时间序列。在现有的物体类型识别技术中，包括有多种不同方式的物体类型识别技术，例如：基于启发式规则方式的物体类型识别技术，多采用物体的形状、大小、比例等简单信息对提取的前景物体进行分析，得到物体的类型，但是这种方法比较简单，效果差且抗干扰能力差。然而，基于灵巧手触觉和摄像头视觉信息的物体类别分类和属性分类从一个新的角度对物体进行分类，得到鲁棒的效果。经对现有的技术文献检索分析，发现邓亚峰等人的专利技术专利“物体分类模型的训练方法及利用该模型的识别方法，申请号为201010536354.X”中揭示了一种物体分类模型的基于图像的训练方法，此专利技术对提取的前景物体区域进行主轴归一化变换；同时，采用块匹配技术对不同帧图像上的前景物体区域进行对齐处理，提取的前景物体区域中有效的物体前景区域作为最终前景物体区域，从而实现物体分类。但该方法只是提取物体不同帧图像作为分类特征，未将类似方法应用在触觉信息和视觉信息融合的方法上。
技术实现思路
本专利技术的目的是提出一种基于视触觉融合的目标属性和类别的识别方法，在最近邻算法的基础上实现基于视触觉信息的物体类别和属性类别分类，提高目标分类的鲁棒性和准确率。本专利技术提出的基于视触觉融合的目标属性和类别的识别方法，包括以下步骤:(1)采集作为训练样本物体的视触觉信息：设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300-4000N/m，灵巧手手掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为ci*、cj*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：Str＝[S1,S2,…,SN](3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：Ste＝[S1,S2,…,SM](4)设触觉训练样本数据集中，触觉时间序列SI的长度为Tn，表达式为： S I = [ S I , 1 , S I , 2 , ... , S I , T n ] , ]]>其中1≤I≤N，触觉测试样本数据集中，触觉时间序列SJ的长度为Tm，表达式为： S J = [ S J , 1 , S J , 2 , ... , S J , T m ] , ]]>其中1≤J≤M，设SI和SJ之间的抓取匹配路径为W，wk＝(v,h)k为抓取匹配路径W中的第k个元素，wK是W的最后一个路径，W＝w1,w2,...,wK，max(Tm,Tn)≤K≤Tm+Tn-1；根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列SI和SJ之间的最小匹配路径DTW(SI,SJ)为： D T W ( S I , S J ) = min Σ k = 1 K w k ]]>其中，为K个抓取匹配路径之和；(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列SJ与触觉训练样本数据集中的所有触觉时间序列Str之间的最小匹配路径DTW(SJ,Str),1≤J≤M，表达式为： S J = [ S J , 1 , S J , 2 , ... , S J , T m ] ]]>Str＝[S1,S2,…,SN]DTW(SJ,Str)＝[DTW(SJ,S1),DTW(SJ,S2),…,DTW(SJ,SN)](6)遍历触觉测试样本数据集中的所有触觉时间序列，本文档来自技高网...

【技术保护点】
一种基于视触觉融合的目标属性和类别的识别方法，其特征在于，该方法包括以下步骤:(1)采集作为训练样本物体的视触觉信息：设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300‑4000N/m，灵巧手手掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为ci*、cj*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：Str＝[S1,S2,…,SN](3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：Ste＝[S1,S2,…,SM](4)设触觉训练样本数据集中，触觉时间序列SI的长度为Tn，表达式为：SI=[SI,1,SI,2,...,SI,Tn],]]>其中1≤I≤N，触觉测试样本数据集中，触觉时间序列SJ的长度为Tm，表达式为：SJ=[SJ,1,SJ,2,...,SJ,Tm],]]>其中1≤J≤M，设SI和SJ之间的抓取匹配路径为W，wk＝(v,h)k为抓取匹配路径W中的第k个元素，wK是W的最后一个路径，W＝w1,w2,...,wK，max(Tm,Tn)≤K≤Tm+Tn‑1；根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列SI和SJ之间的最小匹配路径DTW(SI,SJ)为：DTW(SI,SJ)=minΣk=1Kwk]]>其中，为K个抓取匹配路径之和；(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列SJ与触觉训练样本数据集中的所有触觉时间序列Str之间的最小匹配路径DTW(SJ,Str),1≤J≤M，表达式为：SJ＝[SJ,1,SJ,2,...,SJ,Tm]Str＝[S1,S2,…,SN]DTW(SJ,Str)＝[DTW(SJ,S1),DTW(SJ,S2),…,DTW(SJ,SN)](6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试样本数据集中的所有触觉时间序列Ste分别与触觉训练样本数据集中的所有触觉时间序列Str的最小匹配路径DTW(Ste,Str)，构建一个动态时间规整距离矩阵D：上述距离矩阵D中，D11是Ste中第一个触觉时间序列与Str中第一个触觉时间序列之间的DTW距离，D1N是Ste中第一个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离，DM1是Ste中第M个触觉时间序列与Str中第一个触觉时间序列之间的DTW距离，DMN是Ste中第M个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离；(7)从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数据集Rtr，表达式为：Rtr＝[R1,R2,…,RN]，从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集Rte，表达式为：Rte＝[R1,R2,…,RM]，采用Log‑Euclidean距离dcov(Ro,Rr)，1≤o≤N，1≤r≤M，近似度量视觉训练样本数据集Rtr中的任意一个协方差描述子与视觉测试样本数据集Rte中的任意一个协方差描述子之间的差异，表达式为：dcov(Ro,Rr)＝||logm(Ro)‑logm(Rr)||F，其中logm表示对矩阵求对数；(8)遍历视觉训练样本数据集Rtr中的所有协方差描述子，重复步骤(7)，得到视觉测试样本数据集Rte中一个协方差描述子与视觉训练样本数据集Rtr中的所有协方差描述子之间的Log‑Euclidean距离d，表达式为：d＝[d1,d2,…dN](9)遍历视觉测试样本数据集Rte中的所有协方差描述子，重复步骤(8)，得到视觉测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之间的Log‑Euclidean距离d，构成Log‑Euclidean距离矩阵Dle，表达式为：上述距离矩阵Dle中，d11是Rte中第一个协方差描述子与Rtr中第一个协方差描述子之间的Log‑Euclidean距离，d...

【技术特征摘要】
1.一种基于视触觉融合的目标属性和类别的识别方法，其特征在于，该方法包括以
下步骤:
(1)采集作为训练样本物体的视触觉信息：
设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300-4000N/m，灵巧手手掌的
零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放
到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号
Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送
一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集
抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；
(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类
物体、j类属性，每个训练样本的标签为ci*、cj*，其中1≤i≤N、1≤j≤N，重复上述步
骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间
序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：
Str＝[S1,S2,…,SN]
(3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试
样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小
的触觉测试样本数据集，数据集的表达式为：
Ste＝[S1,S2,…,SM]
(4)设触觉训练样本数据集中，触觉时间序列SI的长度为Tn，表达式为：
S I = [ S I , 1 , S I , 2 , ... , S I , T n ] , ]]>其中1≤I≤N，
触觉测试样本数据集中，触觉时间序列SJ的长度为Tm，表达式为：
S J = [ S J , 1 , S J , 2 , ... , S J , T m ] , ]]>其中1≤J≤M，
设SI和SJ之间的抓取匹配路径为W，wk＝(v,h)k为抓取匹配路径W中的第k个元素，
wK是W的最后一个路径，W＝w1,w2,...,wK，max(Tm,Tn)≤K≤Tm+Tn-1；
根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列SI和SJ之间
的最小匹配路径DTW(SI,SJ)为：
D T W ( S I , S J ) = m i n Σ k = 1 K w ...

【专利技术属性】
技术研发人员：刘华平，白鹏，郭迪，孙富春，楚中毅，卢山，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11