一种基于触觉纹理特征的跨模态物体材质检索方法技术

本发明专利技术公开了一种基于触觉纹理特征的纹理图像跨模态检索方法，属于机器人触觉识别技术领域。本发明专利技术方法依次包括触觉纹理训练样本材质选取、触觉纹理训练数据集和纹理图像训练数据集的建立、触觉加速度的特征提取和纹理图像的特征提取、对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取、纹理图像检索库的创建以及物体材质检索。本发明专利技术利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。本发明专利技术具有较高的准确率，而且弥补了文字描述材质的单一性。

Cross modal material retrieval method based on tactile texture feature

The invention discloses a texture image cross-modal retrieval method based on tactile texture features, belonging to the technical field of robot tactile recognition. The method of the invention in turn includes the selection of texture training sample material, the establishment of texture training data set and texture image training data set, the feature extraction of tactile acceleration and texture image, the extraction of corresponding retrieval features after the correlation analysis of the extracted two feature vector sets, and the texture. The building of image retrieval library and retrieval of object material. The invention uses the friction vibration signal of the collected texture surface as the tactile feature of the texture surface to retrieve the texture surface image most similar to the retrieved surface from the texture image retrieval library, which realizes the cross-modal object material retrieval based on the tactile feature. The invention has high accuracy and makes up for the single character of the text description material.

【技术实现步骤摘要】
一种基于触觉纹理特征的跨模态物体材质检索方法
本专利技术属于机器人触觉识别
，特别涉及一种基于触觉纹理特征的跨模态物体材质检索方法。
技术介绍
随着智能制造和全球工业化的发展，物体材质识别在电子商务、皮革纺织和智能机器人等很多工业领域均有广泛应用。目前的材质识别通常基于物体表面的纹理图像，识别图像中物体的所属材质(如木质、玻璃、塑料、钢铁和纤维等)。但是，基于纹理图像的材质识别容易受到拍摄环境的影响，而且大的类内表观差异和小的类间表观差异通常会导致纹理特征的可区分力减弱、鲁棒性降低。除此之外，纹理图像无法准确反应与材质相关的物体属性。如，基于纹理图像，无法区分相同纹理的贴图和实物。触觉纹理信息源于物体与手指相互接触过程中产生的摩擦振动信号，即触觉纹理信号，它携带了关于物体表面性质的信息，具有纹理图像不具有的触觉信息。已有学者通过实验证明，利用人工手指或智能手指，测量并分析物体与手指相互作用过程中的摩擦振动信号，便可将表面性质差异较大的物体分辨开来。此类研究也证明了，相对于其他方式而言，基于物体表面的触觉纹理信息能够更有效区分不同物体表面的特性，且可作为判断物体材质的重要依据。但是目前基于触觉纹理材质识别方法的准确率都较低，且都处于理论研究阶段。图像含有较文本更为直观的信息，在人们日常生活中发挥着重要的作用，图像检索技术已成为一个非常活跃的研究领域。基于内容的图像检索是一种基于特征相似性匹配而进行的图像检索方法，它既能自动识别或者理解特征，又能基于特征相似匹配进行纹理图像的检索，可有效提高系统人性化和人机交互能力。在纹理相似性评价或基于纹理特征的图像检索这类人机交互应用中，寻找一种基于触觉特征的图像检索具有十分重要的意义。但是，目前还尚未存在基于触觉特征的跨模态图像检索方法。
技术实现思路
本专利技术的目的是为了克服已有技术的不足之处，提出一种基于触觉纹理特征的跨模态物体材质检索方法。本专利技术利用与被测物体表面相互接触过程中产生的摩擦振动信号判断物体的材质，同时还可以从创建的纹理图像检索库中检索出与待检索物体表面触觉特征最相似的多种典型的纹理表面图像，通过该图像可以更加直观了解被测物体的材质属性。为了实现上述目的，本专利技术采用如下技术方案：一种基于触觉纹理特征的跨模态物体材质检索方法，包括以下步骤：1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为axi,ayi,azi分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；2-2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集为合成后的加速度数据；3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集中的ai进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量其中，且为整数，l(ai)为ai的数据长度；3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量和细节系数时域分量利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量和细节系数频域分量3-1-2-3)对一维加速度时域数据集分别均提取各训练样本一维加速度时域数据ai的时域分量和频域分量和的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量并以此得到所有训练样本的触觉纹理特征向量集，记为m为提取的各训练样本ai的触觉纹理特征向量的维度，m＝2β×5；3-2)纹理图像训练数据集，包括以下步骤：3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；3-2-2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵Wu和Wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；5)纹理图像检索库的创建：5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为通过步骤4)求取的映射矩阵Wv将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QWV，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q*及其标签都存储在纹理图像检索库中；6)物体材质检索，包括以下步骤：6-1)物体触觉纹理检索特征的提取，具体包括：6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；6-1-2)按照步骤3-1)得到待检索物体的m维触觉纹理特征向量，记为T；6-1-3)根据步骤4)确定的映射矩阵Wu将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：6-2-1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量T*和步骤5-2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量本文档来自技高网...

【技术保护点】
1.一种基于触觉纹理特征的跨模态物体材质检索方法，其特征在于，包括以下步骤：1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：2‑1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1‑1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集

【技术特征摘要】
1.一种基于触觉纹理特征的跨模态物体材质检索方法，其特征在于，包括以下步骤：1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为axi,ayi,azi分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；2-2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集ai为合成后的加速度数据；3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集中的ai进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量其中，且为整数，l(ai)为ai的数据长度；3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量和细节系数时域分量利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量和细节系数频域分量3-1-2-3)对一维加速度时域数据集分别均提取各训练样本一维加速度时域数据ai的时域分量和频域分量和的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量并以此得到所有训练样本的触觉纹理特征向量集，记为m为提取的各训练样本ai的触觉纹理特征向量的维度，m＝2β×5；3-2)纹理图像训练数据集，包括以下步骤：3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；3-2-2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵Wu和Wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；5)纹理图像检索库的创建：5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进...

【专利技术属性】
技术研发人员：刘华平，郑文栋，王博文，孙富春，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11