基于视觉的触觉测量方法、装置、设备及存储介质制造方法及图纸

本申请是申请号为201910411693.6的分案申请。本申请涉及一种基于视觉的触觉测量方法、装置、设备及存储介质，属于人机交互领域。该方法包括：获取所述图像传感组件对传感面采集的图像序列，所述图像序列的图像中包括标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的位移信息；调用前馈神经网络中的隐藏层对所述标记图案的位移信息进行特征提取，得到特征表示，所述隐藏层的数量为1；调用所述前馈神经网络中的输出层对所述特征表示进行处理，得到触觉测量结果。果。果。

【技术实现步骤摘要】
基于视觉的触觉测量方法、装置、设备及存储介质
[0001]本申请是申请号201910411693.6、申请日为2019年05月16日、专利技术创造名称为“基于视觉的触觉测量方法、装置、设备及存储介质”的中国申请的分案申请。


[0002]本申请涉及人机交互领域，特别涉及一种基于视觉的触觉测量方法、装置、设备及存储介质。

技术介绍

[0003]触觉传感器是用于模仿触觉功能的传感器，可以对接触物体进行触觉测量，比如接触位置、接触力等。目前，触觉传感器多应用于机器人领域。
[0004]相关技术中提供了一种触觉传感器，该触觉传感器设置有半圆形的柔性传感面，该柔性传感面的内表面设置有阵列排布的多个标记点，以及朝向内表面设置的图像传感组件。在柔性传感面的外表面与物体接触后，柔性传感面会发生形变，导致内表面的多个标记点因形变而改变位置。图像传感组件采集柔性传感面的内表面图像，将内表面图像传输至芯片。芯片内设置有卷积神经网络(CNN)，通过卷积神经网络对内表面图像进行处理，得到接触力的分析结果。
[0005]上述卷积神经网络的训练过程较为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的触觉测量方法，其特征在于，所述方法应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；所述方法包括：获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的位移信息；调用前馈神经网络中的隐藏层对所述标记图案的位移信息进行特征提取，得到特征表示，所述隐藏层的数量为1；调用所述前馈神经网络中的输出层对所述特征表示进行处理，得到触觉测量结果。2.根据权利要求1所述的方法，其特征在于，所述隐藏层内设置有n个隐藏神经元，n为整数；所述隐藏层是基于逻辑斯蒂函数Sigmoid隐藏神经元构建的；所述输出层是基于归一化指数函数Softmax输出神经元或线性输出神经元构建的。3.根据权利要求1所述的方法，其特征在于，所述触觉测量结果包括接触位置；所述前馈神经网络包括：位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；所述调用所述前馈神经网络中的所述隐藏层对所述标记图案的位移信息进行特征提取，得到特征表示，包括：调用所述位置估计模型中的所述第一隐藏层对所述标记图案的位移信息进行特征提取，得到接触位置特征表示；所述调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果，包括：调用所述位置估计模型中的所述第一输出层对所述接触位置特征表示进行处理，得到所述接触位置。4.根据权利要求1所述的方法，其特征在于，所述触觉测量结果包括接触力的三维信息，所述前馈神经网络包括接触力估计模型，所述接触力估计模型包括：第二隐藏层和第二输出层；所述调用所述前馈神经网络中的所述隐藏层对所述标记图案的位移信息进行特征提取，得到特征表示，包括：调用所述接触力估计模型中的所述第二隐藏层对所述标记图案的位移信息进行特征提取，得到接触力特征表示；所述调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果，包括：调用所述接触力估计模型中的所述第二输出层对所述接触力特征表示进行处理，得到所述接触力的三维信息，所述三维信息包括大小和/或方向。5.根据权利要求1所述的方法，其特征在于，所述触觉测量结果包括接触表面的局部曲率半径；所述前馈神经网络包括：表面分类模型和至少两个曲率估计模型；所述调用前馈神经网络对所述标记图案的位移信息进行处理，得到触觉测量结果，包括：调用所述表面分类模型对所述标记图案的位移信息进行表面识别，得到所述接触表面
的表面类型；根据所述表面类型调用所述至少两个曲率估计模型中的目标曲率估计模型对所述接触表面进行曲率预测，得到所述接触表面的局部曲率半径。6.根据权利要求5所述的方法，其特征在于，所述曲率估计模型包括：球面估计模型和圆柱面估计模型；所述根据所述表面类型调用所述至少两个曲率估计模型中的目标曲率估计模型对所述接触表面进行曲率预测，得到所述接触表面的局部曲率半径，包括：当所述表面类型是球面时，调用所述球面估计模型对所述球面进行第一曲率预测，得到所述球面的局部曲率半径；当所述表面类型是圆柱面时，调用所述圆柱面估计模型对所述圆柱面进行第二曲率预测，得到所述圆柱面的局部曲率半径。7.根据权利要求5所述的方法，其特征在于，所述表面分类模型包括第三隐藏层和第三输出层；所述调用所述表面分类模型对所述标记图案的位移信息进行表面识别，得到所述接触表面的表面类型，包括：调用所述表面分类模型中的所述第三隐藏层对所述标记图案的位移信息进行表面识别，得到表面类型特征表示；调用所述表面分类模型中的所述第三输出层对所述表面类型特征表示进行处理，得到接触表面的表面类型。8.根据权利要求6所述的方法，其特征在于，所述球面估计模型包括第四隐藏层和第四输出层；所述调用所述球面估计模型对所述球面进行曲率预测，得到所述球面的局部曲率半径，包括：调用所述球面估计模型中的第四隐藏层对所述球面进行曲率预测，得到球面曲率预测特征表示；调用所述球面估计模型中的第四输出层对所述球面曲率预测特征表示进行处理，得到所述球面的局部曲率半径。9.根据权利要求6所述的方法，其特征在于，所述圆柱面估计模型包括第五隐藏层和第五输出层；所述调用所述圆柱面估计模型对所述圆柱面进行曲率预测，得到所述圆柱面的局部曲率半径，包括：调用所述圆柱面估计模型中的第五隐藏层对所述圆柱面进行曲率预测，得到圆柱面曲率预测特征表示；调用所述圆柱面估计模型中的第五输出层对所述圆柱面曲率预测特征表示进行处理，得到所述圆柱面的局部曲率半径。10.根据权利要求1至9任一所述的方法，其特征在于，所述标记图案包括至少两个标记点，所述标记图案的位移信息包括：所述标记点的位移，或，所述标记点的位移和形变：和/或，
所述标记图案包括网格，所述标记图案的位移信息包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。11.根据权利要求1至9任一所述的方法，其特征在于，所述根据所述图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的位移信息，包括：在所述图像序列中相邻的第i帧图像和第i+1帧图像中，确定最接近的两个标记图案为相同的标记图案，i为整数；根据所述标记图案在所述第i帧图像和所述第i+1帧图像中的位置或形变中的至少一种，计算所述标记图案的位移信息。12.根据权利要求1至9任一所述的方法，其特征在于，所述触觉测量结果是连续域上的输出结果。13.一种前馈神经网络的训练方法，其特征在于，所述方法包括：获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像序列的图像中包括所述标记图案；根据所述样本图像序列中的相邻图像内的所述标记图案，计算所述标记图案的样本位移信息；调用所述前馈神经网络中的隐藏层对所述标记图案的样本位移信息进行特征提取，得到特征表示，所述隐藏层的数量为1；调用所述前馈神经网络中的输出层对所述特征表示进行处理，得到预测触觉结果；对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。14.根据权利要求13所述的方法，其特征在于，所述隐藏层内设置有n个隐藏神经元，n为整数；所述隐藏层是基于逻辑斯蒂函数Sigmoid隐藏神经元构建的；所述输出层是基于归一化指数函数Softmax输出神经元或线性输出神经元构建的。15.根据权利要求13所述的方法，其特征在于，所述前馈神经网络包括用于估计接触位置的位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；所述获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，包括：获取第一训练样本，所述第一训练样本包括第...

【专利技术属性】
技术研发人员：郑宇，许忠锦，张正友，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：