本申请提供一种基于视觉的触觉传感器标定方法及装置，涉及触觉传感器标定领域，该方法包括：获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定。本申请提供的基于视觉的触觉传感器标定方法及装置，用于通过仿真的方式批量生成传感器的接触面的形变图像，提高基于视觉的触觉传感的标定效率。标定效率。标定效率。
【技术实现步骤摘要】
基于视觉的触觉传感器标定方法及装置
[0001]本申请涉及触觉传感器标定领域，尤其涉及一种基于视觉的触觉传感器标定方法及装置。
技术介绍
[0002]基于视觉的触觉传感器(例如，凝胶视觉传感器GelSight)是一种通过采集传感器接触面的形变图像，利用光度立体学原理，还原接触面的三维几何形变以实现触觉传感的传感器，被广泛应用于机器人的抓取与操控场景中。
[0003]在相关技术中，基于视觉的触觉传感器的标定需要采集大量接触面的真实形变图像，耗时较长，效率较低，严重制约了此类传感器的批量生产。因此，亟需一种高效的标定方法，以利于此类传感器的进一步应用与批量制造。
技术实现思路
[0004]本申请的目的是提供一种基于视觉的触觉传感器标定方法及装置，用于通过仿真的方式批量生成传感器的接触面的形变图像，提高基于视觉的触觉传感的标定效率。
[0005]本申请提供一种基于视觉的触觉传感器标定方法，包括：
[0006]获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0007]可选地，所述获取目标传感器采集的接触面形变图像，包括：控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；采集所述接触面的形变图像，得到所述接触面形变图像。
[0008]可选地，所述近场相机模型包括：相机几何模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：获取所述目标传感器的相机内参，并基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。
[0009]可选地，所述近场相机模型包括：相机辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度；根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线；根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应；根据所述近场相机的光度响应曲线以及所述近场
相机的晕影效应，建立所述相机辐射模型；基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。
[0010]可选地，所述近场光源模型包括：光源几何模型和光源辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准；根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量强度，建立所述光源辐射模型，并根据所述接触面形变图像中每个像素的亮度对所述光源辐射模型中每个光源的辐射情况进行校准。
[0011]可选地，所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：采用广义朗伯反射模型作为所述表面反射模型；基于所述接触面形变图像，使用列文伯格
‑
马夸尔特算法对所述表面反射模型的表面粗糙度以及表面反射率进行校准。
[0012]可选地，所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：基于光线与几何面片的相交关系计算所述接触面被按压时的表面形变，并使用高斯金字塔对形变区域与非形变区域进行平滑处理。
[0013]可选地，所述目标模型为卷积神经网络模型；所述基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定，包括：计算所述模拟按压图像集合中每个模拟按压图像对应的所述接触面的表面法向量场；使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练；其中，所述目标模型为全卷积编码器
‑
解码器架构，以余弦相似度作为损失函数；所述编码器包括：5个卷积层，用于将图像的特征尺度降低预设倍数以减小计算量；所述解码器包括：6个卷积层以及一个L2归一化层，用于回归每个像素的表面法向量以及将图像的特征尺度提升所述预设倍数以还原图像尺度。
[0014]可选地，所述使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练，包括：将输入的模拟按压图像与所述接触面在无按压状态下的图像进行相差运算，保留所述接触面产生形变部分的图像；将所述形变部分的图像输入所述目标模型，得到所述接触面形变后的表面法向量场的预测结果。
[0015]本申请还提供一种基于视觉的触觉传感器标定装置，包括：
[0016]获取模块，用于获取目标传感器采集的接触面形变图像；仿真模块，用于根据采集到的所述接触面形变图像完成仿真器的建立和校准；生成模块，用于通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；标定模块，用于基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0017]可选地，所述控制还包括：控制模块；所述控制模块，用于控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；所述获取模块，具体用于采集所述接触面的形变图像，得到所述接触面形变图像。
[0018]可选地，所述装置还包括：确定模块；所述近场相机模型包括：相机几何模型；所述获取模块，还用于获取所述目标传感器的相机内参；所述仿真模块，用于基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；所述确定模块，用于根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；所述仿真模块，具体用于根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；所述仿真模块，具体还用于基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。
[0019]可选地，所述近场相机模型包括：相机辐射模型；所述确定模块，还用于根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视觉的触觉传感器标定方法，其特征在于，应用于基于视觉的触觉传感器，包括：获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。2.根据权利要求1所述的方法，其特征在于，所述获取目标传感器采集的接触面形变图像，包括：控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；采集所述接触面的形变图像，得到所述接触面形变图像。3.根据权利要求2所述的方法，其特征在于，所述近场相机模型包括：相机几何模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：获取所述目标传感器的相机内参，并基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。4.根据权利要求2所述的方法，其特征在于，所述近场相机模型包括：相机辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度；根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线；根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应；根据所述近场相机的光度响应曲线以及所述近场相机的晕影效应，建立所述相机辐射模型；基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。5.根据权利要求2所述的方法，其特征在于，所述近场光源模型包括：光源几何模型和光源辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准；根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量
强度，建立所述光源辐射模型，并根...
【专利技术属性】
技术研发人员：李博韧，李皖林，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。