一种基于视觉的触觉传感器的数字孪生方法及装置制造方法及图纸

本公开提出一种基于视觉的触觉传感器的数字孪生方法及装置，属于传感器技术领域。其中所述方法包括：在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的所述生成器子网络以实现所述触觉传感器的数字孪生。本公开无需精确配对的数据，可实现适用于基于视觉的触觉传感器的仿真到现实的双向迁移，具有很高的应用价值。很高的应用价值。很高的应用价值。

【技术实现步骤摘要】
一种基于视觉的触觉传感器的数字孪生方法及装置


[0001]本公开属于传感器
，具体涉及一种基于视觉的触觉传感器的数字孪生方法及装置。

技术介绍

[0002]基于视觉的触觉传感器是一类新兴的触觉传感器，具有成本低、分辨率高、耐受电磁干扰等特点，有望大规模应用于机器人操作中。一种现有的基于视觉的触觉传感器的工作原理图如图1所示，该传感器主要包括：透明弹性体、支撑板、光源(通常为发光二极管，图1中为两组发光二极管LED1和LED2，而实际上的常用做法是采用三组LED，分别为红、绿、蓝三色)以及相机组成，各组件间有刚性连接以保证其相对位置关系。其中，透明弹性体表面喷涂了反射涂料作为传感表面。当传感表面接触物体时，弹性体发生变形，反射涂层在经由发光二极管发出的不同颜色的光照下产生对应该物体的触觉图像，经相机记录后可求解触觉相关信息。
[0003]数字孪生技术是一类重要的信息化技术，其充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射。应用数字孪生技术，可以构建真实传感器的仿真模型，在安全的仿真环境中训练机器人的触觉操作策略，避免传感器等硬件的损坏，提高效率、节约成本。
[0004]然而，基于视觉的触觉传感器具有光照条件复杂、表面反射性质非理想等特点，难以确定所需的仿真参数，导致进行数字孪生时存在一定的困难(常被称作“仿真
‑
现实差距”)。现有的基于视觉的触觉传感器的仿真方法往往需要大量的准确配对的“仿真
‑
现实”数据对，导致数据采集和处理过程繁琐，代价高。

技术实现思路

[0005]本公开的目的是克服目前针对基于视觉的触觉传感器仿真方法需要大量准确配对数据的不足，提出一种基于视觉的触觉传感器的数字孪生方法及装置。本公开无需精确配对的数据，可实现适用于基于视觉的触觉传感器的仿真到现实的双向迁移，具有很高的应用价值。
[0006]本公开第一方面实施例提出一种基于视觉的触觉传感器的数字孪生方法，包括：
[0007]在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；
[0008]在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；
[0009]利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的所述生成器子网络以实现所述触觉传感器的数字孪生。
[0010]在本公开的一个具体实施例中，所述利用基于视觉的触觉传感器获取仿真触觉图像采用Phong光照模型方法，包括：
[0011]1)在仿真中，令基于视觉的触觉传感器接触任一物体；
[0012]获取变形后所述触觉传感器的传感表面相对于所述触觉传感器的相机成像平面的表面高度场H(x,y)，其中x与y分别为相机的像素x轴坐标与y轴坐标；
[0013]2)根据步骤1)获取的表面高度场H(x,y)，求得表面梯度场计算相机视野里任意一个像素点(x
p
,y
p
)的局部表面法向量：
[0014][0015]其中，为表面高度场x轴方向的梯度，为表面高度场y轴方向的梯度；x
p
、y
p
分别是相机视野里任一个像素点的x轴坐标与y轴坐标；表示在点(x
p
,y
p
)处的取值，表示在点(x
p
,y
p
)处的取值；
[0016]3)计算相机视野里各像素点的RGB强度，以获得一张仿真触觉图像；
[0017]所述仿真触觉图像中，任一像素点(x
p
,y
p
)的RGB强度计算表达式如下：
[0018][0019]其中，I
sim
(x
p
,y
p
)为仿真触觉图像中点(x
p
,y
p
)的RGB强度值，L代表所述触觉传感器的光源的集合；L
m
为光源m发出的光线方向；i
a
是环境光强度；i
m,d
与i
m,s
分别是光源m发出的散射光强度与镜面反射光强度；k
a
、k
d
、k
s
及
α
是与反射表面相关的参数；
[0020]R
m
(x
p
,y
p
)是(x
p
,y
p
)处光源m的理想镜面反射光线的方向，
[0021]R
m
(x
p
,y
p
)＝2(L
m
·
N(x
p
,y
p
))N(x
p
,y
p
)
‑
L
m
；V是相机光轴的方向。
[0022]在本公开的一个具体实施例中，所述循环对抗生成网络包含两对生成对抗网络，每对生成对抗网络包括一个生成器子网络和一个鉴别器子网络；所述生成器网络结构相同，所述鉴别器子网络结构相同；
[0023]训练时，所述生成器子网络的输入、输出为相同尺寸与通道数的图像，其中，所述从仿真域到现实域迁移的生成器子网络用于对输入的所述仿真数据集的任一图像进行重建以迁移到现实域中，所述从现实域到仿真域迁移的生成器子网络用于对输入的所述真实数据集的任一图像进行重建以迁移到仿真域中；
[0024]所述从仿真域到现实域迁移的生成器子网络对应的鉴别器子网络的输入为所述从仿真域到现实域迁移的生成器子网络输出的图像或所述真实数据集的任一图像，输出为输入图像属于所述真实数据集图像的置信度；
[0025]所述从现实域到仿真域迁移的生成器子网络对应的鉴别器子网络的输入为所述从现实域到仿真域迁移的生成器子网络输出的图像或所述仿真数据集的任一图像，输出为
输入图像属于所述仿真数据集图像的置信度。
[0026]在本公开的一个具体实施例中，所述利用基于视觉的触觉传感器获取仿真触觉图像，还包括：
[0027]在仿真中，改变被接触物体的种类或位置，重复步骤1)
‑
3)以获得对应的仿真触觉图像，将所有仿真触觉图像组成仿真数据集。
[0028]在本公开的一个具体实施例中，所述生成器子网络由卷积层、残差连接层和反卷积层组成，所述鉴别器子网络由卷积层、全连接层和归一化层组成。
[0029]在本公开的一个具体实施例中，所述循环对抗生成网络在训练时的损失函数为：
[0030]L(G
R
→
S
,G
S
→
R
,D
R
→
S
,D...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的触觉传感器的数字孪生方法，其特征在于，包括：在仿真中，利用基于视觉的触觉传感器获取仿真触觉图像组成仿真数据集；在真实环境中，利用所述触觉传感器获取真实触觉图像组成真实数据集；利用所述仿真数据集和所述真实数据集训练循环对抗生成网络，所述循环对抗生成网络包含一个从仿真域到现实域迁移的生成器子网络和一个从现实域到仿真域进行迁移的生成器子网络，利用训练完毕的所述生成器子网络以实现所述触觉传感器的数字孪生。2.根据权利要求1所述的方法，其特征在于，所述利用基于视觉的触觉传感器获取仿真触觉图像采用Phong光照模型方法，包括：1)在仿真中，令基于视觉的触觉传感器接触任一物体；获取变形后所述触觉传感器的传感表面相对于所述触觉传感器的相机成像平面的表面高度场H(x,y)，其中x与y分别为相机的像素x轴坐标与y轴坐标；2)根据步骤1)获取的表面高度场H(x,y)，求得表面梯度场计算相机视野里任意一个像素点(x
p
,y
p
)的局部表面法向量：其中，为表面高度场x轴方向的梯度，为表面高度场y轴方向的梯度；x
p
、y
p
分别是相机视野里任一个像素点的x轴坐标与y轴坐标；表示在点(x
p
,y
p
)处的取值，表示在点(x
p
,y
p
)处的取值；3)计算相机视野里各像素点的RGB强度，以获得一张仿真触觉图像；所述仿真触觉图像中，任一像素点(x
p
,y
p
)的RGB强度计算表达式如下：其中，I
sim
(x
p
,y
p
)为仿真触觉图像中点(x
p
,y
p
)的RGB强度值，L代表所述触觉传感器的光源的集合；L
m
为光源m发出的光线方向；i
a
是环境光强度；i
m,d
与i
m,s
分别是光源m发出的散射光强度与镜面反射光强度；k
a
、k
d
、k
s
及
α
是与反射表面相关的参数；R
m
(x
p
,y
p
)是(x
p
,y
p
)处光源m的理想镜面反射光线的方向，R
m
(x
p
,y
p
)＝2(L
m
·
N(x
p
,y
p
))N(x
p
,y
p
)
‑
L
m
；V是相机光轴的方向。3.根据权利要求1所述的方法，其特征在于，所述循环对抗生成网络包含两对生成对抗网络，每对生成对抗网络包括一个生成器子网络和一个鉴别器子网络；所述生成器子网络结构相同，所述鉴别器子网络结构相同；
训练时，所述生成器子网络的输入、输出为相同尺寸与通道数的图像，其中，所述从仿真域到现实域迁移的生成器子网络用于对输入的所述仿真数据集的任一图像进行重建以迁移到现实域中，所述从现实域到仿真域迁移的生成器子网络用于对输入的所述真实数据集的任一图像进行重建以迁移到仿真域中；所述从仿真域到现实域迁移的生成器子网络对应的鉴别器子网络的输入为所述从仿真域到现实域迁移的生成器子网络输出的图像或所述真实数据集的任一图像，输出为输入图像属于所述真实数据集图像的置信度；所述从现实域到仿真域迁移的生成器子网络对应的鉴别器子网络的输入为所述从现实域到仿真域迁移的生成器子网络输出的图像或所述仿真数据集的任一图像，输出为输入图像属于所述仿真数据集图像的置信度。4.根据权利要求2所述的方法，其特征在于，所述利用基于视觉的触觉传感器获取仿真触觉图像，还包括：在仿真中，改变被接触物体的种类或位置，重复步骤1)
‑
3)以获得对应的仿真触觉图像，将所有仿真触觉图像组成仿真数据集。5.根据权利要求3所述的方法，其特征在于，所述生成器子网络由卷积层、残差连接层和反卷积层组成，所述鉴别器子网络由卷积层、全连接层和归一化层组成。6.根据权利要求3所述的方法，其特征在于，所述循环对抗生成网络在训练时的损失函数为：L(G
R
→
S
,G
S
→
R
,D
R
→
S
,D
S
→
R
)＝L
adv
(G
R
→
S
,D
R
→
S
)+L
adv
(G
S
→
R
,D
S
→
R
)+λ
cycle
L
cycle
(G
R
→
S
,G
S
→
R
)+λ
identity
L
identity
(G
R2S
,G
S2R
)，其中，G
S
→
R
为从仿真域到现实域迁移的生成器子网络，D
S
→
R
为G
S
→
R
对应的鉴别器子网络；G
R
→
S
为从现实域到仿真域迁移的生成器子网络，D
R
→
S
为G
R
→
S
对应的鉴别器子网络；L
adv
(G
S
→
R
,D
S
→
R
)表示关于G
S
→
R
和D
S
→
R
的对抗损失函数；L
adv
(G
R
→
S
,D
R
→
S
)表示关于G
R
→
S
和D
R
→
S
的对抗损失函数；L
cycle
(G
R
→
S
,G
S
→
R
)表示关于G
S
→
R
与G
R
→
S
的循环一致损失函数；L
identity
(G
R
→
S
,G
S
...

【专利技术属性】
技术研发人员：徐静，陈苇航，陈睿，
申请(专利权)人：清华大学，
类型：发明
国别省市：