使用深度学习的力估计制造技术

公开一种使用深度学习的力估计。计算机系统通过执行大量校准任务来生成用于触觉力传感器的触觉力模型。在各种实施例中，校准任务包括当将触觉力传感器附接到压力计时，按下触觉力传感器，与球体相互作用以及沿着平面推动对象。从这些校准任务中收集的数据用于训练神经网络。所得的触觉力模型允许计算机系统以比传统方法更高的精度将从触觉力传感器接收的信号转换为力的大小和方向。在一个实施例中，通过与对象相互作用、确定对象的移动以及基于对象的物理模型来估计对象上的力来推断触觉力传感器上的力。

【技术实现步骤摘要】
使用深度学习的力估计
技术介绍
机器人系统被用来执行日益复杂和精细的任务。能够执行许多精细任务的重要部分是能够根据感官反馈调整机器人的控制能力。例如，许多厨房任务(例如打开糖罐、倒入容器或翻转薄饼)，都需要精确观察力才能成功执行。通过一种从触觉信号中估算力的方法，可以更快地学习这些任务。在另一个示例中，当处理柔软或柔顺的物体时，触觉力感测允许机器人根据对物体的更改来调整其动作。先进的触觉传感器(例如SynTouchBioTac)，可提供柔软的、类似肉体的柔顺的抓握表面，能够处理细腻的物体而不会损坏。然而，传感器的性质使得难以估计由触觉传感器施加的力。如果没有准确的力估计，许多任务的成功执行将非常困难。因此，重要的是提供一种系统，该系统在大范围的力上以大小和方向均准确的方式估算触觉传感器上的力。附图说明参照附图将描述各种不同的技术，其中：图1示出了在一个实施例中装备有触觉力传感器的机械手的示例；图2示出了一个实施例中的触觉力传感器的示例；图3示出了一个实施例中的训练用于估计触觉力传感器上的力的触觉力模型的过程的示例；图4示出了一个实施例中的力预测神经网络的示例；图5示出了一个实施例中的测量施加到触觉力传感器的力的测试夹具的示例。图6示出了一个实施例中的测量由于操纵球而产生的力的测试夹具的示例。图7示出了一个实施例中测量由于将物体推到平面上而产生的力的测试夹具的示例。图8示出了一个实施例中作为由计算机系统执行的结果的处理的示例，该处理生成估计触觉力传感器上的力的触觉力模型；图9示出了一个实施例中作为由计算机系统执行的结果的处理的示例，该处理基于由传感器操纵的对象的运动来确定触觉力传感器上的力。图10示出根据一个实施例的并行处理单元(“PPU”)的示例；图11示出了根据一个实施例的通用处理集群(“GPC”)的示例；图12示出了根据一个实施例的流式多处理器的示例；和图13示出了根据一个实施例的可以在其中实现各种示例的计算机系统。具体实施方式本文档描述了一种校准用于在机器人系统中使用的触觉力传感器的系统。在一个实施例中，探针、爪、抓手或机械手安装有一组触觉力传感器，该一组触觉力传感器允许控制系统接收代表施加在传感器上的力的信号。在一个实施例中，触觉力传感器提供分布在力传感器的表面上的多个力测量值，其提供力方向以及力大小的指示。在一个实施例中，触觉力传感器被柔软的表面(例如硅树脂)包覆，该表面使传感器的表面与被操纵的对象相吻合。在一个实施例中，许多测试装置被用来收集触觉力传感器的校准信息。在一个实施例中，将触觉力传感器的背面固定到压力传感器，并且将对象压在力传感器上。在一个实施例中，作为将物体压在力传感器上的结果，触觉力传感器产生信号，并且压力传感器记录所产生的力的量。在一个实施例中，配备有触觉力传感器的机械手用于操控连接至校准的力传感器的球。在一个实施例中，当操纵球时，由触觉力传感器接收的信号与由校准的力传感器测量的相应力相关联。在一个实施例中，装有触觉传感器的探针用于在平面上推动对象，并测量对象的运动。在一个实施例中，确定对象的物理模型，从而允许基于对象的运动来估计施加在对象上的力。在一个实施例中，估计的力和从触觉力传感器接收的信号被用于校准触觉力传感器。在一个实施例中，从测试夹具接收的信息被用作神经网络的训练数据。在一个实施例中，神经网络学习触觉力模型，其可用于将由触觉力传感器提供的信号转换成力的大小和方向。在一个实施例中，通过如上所述利用来自各种不同的测试装置的地面实况进行训练，触觉力模型可以用于估计由触觉力传感器施加的用于除上述训练任务之外的各种任务的力。在一个实施例中，系统将体素化的输入特征层用于空间信号，并利用关于传感器表面的信息来规范化损失函数。在一个实施例中，已经示出了所产生的触觉力模型在测试数据集上产生0.06弧度的中值角度精度和0.06N弧度的中值幅度精度。在一个实施例中，通过执行物体提升和放置任务来验证触觉力模型，因为如果力估计不正确，提升任务往往失败，而如果力方向估计不正确，则放置任务往往失败。在一个实施例中，通过在3d网格中体素化电极值来对触觉力传感器中的电极的空间信息进行编码以对力方向进行更好的估计。在一个实施例中，该系统提供了表面法线正则化，其改善了在接触点处更接近表面法线的力预测的准确性。在一个实施例中，在真实的机器人操纵任务中，利用不同表面特性的刚性对象和柔性对象验证触觉力模型。如本领域的技术人员根据该公开所理解的，某些示例可能能够实现某些优点，包括以下的一些或全部：(1)在方向和大小上都增加力估计的准确性，(2)对在标准化度量中的力精度进行量化，(3)通过与校准对象模型的交互提供准确的力推论，(4)自主收集地面实况测力数据，(5)提供确认测力模型准确性的验证任务。图1示出了装备有触觉力传感器的机械手的示例。在一个实施例中，计算机控制系统控制机械手100的操作。在一个实施例中，机械手100包括连接到多个关节手指的手掌部分102。在一个实施例中，关节手指包括第一手指104、第二手指106、第三手指108和第四手指110。在一个实施例中，带关节的手指包括相对的手指112。在一个实施例中，每个手指包括允许该手指相对于手掌部分102移动的多个关节点和伺服机构。在一些实施例中，每个手指由伺服电动机和手指长度的电缆控制，从而使手指能够像人的手一样屈伸和卷曲。在其他实施例中，手指可在每个关节点处包括一个或更多个伺服电机，从而允许每个关节点被分别操作。在另一实施例中，每个关节点可包括控制一个或多个轴线上的旋转和铰接的铰接马达。在一个实施例中，控制系统连接到机械手100。在一个实施例中，该控制系统包括计算机器系统，计算机系统具有一个或更多个处理器和存储有指令的存储器，该指令由于被一个或更多个处理器执行时，使计算机系统向控制机器人手100的各个手指的伺服电动机发出电子命令。在一个实施例中，电子命令通过连接到计算机系统的I/O端口发出，并使用继电器、功率晶体管或其他电路放大。在各种实施例中，电子命令可以是基于电压或基于电流的信号。在一个实施例中，电子命令可以包括一系列脉冲，这些脉冲指示将由伺服电动机执行的步骤或位置变化。在一实施例中，机械手100的一个或更多个手指可包括触觉传感器。在一个实施例中，触觉传感器是力传感器，例如SynTouchBioTac。在一个实施例中，触觉传感器可以提供被接触表面的温度、湿度、压力或电导率测量值。在一个实施例中，触觉传感器可以为传感器表面上的多个位置提供以上测量。在一个实施例中，由触觉传感器为分布在传感器表面上的位置网格中的每个位置提供单独的测量。在一个实施例中，通过触觉传感器的表面上的电极网格来提供力测量。在一个实施例中，触觉传感器提供数字电接口，例如并行或串行接口，其允许将来自触觉传感器的信号提供给控制系统。在一个实施例中，使用诸如硅树脂之类的柔顺性接触表面来构造触觉传感器，该柔顺性接触表面覆盖传感器并且保护触觉传感器的电子部件免受本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n用装有力传感器的探针操纵对象；/n接收来自所述力传感器的信号；/n根据所述对象的运动和所述对象的模型估计所述探针上的力；/n使用所述信号和所述估计的力训练所述力传感器的触觉力模型；和/n使用所述触觉力模型确定所述探针上的力。/n

【技术特征摘要】
20190319 US 16/358,4851.一种方法，包括：
用装有力传感器的探针操纵对象；
接收来自所述力传感器的信号；
根据所述对象的运动和所述对象的模型估计所述探针上的力；
使用所述信号和所述估计的力训练所述力传感器的触觉力模型；和
使用所述触觉力模型确定所述探针上的力。


2.根据权利要求1所述的方法，其中：
通过在平面上推动所述对象来操纵所述对象；
所述对象的模型包括所述对象的质量以及所述对象与所述平面之间的摩擦力的测量。


3.根据权利要求1所述的方法，还包括：
接收所述对象的视频；和
至少部分地基于所述视频确定所述对象的运动。


4.根据权利要求3所述的方法，其中：
所述对象的所述运动包括线性分量和角度分量；和
所述探针上的所述力被确定为平行于所述平面的向量。


5.根据权利要求1所述的方法，其中：
所述信号包括多个体素化电极信号；和
至少部分地基于所述体素化电极信号确定所述力传感器上的接触点。


6.根据权利要求1所述的方法，其中：
所述估计的力至少部分基于损失函数；和
所述损失函数是在所述对象上施加的力与所述对象在接触点的表面法线之间的角距离的函数。


7.根据权利要求1所述的方法，还包括：
通过执行平面推动、球的操纵和刚体对象挤压任务来收集力数据；
使用所述力数据生成所述触觉力模型；和
使用所述触觉力模型来估算执行不同任务时在所述力传感器上产生的力。


8.一种系统，包括：
一个或更多个处理器；和
存储器，用于存储计算机可执行指令，其如果被执行，导致所述一个或更多个处理器执行以下操作：
从力传感器接收响应于施加在对象上的力而产生的信号；
基于所述对象的运动和所述对象的模型来产生施加在所述对象上的力的估计；和
至少部分地基于所述力的估计和所述信号来确定所述信号和施加在所述对象上的力之间的关系。


9.根据权利要求8所述的系统，其中，所述计算机可执行指令使所述系统进一步：
使用所述信号和所述力的估计来训练神经网络；和
使用经训练的所述神经网络将来自第二触觉力传感器的信号转换为力估计。


10.根据权利要求8所述的系统，其中，所述力估计包括力大小和相对于所述第二触觉力传感器的方向的力方向。


11.根据权利要求8所述的系统，其中：
所述对象是矩形对象；和
所述对象的运动包括沿表面的平面运动和所述对象的角度运动。


12.根据权利要求11所述的系统，其中，所述力的估计是通过求解所述对象的线性加速度和角加速度的最小二乘...

【专利技术属性】
技术研发人员：S·伯奇菲尔德，B·布茨，D·福克斯，A·汉达，N·拉特利夫，B·顺达拉林加姆，A·兰伯特，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US