力推断方法、前馈神经网络训练方法、力推理模块及传感器装置制造方法及图纸

本发明专利技术涉及一种使用图像数据进行传感器装置的力推断的方法、一种用于训练前馈神经网络的相应训练方法、一种相应的力推断模块以及一种相应的传感器装置。一种相应的传感器装置。一种相应的传感器装置。

【技术实现步骤摘要】
【国外来华专利技术】力推断方法、前馈神经网络训练方法、力推理模块及传感器装置


[0001]本专利技术涉及一种用于感测力的传感器装置的力推断方法、一种前馈神经网络训练方法、一种力推断模块和一种传感器装置。

技术介绍

[0002]在开发机器人等应用时，感测施加在机器人手或机器人的另一部分(诸如腿或操纵装置)上的力对于增强机器人四处移动和/或操纵物体的能力至关重要。可以在机器人应用中使用以便获得关于所施加的力的反馈的传感器装置的已知实施方式不具有足够的分辨率或者是易损坏的。
[0003]因此，本专利技术的一个目的是提供一种与已知方法相比可替代或改进的力推断方法。本专利技术的另一个目的是提供一种相应的前馈神经网络训练方法。本专利技术的另一个目的是提供一种相应的力推断模块和一种相应的传感器装置。
[0004]这些目的是通过独立权利要求的主题实现的。优选实施例可以例如从从属权利要求中导出。权利要求的内容通过明确引用而成为说明书的内容。

技术实现思路

[0005]在下文中，描述了进一步的多个专利技术方面。这些方面可以单独组合或与本文所公开的其他特征组合。它们也可以被视为单独的专利技术方面，并且可以作为权利要求的主题。
[0006]本专利技术涉及一种用于感测力的传感器装置的力推断的方法。
[0007]所述传感器装置，例如可以应用所述方法的传感器装置，尤其可以至少包括：
[0008]可弹性变形的壁，所述壁包括外侧的测量表面和内侧的反射表面，其中所述反射表面部分地限定一个内部空间，
[0009]光源装置，其包括多个光源并被布置成向所述内部空间发射光，以及
[0010]图像传感器，其安装在所述内部空间中。
[0011]关于所述传感器装置，请参考本文别处给出的描述。所有公开的实施例和变体都可以被应用。
[0012]所述用于力推断的方法包括以下步骤：
[0013]从所述图像传感器读取图像数据，以及
[0014]基于所述图像数据计算在所述测量表面上的力图，优选地使用前馈神经网络，所述力图包括多个力矢量。
[0015]这种方法提供了基于图像检测的非常准确的力推断。前馈神经网络的使用省略了实施分析力评估的必要性。所述神经网络尤其可以如本文所公开的那样被训练。已经发现，所述训练导致非常准确和精细的力推断，甚至能够检测多个压头并识别这些压头的位置、力的方向，以及形状。
[0016]所述力图尤其可以是在真实的测量表面上定义的图(map)，其中所述力图可以包
括多个图点。在每个图点，可以定义一些信息，例如如下文进一步描述的力矢量。所述力图通常提供有关被施加在所述测量表面上的力的信息。例如，这样的力可能源自于压在所述测量表面上的一个压头或多个压头，或源自于当前由所述传感器装置操纵的物体，例如，当所述传感器装置是机器人的指尖时。
[0017]所述前馈神经网络尤其可以是人工神经网络。它获取所述图像数据作为输入信息，并提供力图作为输出信息。原则上，前馈神经网络是一种人工神经网络，其中节点之间的连接不形成循环。
[0018]在下文中，将描述所述网络的训练方面。本节中所提到的训练步骤特别应被视为在执行真实力测量的力推理之前已经执行的步骤。因此，所述用于力推断的方法可以被认为是在所述力推断之前执行的训练步骤和使用经过训练的网络的所述力推断的组合。所述用于力推断的方法也可以被认为是所述力推断本身，其使用经过相应训练的网络。下面进一步描述单独的训练方法。这种训练方法可以独立于任何力推断被执行。通常读取图像传感器并生成力图的力推断被视为在用例中要执行的动作，即，当所述传感器装置用于测量或评估被施加在所述测量表面上的力时，例如因为所述传感器装置当前正在操纵物体或以其他方式与在所述测量表面上施加压力的物体接触。
[0019]根据一个优选的实施方式，在所述力推断之前执行以下步骤来训练所述前馈神经网络：
[0020]在所述传感器装置上进行多个力测试，每个力测试包括用一个压头在所述传感器装置的所述测量表面上的一个位置施加力，同时测量所述压头施加的力，并且同时从所述图像传感器读取图像数据，
[0021]对于每个力测试，用所述传感器装置的模型进行相应的模拟，每个模拟包括在所述模型的模拟测量表面上施加模拟力，从而计算出在所述模拟测量表面上的模拟力图，所述模拟力图包括多个模拟力矢量，所述模拟力对应于所测量的力并且被施加在所述模拟测量表面上与所述测量表面上的所述位置对应的一个位置上，以及
[0022]用所述图像数据和相应的所计算出的模拟力图来训练所述前馈神经网络。
[0023]这样的训练步骤可以提供所述前馈神经网络的合适训练。所述前馈神经网络可以学习真实的力和相应的力图，前者来自测量，后者来自模拟。
[0024]力的测量和图像数据的读出通常在所述力实际被施加时执行，优选地在静止状态下。所述力接着被使用在模拟中。
[0025]要说明的是，所有用“模拟”表示的术语通常都与所述模拟有关。例如，所述模拟测量面是仅存在于模拟中的测量表面。所述模型能够以确定的方式根据被施加的模拟力计算出力图。例如，可以使用采用赫兹接触理论的力点周围的简单空间分布。作为一个替代的示例，可以使用有限元模型。
[0026]所述模拟力可以与所测量的力相同。这可能意味着，所述模拟力可以在三个维度上具有相同的分量，和/或它具有相同的方向和绝对值。然而，所述模拟力也可以通过预定义的关系对应于所测量的力。
[0027]优选地，用于训练所述前馈神经网络的所述力测试是以多个压头进行，每个压头具有各自的压头形状。特别是，所述压头形状可能不同。因此，所述前馈神经网络可以用一种它可以区分不同压头形状的方式进行训练，即，当应用不同的压头时，它会产生不同的力
图。
[0028]例如，所述压头形状可选自至少包括尖端、圆形、三角形横截面、方形横截面、半球形、立方形和圆柱形的群组。所有提到的压头形状都可以在训练过程中使用，或者可以只使用一个子集。也可以使用其他的压头形状。
[0029]优选地，使用由模拟压头施加的模拟力或基于所述模拟压头施加的模拟力来执行所述模拟。这样的模拟压头可以具有各自的压头形状，其对应于在相应的力测试中使用的真实压头形状。因此，被施加在所述模拟测量表面上的所述模拟力可以更接近于真实的力，因为压头形状也很相似。这改进了所述前馈神经网络的训练。
[0030]优选地，使用多个不同的压头形状来训练所述前馈神经网络。这可以训练所述前馈神经网络更好地区分不同的压头形状。
[0031]优选地，使用多个不同尺寸的压头来训练所述前馈神经网络。这允许训练所述前馈神经网络去区分不同的压头尺寸。
[0032]优选地，使用所述压头来训练所述前馈神经网络，所述压头至少对于用于训练所述前馈神经网络的所述力测试的一部分，施加相应的剪切力。这允许训练所述前馈神经网络，使其可以区分剪切力。例如，所述力图还可以包括模拟剪切力。特别是，不同的剪切力可能会导致不同的力图。
[0033]优选本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于感测力的传感器装置(10)的力推断的方法，所述传感器装置(10)至少包括：可弹性变形的壁(210)，所述壁(210)包括外侧的测量表面(220)和内侧的反射表面(230)，其中所述反射表面部分地限定一个内部空间(12)，光源装置(160)，其包括多个光源(164)并被布置成向所述内部空间(12)发射光，以及图像传感器(130)，其安装在所述内部空间(12)中。所述用于力推断的方法包括以下步骤：从所述图像传感器(130)读取图像数据，以及基于所述图像数据使用前馈神经网络(FFNN)计算在所述测量表面(220)上的力图(FM)，所述力图(FM)包括多个力矢量(F)。2.根据权利要求1所述的方法，其特征在于，所述前馈神经网络(FFNN)在所述力推断之前通过执行以下步骤进行训练：在所述传感器装置(10)上执行(T_1)多个力测试，每个力测试包括用一个压头(800)在所述传感器装置(10)的所述测量表面(220)上的一个位置施加力，同时测量所述压头(800)施加的力，并且同时从所述图像传感器(130)读取图像数据，对于每个力测试，用所述传感器装置(10)的模型(10
’
)执行(T_2)相应的模拟，每个模拟包括在所述模型(10
’
)的模拟测量表面(220')上施加模拟力，从而计算出在所述模拟测量表面(220
’
)上的模拟力图(FM
’
)，所述模拟力图(FM
’
)包括多个模拟力矢量(F
’
)，所述模拟力对应于所测量的力并且被施加在所述模拟测量表面(220')上与所述测量表面(220)上的所述位置对应的一个位置上，以及用所述图像数据和相应的所计算出的模拟力图(FM
’
)来训练(T_3)所述前馈神经网络(FFNN)。3.根据权利要求2所述的方法，其特征在于，用于训练所述前馈神经网络(FFNN)的力测试是用多个压头(800)执行的，每个压头(800)具有各自的压头形状。4.根据权利要求3所述的方法，其特征在于，压头形状选自至少包括尖端、圆形、三角形横截面、方形横截面、半球形、立方形和圆柱形的群组。5.根据权利要求3或4所述的方法，其特征在于，所述模拟是使用由模拟压头施加的模拟力进行的，所述模拟压头(800)具有各自的压头形状，其对应于在相应的力测试中使用的真实压头形状。6.根据权利要求2至5中的一项所述的方法，其特征在于，使用多个不同的压头形状来训练所述前馈神经网络(FFNN)。7.根据权利要求2至6中任一项所述的方法，其特征在于，使用具有不同尺寸的多个压头(800)来训练所述前馈神经网络(FFNN)。8.根据权利要求2至7中的一项所述的方法，其特征在于，使用所述压头(800)来训练所述前馈神经网络(FFNN)，所述压头(800)至少对于用于训练所述前馈神经网络(FFNN)的所述力测试的一部分施加相应的剪切力。
9.根据权利要求2至8中的一项所述的方法，其特征在于，所测得的力各自包括法向力分量、第一剪切力分量和第二剪切力分量。10.根据权利要求9所述的方法，其特征在于，在所测得的力中，所述第一剪切力分量对应于第一剪切力，并且所述第二剪切力分量对应于第二剪切力，以及其中，所述第一剪切力垂直于所述第二剪切力。11.根据权利要求2至10中的一项所述的方法，其特征在于，每个所测得的力包括在参考坐标系中的三个分量。12.根据权利要求2至11中的一项所述的方法，其特征在于，使用具有不同剪切力分量的多个力来训练所述前馈神经网络(FFNN)。13.根据权利要求2至12中的一项所述的方法，其特征在于，使用具有不同法向力分量的多个力来训练所述前馈神经网络(FFNN)。14.根据权利要求2至13中的一项所述的方法，其特征在于，使用在所述压头(800)中或位于所述压头(800)附近的力传感器(560)测量所述力。15.根据权利要求2至14中的一项所述的方法，其特征在于，每个模拟力矢量(F
’
)包括法向力分量(F
’
N
)、第一剪切力分量(F
’
S1
)和第二剪切力分量(F
’
S2
)。16.根据权利要求2至14中的一项所述的方法，其特征在于，每个模拟力矢量(F
’
)包括在参考坐标系中的三个分量。17.根据前述权利要求中的一项所述的方法，其特征在于，除了从所述图像传感器读出的图像数据之外，所计算出的力图(FM)所基于的图像数据还包括几个不变的图像，或三个不变的图像。18.根据权利要求17所述的方法，其特征在于，所述不变的图像是灰度梯度图像、骨胳的图像，和/或参考光图案。19.根据权利要求17或18所述的方法，其特征在于，作为所述图像数据的一部分的可变的图像是在计算所述力图(FM)之前才拍摄的。20.根据前述权利要求中的一项所述的方法，其特征在于，所述力图(FM)包括至少0.25个力矢量(F)/mm2、至少0.5个力矢量(F)/mm2、至少0.75个力矢量(F)/mm2、至少1个力矢量(F)/mm2、至少1.5个力矢量(F)/mm2，或至少2个力矢量(F)/mm2，和/或其中，力图(FM)包括至多0.25个力矢量(F)/mm2、至多0.5个力矢量(F)/mm2、至多0.75个力矢量(F)/mm2、至多1个力矢量(F)/mm2、至多1.5个力矢量(F)/mm2、或至多2个力矢量(F)/mm2。21.根据前述权利要求中的一项所述的方法，其特征在于，每个力矢量(F)包括法向力分量(F
N
)、第一剪切力分量(F
S1
)和第二剪切力分量(F
S2
)。22.根据权利要求21所述的方法，
其特征在于，所述第一剪切力分量(F
S1
)对应于第一剪切力，且所述第二剪切力分量(F
S2
)对应于第二剪切力，以及其中，所述第一剪切力垂直于所述第二剪切力。23.根据权利要求1至20中的一项所述的方法，其特征在于，每个力矢量(F)包括在参考坐标系中的三个分量。24.根据前述权利要求中的一项所述的方法，其特征在于，使用没有外部影响的所述传感器装置(10)的反射表面(230)的附加图像作为所述图像数据的一部分，来训练所述前馈神经网络(FFNN)，或者执行所述力图(FM)的计算。25.根据前述权利要求中的一项所述的方法，其特征在于，使用所述传感器装置(10)的壁(210)的骨架(240)的图像作为所述图像数据的一部分，来训练所述前馈神经网络(FFNN)，或者执行所述力图(FM)的计算。26.根据前述权利要求中的一项所述的方法，其特征在于，使用用于位置编码的灰度梯度图像作为所述图像数据的一部分，来训练所述前馈神经网络(FFNN)，或者执行所述力图(FM)的计算。27.一种用于训练前馈神经网络(FFNN)的方法(T)，其特征在于，所述前馈神经网络(FFNN)基于图像传感器(130)的图像数据计算在传感器装置(10)的测量表面(220)上的力图(FM)，所述力图(FM)包括多个力矢量(F)，其中，所述前馈神经网络(FFNN)通过以下步骤进行训练：在所述传感器装置(10)上执行(T_1)多个力测试，每个力测试包括用一个压头(800)在所述传感器装置(10)的所述测量表面(220)上的一个位置施加力，同时测量所述压头(800)施加的力，并且同时从所述图像传感器(130)读取图像数据，对于每个力测试，用所述传感器装置(10)的模型(10
’
)执行(T_2)相应的模拟，每个模拟包括在所述模型(10
’
)的模拟测量表面(220
’
)上施加模拟力，从而计算出在所述模拟测量表面(220
’
)上的模拟力图(FM
’
)，所述模拟力图(FM
’
...

【专利技术属性】
技术研发人员：焕波，
申请(专利权)人：马克斯，
类型：发明
国别省市：