触觉信息推测装置、触觉信息推测方法以及程序制造方法及图纸

实现根据视觉信息取得触觉信息的触觉信息推测装置。触觉信息推测装置具备视觉触觉特征量提取部，该视觉触觉特征量提取部将由视觉传感器取得的物体的视觉信息输入到根据视觉信息和与所述视觉信息关联起来的触觉信息生成的模型中，提取与所述物体的触觉信息有关的特征量。

【技术实现步骤摘要】
【国外来华专利技术】触觉信息推测装置、触觉信息推测方法以及程序
本专利技术涉及触觉信息推测装置、触觉信息推测方法以及程序。
技术介绍
当前，广泛进行着关于处理视觉信息、声音信息、动作信息等多种信息的机械学习的研究。也广泛进行着使用从触觉传感器输入的力的检测这样的信息来进行物体的控制的研究。然而，在这些研究结果中，难以像人类经验性地进行的动作(例如根据视觉信息判定物体的不易滑的部位)这样从得到的视觉信息取得触觉信息。因此，存在难以使机器人进行像人类通常进行的那样观察物体、判断该物体的不易滑的部位并根据判断结果进行物体的夹持这样的动作的课题。
技术实现思路
因此，本专利技术的实施方式提出一种根据视觉信息推测触觉信息的触觉信息推测装置、触觉信息推测方法以及程序。一个实施方式所涉及的触觉信息推测装置具备视觉触觉特征量提取部，该视觉触觉特征量提取部将由视觉传感器取得的物体的视觉信息输入到根据视觉信息和与所述视觉信息关联起来的触觉信息生成的模型中，提取与所述物体的触觉信息有关的特征量。根据一个实施方式，能够根据物体的视觉信息来推测该物体的触觉信息。附图说明图1是示出一个实施方式所涉及的触觉信息推测装置的功能的框图。图2是示出一个实施方式所涉及的自组织化的空间的一个例子的图。图3是示出一个实施方式所涉及的学习阶段的流程的流程图。图4是示出一个实施方式所涉及的推测阶段的流程的流程图。图5是示出一个实施方式所涉及的触觉信息推测装置的功能的框图。图6是示意地示出夹持物体的情形的图。图7是示意地示出一个实施方式所涉及的夹持信息取得部的图。图8是示出一个实施方式所涉及的触觉信息推测装置的功能的框图。图9是示出一个实施方式所涉及的推测阶段的流程的流程图。图10是示出一个实施方式所涉及的推测阶段的流程的流程图。图11是示出一个实施方式所涉及的触觉信息推测装置的功能的框图。具体实施方式(第1实施方式)在本实施方式中，说明在输入视觉信息后推测并输出触觉信息的触觉信息推测装置。该触觉信息推测装置可以不仅输出根据视觉信息推测触觉信息的结果，而且还输出根据视觉信息生成触觉信息的生成模型。以下参照附图详细说明。图1是示出本实施方式所涉及的触觉信息推测装置1的功能的框图。触觉信息推测装置1具备视觉传感器100、触觉传感器102、输入部104、模型生成部106、输出部108以及视觉触觉特征量提取部110。视觉传感器100取得物体的视觉信息。例如，视觉传感器100具备相机，取得物体的视觉信息作为图像信息并输入到输入部104。相机既可以是将图像取得为彩色图像的相机，也可以是将图像取得为灰度图像的相机。另外，可以搭载诸如取得包括来自视觉传感器100的深度信息的图像信息的RGB-D相机等设备。触觉传感器102取得物体的触觉信息。例如，触觉传感器102可以具备阵列状地配置的多个压力点传感器。这些多个压力点传感器可以被软性的硅树脂等覆盖，能够作为面来感知压力。作为其他例子，也可以使用一般流通的片状、膜状的触感传感器。作为触觉传感器102的其他例子，也可以是具备具有弹性且有透射性的硅树脂等物质作为与物体接触的接触部、用相机等拍摄该接触部的位移并根据该拍摄状态取得作为面的压力的传感器。拍摄位移的相机既可以是立体相机，也可以是诸如能够通过超声波等判断表面的凹凸的设备。如上述例子，触觉传感器102是能够将作为点取得的压力信息取得为面的压力信息的传感器即可。另外，可以不一定是能够在相同的定时取得作为面的压力信息的传感器，也可以是能够由能够取得1点以上的点的压力信息的传感器对物体的面上的点进行扫描来感知各点处的压力信息从而取得作为面的压力信息的传感器。触觉传感器102也可以是如上所述测定从物体的表面向触觉传感器102施加的压力的例子。作为其他例子，也可以是诸如能够测量来自物体的内部的反作用力的传感器。输入部104在生成模型的学习阶段(以下简记为学习阶段)中，接收视觉传感器100感知到的视觉信息以及触觉传感器102感知到的触觉信息作为传感器信号。接收到的传感器信号向模型生成部106输出。此外，视觉传感器100或者触觉传感器102中的至少1个可以是设置于触觉信息推测装置1的外部的其他装置。在该情况下，输入部104接收来自该外部的视觉传感器和/或该外部的触觉传感器的信号，向模型生成部106输出。这样，输入部104可以不仅进行触觉信息推测装置1内的传感器信号的接收，而且还接受来自外部的信号的输入。作为其他例子，在模型生成的过程中，也可以视觉传感器100以及触觉传感器102不经由输入部104而分别向模型生成部106输入感知到的传感器信号。而且，也可以作为输入部104的一部分具备视觉传感器100或者触觉传感器102中的至少1个。另一方面，在推测触觉信息的推测阶段(以下简记为推测阶段)中，输入部104从视觉传感器100被输入视觉信息。如上所述，视觉传感器100既可以设置于触觉信息推测装置1的内部，也可以是从处于外部的视觉传感器输入视觉信息的设备。而且，也可以是从处于外部的文件服务器等经由网络等输入视觉信息的设备。输入的视觉信息向视觉触觉特征量提取部110发送。模型生成部106根据输入的视觉信息以及与视觉信息关联起来的触觉信息，生成在输入视觉信息及触觉信息后输出视觉信息及触觉信息的模型。该模型例如是根据CNN(ConvolutionalNeuralNetwork：卷积神经网络)、FNN(FeedforwardNeuralNetwork：前馈神经网络)等学习模型生成的模型。作为其他例子，也可以生成在输入视觉信息后输出触觉信息的模型。作为输入输出信息的其他例子，生成的模型也可以是在输入视觉信息及触觉信息后输出触觉信息的模型、或者在输入视觉信息后输出视觉信息及触觉信息的模型。这样，生成的模型是根据视觉信息以及与该视觉信息关联起来的触觉信息而生成、通过自组织化自动生成与作为将视觉信息和触觉信息关联起来的特征量的视觉触觉特征量有关的信息的模型即可。模型生成部106将生成的模型向输出部108以及视觉触觉特征量提取部110发送。此外，在触觉信息推测装置1的外部不使用模型的情况下，也可以不一定向输出部108输出。在学习阶段中，可以从输出部108输出生成的模型的损耗(loss)、梯度等参数，使用户能够确认模型的学习状况。输出部108在学习阶段中，将从模型生成部106输出的模型向外部输出。通过这样向外部输出模型，在其他触觉信息推测装置中也能够使用相同的模型。另一方面，在推测阶段中，输出从视觉信息变换的触觉信息、视觉触觉特征量等。视觉触觉特征量提取部110在学习阶段中，根据模型生成部106，取得自组织化的视觉触觉特征量，生成视觉触觉特征量的自组织化的空间。该自组织化的空间与通常的种类(class)分类及类型(category)分类等不同，是以状态沿着轴连续或离散地变化的方式形成本文档来自技高网...

【技术保护点】
1.一种触觉信息推测装置，具备：/n视觉触觉特征量提取部，该视觉触觉特征量提取部将由视觉传感器取得的物体的视觉信息输入到根据视觉信息和与所述视觉信息关联起来的触觉信息生成的模型中，提取与所述物体的触觉信息有关的特征量。/n

【技术特征摘要】
【国外来华专利技术】20180116 JP 2018-0051511.一种触觉信息推测装置，具备：
视觉触觉特征量提取部，该视觉触觉特征量提取部将由视觉传感器取得的物体的视觉信息输入到根据视觉信息和与所述视觉信息关联起来的触觉信息生成的模型中，提取与所述物体的触觉信息有关的特征量。


2.根据权利要求1所述的触觉信息推测装置，还具备：
物体特性推测部，该物体特性推测部根据与所述物体的触觉信息有关的特征量，推测所述物体的特性。


3.根据权利要求1或2所述的触觉信息推测装置，其中，
所述模型是对所述视觉信息和与所述视觉信息关联起来的触觉信息进行自组织化而得到的模型。


4.根据权利要求1至3中的任意一项所述的触觉信息推测装置，其中，
所述视觉触觉特征量提取部根据所述模型生成与所述视觉信息及与所述视觉信息关联起来的触觉信息有关的空间，根据所述空间中的与所述物体的视觉信息有关的数据，提取与所述物体的触觉信息有关的特征量。


5.根据权利要求1至4中的任意一项所述的触觉信息推测装置，其中，
所述物体的视觉信息具备所述物体的纹理信息。


6.根据权利要求1至5中的任意一项所述的触觉信息推测装置，其中，
所述物体的视觉信息具备所述物体的形状信息。


7.根据权利要求1至6中的任意一项所述的触觉信息推测装置，其中，
所述物体的触觉信息具备来自所述物体的表面的作为面的压力信息。


8.根据权利要求1至7中的任意一项所述的触觉信息推测装置，其中，
所述模型是由自动编码器生成的模型。


9.根据权利要求2至8中的任意一项所述的触觉信息推测装置，还具备：
夹持位置决...

【专利技术属性】
技术研发人员：高桥城志，J·E·T·坦，
申请(专利权)人：首选网络株式会社，
类型：发明
国别省市：日本;JP