控制装置、机器人、学习装置、机器人系统和学习方法制造方法及图纸

控制装置、机器人、学习装置、机器人系统和学习方法，比以往廉价且通用地实现能够高速进行伴随接触的动作的机器人控制。机器人具有把持对象物的夹具和使夹具移动的臂，在夹具的中途、夹具与臂之间和臂的中途中的至少任一个位置具有物理上柔软的柔软部，控制装置具有：状态取得单元，取得包含柔软关联观测数据的状态观测数据，柔软关联观测数据是关于柔软部、机器人的比柔软部靠把持对象物侧的部位和把持对象物中的至少任一个的状态的观测数据；控制单元，包含预先进行了机器学习而当输入状态观测数据时输出用于对对象物进行规定作业的机器人行动的学习模型，控制单元根据将状态取得单元取得的状态观测数据输入到学习模型得到的输出，控制机器人。控制机器人。控制机器人。

【技术实现步骤摘要】
控制装置、机器人、学习装置、机器人系统和学习方法


[0001]本专利技术涉及具有柔软部的机器人的控制及其学习。

技术介绍

[0002]在考虑工厂中的产品组装等的动作时，间隙少的嵌入等的接触动作是不可缺少的。非常希望以与人进行的动作相同或其以下的动作时间来实现该动作。为了实现这样的动作，以往研究了以下的方法。
[0003]第1种是使用高精度的机械和用于减少位置姿势的不确定性的机构(治具、专用手等)的方法。但是，在组装中存在多个部件的情况下，需要设计每个对象的定位方法、治具，因此该方法在设计变更方面极弱。
[0004]第2种是使用进深传感器等估计对象的位置姿势的方法。但是，该方法存在难以以充分的精度进行估计的问题。例如，在小型部件的组装中需要1mm以下的精度，但现状是不能得到足够的精度。进而，还存在把持对象时的把持方法的不确定性、机器人与照相机之间的校准的误差，即使得到1mm以下的识别精度，组装作业也不一定成功。此外，基于使用视觉传感器识别出的机器人或对象物的位置的视觉反馈成为某种程度的解决对策，但需要高速的反馈周期，并且在嵌入开始后难以进行视觉识别，因此无法得到力的施加情况。
[0005]第3种是使用力控制来控制力的施加情况的方法(专利文献1)。根据该方法，一方面能够控制力的施加情况，另一方面需要根据对象而建立动作策略。另外，若不进行高速的控制则无法控制力，因此需要缩短控制周期，导致成本的增大。
[0006]第4种是有效利用能够吸收误差的被动动作机构的方法(专利文献2)。通过使用受动单元(compliance unit)那样的被动的可动单元，能够吸收微小误差。但是，需要能够收敛在可吸收的误差范围内的程度的高精度。例如，在包含具有被动的可动单元的臂的机器人中，在将把持的对象物由孔的倒角部引导而压入孔时，要求能够使对象物与倒角部接触的精度。进而，由于动作需要人来完成，因此设定需要时间以及熟练者。
[0007]专利文献1：日本特开2000
‑
042962号公报
[0008]专利文献2：日本特开2015
‑
083324号公报

技术实现思路

[0009]本专利技术是鉴于上述实际情况而完成的，其目的在于提供能够使机器人容易地进行伴随接触的高速动作的技术。
[0010]为了实现上述目的，本专利技术采用以下结构。
[0011]本专利技术的第1方式是一种机器人的控制装置，该机器人具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置具有物理上柔软的柔软部，该控制装置具有：状态取得单元，其取得包含柔软关联观测数据的状态观测数据，该柔软关联观测数据是关于所述柔软部、所述机器人的比所述柔软部靠对对象物进行把持侧的部位、以及所把持的所述对象物中的至
少任意一个的状态的观测数据；以及控制单元，其包含学习模型，该学习模型预先进行了机器学习使得当被输入所述状态观测数据时，该学习模型输出用于对所述对象物进行规定作业的所述机器人的行动，该控制单元根据将由所述状态取得单元取得的状态观测数据输入到所述学习模型而得到的输出，控制所述机器人。
[0012]“物理上柔软的柔软部”是包含针对位移作用复原力的基于被动要素的机构的概念，典型地，包含弹簧或橡胶那样的弹性体、阻尼器、气压或液压的缸。使用力控制或仅通过力控制来得到柔软性的机构可以从“物理上柔软的柔软部”中排除。
[0013]学习模型将当前的状态观测数据作为输入，输出为了达成作业而适当的下一步的行动。学习模型也被称为控制模型、控制策略等。学习模型可以通过任何机器学习算法获得，例如，通过强化学习获得。如果考虑数据效率，则可以采用模型基础强化学习，但也可以是无模型强化学习。此外，也可以通过深层学习、有教师学习、有部分教师学习来获得学习模型。
[0014]在本方式中，可以是，所述规定作业包含多个原语操作，所述控制单元包含与所述多个原语操作对应的多个学习模型。原语操作也被称为动作区间、运动原语、MP等。原语操作是分别规定了目标的操作，也可以对关注的状态变量和要实施的行动施加单独的制约。
[0015]在本方式中，可以是，所述多个原语操作包含一个或多个约束原语操作，该约束原语操作控制所述机器人，使得所述夹具或被所述夹具把持的所述对象物一边维持与环境接触或接近的状态一边进行动作。而且，可以是，通过减少了状态空间和行动空间的维度的学习处理来学习与所述约束原语操作对应的学习模型。
[0016]在本方式中，可以是，所述学习模型输出包含如下行动的行动：在未分割为多个原语操作的操作整体或一个原语操作中，所述夹具或被所述夹具把持的所述对象物一边维持与环境接触或接近的约束状态一边进行动作。可以是，在所述学习模型中，通过减少了状态空间和行动空间的维度的学习处理来学习一边维持所述约束状态一边控制所述机器人。
[0017]可以是，本方式中的所述柔软部设置于所述夹具与所述臂之间，所述柔软关联观测数据包含如下数据中的至少任意一个：与所述夹具从所述对象物受到的力相关联的力关联传感数据；所述夹具的位置、速度、姿势、以及关于姿势的变化的角速度中的至少任意一个；所述夹具与所述臂之间的相对距离和相对角度中的至少任意一个；与所述柔软部受到的力相关联的力关联传感数据；以及基于拍摄所述对象物、所述夹具、所述柔软部中的至少任意一个而得的图像的数据。
[0018]本专利技术的第2方式是一种机器人系统，其具有：机器人，其具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置具有物理上柔软的柔软部；以及第1方式的控制装置。
[0019]本专利技术的第3方式是一种机器人，其具有：夹具，其用于把持对象物；臂，其用于使所述夹具移动；物理上柔软的柔软部，其设置于所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置；以及传感器，其检测所述柔软部、所述机器人的比所述柔软部靠把持所述对象物的一侧的部位和被把持的对象物中的至少任意一个的状态。
[0020]本专利技术的第4方式是一种学习装置，其包含：状态取得单元，其取得包含柔软关联观测数据的状态观测数据，该柔软关联观测数据是关于机器人的柔软部、所述机器人的比
所述柔软部靠对对象物进行把持侧的部位和所把持的所述对象物中的至少任意一个的状态的观测数据，该机器人具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置具有物理上柔软的所述柔软部；以及学习单元，其获得学习模型，当被输入所述状态观测数据时，该学习模型输出用于对所述对象物进行规定作业的所述机器人的行动。
[0021]本专利技术可以理解为控制机器人的控制方法，也可以理解为获得输出机器人的行动的学习模型的学习方法。此外，本专利技术也可以理解为用于实现该方法的程序或非暂时地记录了该程序的记录介质。另外，上述单元和处理分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控制装置，其是机器人的控制装置，该机器人具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置具有物理上柔软的柔软部，该控制装置具有：状态取得单元，其取得包含柔软关联观测数据的状态观测数据，该柔软关联观测数据是关于所述柔软部、所述机器人的比所述柔软部靠对对象物进行把持侧的部位、以及所把持的所述对象物中的至少任意一个的状态的观测数据；以及控制单元，其包含学习模型，该学习模型预先进行了机器学习使得当被输入所述状态观测数据时，该学习模型输出用于对所述对象物进行规定作业的所述机器人的行动，该控制单元根据将由所述状态取得单元取得的状态观测数据输入到所述学习模型而得到的输出，控制所述机器人。2.根据权利要求1所述的控制装置，其中，所述规定作业包含多个原语操作，所述控制单元包含与所述多个原语操作对应的多个学习模型。3.根据权利要求2所述的控制装置，其中，所述多个原语操作包含一个或多个约束原语操作，该约束原语操作控制所述机器人，使得所述夹具或被所述夹具把持的所述对象物一边维持与环境接触或接近的约束状态一边进行动作。4.根据权利要求3所述的控制装置，其中，与所述约束原语操作对应的学习模型是通过减少了状态空间和行动空间的维度的学习处理来学习得到的。5.根据权利要求1所述的控制装置，其中，所述学习模型输出包含如下行动在内的行动：在未分割为多个原语操作的操作整体或一个原语操作中，所述夹具或被所述夹具把持的所述对象物一边维持与环境接触或接近的约束状态一边进行动作。6.根据权利要求5所述的控制装置，其中，在所述学习模型中，通过减少了状态空间和行动空间的维度的学习处理来学习一边维持所述约束状态一边控制所述机器人。7.根据权利要求1至6中的任意一项所述的控制装置，其中，所述柔软部设置于所述夹具与所述臂之间，所述柔软关联观测数据包含如下数据中的至少任意一个：与所述夹具从所述对象物受到的力相关联的力关联传感数据；所述夹具的位置、速度、姿势、以及关于姿势的变化的角速度中的至少任意一个；所述夹具与所述臂之间的相对距离和相对角度中的至少任意一个；与所述柔软部受到的力相关联的力关联传感数据；以及基于拍摄所述对象物、所述夹具、所述柔软部中的至少任意一个得到的图像的数据。8.一种机器人系统，其具有：机器人，其具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置具有物理上柔软的柔软部；以及
权利要求1至7中的任意一项所述的控制装置。9.一种机器人，其具有：夹具，其用于把持对象物；臂，其用于使所述夹具移动；物理上柔软的柔软部，其设置于所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一个位置；以及传感器，其检测所述柔软部、比所述柔软部靠对所述对象物进行把持侧的部位、以及被把持的对象物中的至少任意一个的状态。10.一种学习装置，其包含：状态取得单元，其取得包含柔软关联观测数据的状态观测数据，该柔软关联观测数据是关于机器人的柔软部、所述机器人的比所述柔软部靠对对象物进行把持侧的部分、以及所把持的所述对象物中的至少任意一个的状态的观测数据，其中，该机器人具有用于把持对象物的夹具和用于使所述夹具移动的臂，在所述夹具的中途、所述夹具与所述臂之间、以及所述臂的中途中的至少任意一...

【专利技术属性】
技术研发人员：井尻善久，柴田义也，滨屋政志，田中一敏，F，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：