机械学习装置、机器人系统以及机械学习方法制造方法及图纸

本发明专利技术提供学习机器人的动作程序的机械学习装置、机器人系统以及机械学习方法，机械学习装置(2)具有：状态观测部(21)，其将所述机器人(1)的手臂(11)的摇动以及所述机器人(1)的手臂(11)的动作轨迹的长度中的至少一个作为状态变量来进行观测；判定数据取得部(22)，其将所述机器人(1)进行处理的周期时间作为判定数据来接受；以及学习部(23)，其根据所述状态观测部(21)的输出以及所述判定数据取得部(22)的输出，学习所述机器人(1)的动作程序。

Mechanical learning devices, robot systems, and mechanical learning methods

The invention provides a learning robot program of the mechanical learning device, robot system and machine learning method, machine learning device (2) has State Department (21), the observation of the robot arm (1) and (11) the shaking of the robot arm (1) (11). The trajectory length of at least one of the state variables as to determine the observation; data acquiring section (22), the robot (1) cycle time for processing data as a decision to accept; and learning department (23), according to the state observation Department (21) and the output to determine the data acquisition unit (22) the output of the learning robot (1) action program.

【技术实现步骤摘要】
机械学习装置、机器人系统以及机械学习方法
本专利技术涉及学习机器人的动作程序的机械学习装置、机器人系统以及机械学习方法。
技术介绍
以往，例如在进行汽车车体的点焊的点焊机器人等中，通过示教者(人)来制作依次通过多个点焊接点这样的程序。即，示教者考虑针对点焊机器人以怎样的顺序来焊接各焊接接点是高效的，进行多个点焊接点的示教。这里，示教者例如在各焊接接点与下一焊接接点之间设定机器人手臂通过的几个示教接点，此外，还设定此期间的动作的速度和加速度。即，示教者为了缩短点焊机器人的处理时间(周期时间)，例如以机器人手臂的轨迹为最短的方式来设置示教接点，并且，还变更各示教接点之间的加减速和速度的设定。以往，例如专利第4087841号公报公开了如下机器人控制装置：使机械手沿着与实际配置有工件的位置对应的路径移动，为了降低机械手的动作周期时间，选定特定目标位置，作为机械手相对于该选定出的特定目标位置的接近路径和隔离路径，存储不同的多个路径模型。该机器人控制装置设为：根据由视觉传感器检测出的工件位置，从所存储的多个路径模型中选择一个路径模型，修正所选择的路径模型来移动机械手使得机械手应该面向的目标位置与实际的工件位置一致。如上所述，以往提出了如下机器人控制装置：根据由视觉传感器检测出的工件位置而从多个路径模型中选择一个路径模型，并且，为了使机械手(机器人手臂)的目标位置与实际的工件位置一致而修正路径，来控制机器人手臂的移动。但是，例如在针对汽车车体进行多个焊接接点的点焊的点焊机器人中，示教者设定成机器人手臂通过该多个焊接接点的轨迹为最短距离(示教)是困难的。并且，考虑到各示教接点间的加减速和速度的设定、或者必须等待机器人手臂摇动引起的点焊精度和机器人手臂摇动收敛之后进行焊接等情况，示教者示教周期时间短的最佳机器人手臂的轨迹和速度、加速度是很困难的。另外，在本说明书中，作为应用本专利技术的机器人的一个示例说明点焊机器人，而本专利技术的应用不局限于点焊机器人，还可以广泛地应用于各种工业用机器人和服务用机器人。
技术实现思路
鉴于上述以往技术的课题，本专利技术的目的在于提供能够获得修正后的机器人的动作程序的机械学习装置、机器人系统以及机械学习方法。根据本专利技术涉及的第一实施方式，提供一种学习机器人的动作程序的机械学习装置，具有：状态观测部，其将所述机器人手臂的摇动以及所述机器人手臂的动作轨迹的长度中的至少一个作为状态变量来进行观测；判定数据取得部，其将所述机器人执行处理的周期时间作为判定数据来接受；以及学习部，其根据所述状态观测部的输出以及所述判定数据取得部的输出，学习所述机器人的动作程序。可以是根据由照相机拍摄到的图像或者来自机器人控制装置的数据，来观测所述手臂的摇动以及所述手臂的动作轨迹的长度的数据，也可以是解析来自所述机器人控制装置的数据或者由所述照相机拍摄到的图像，来取得所述周期时间。可以是所述状态观测部还将所述手臂的位置、速度以及加速度中的至少一个作为状态变量来进行观测。可以是所述机械学习装置还具有：意图决定部，其根据所述学习部学习到的所述机器人的动作程序，决定所述机器人的动作。可以是所述学习部具有：回报计算部，其根据所述状态观测部的输出以及所述判定数据取得部的输出来计算回报；以及价值函数更新部，其根据所述状态观测部的输出、所述判定数据取得部的输出以及所述回报计算部的输出来更新价值函数，该价值函数决定所述机器人的动作程序的价值。优选所述回报计算部在所述周期时间长时设定负回报，在所述周期时间短时设定正回报。可以是所述回报计算部在所述手臂的摇动大时设定负回报，在所述手臂的摇动小时设定正回报，所述回报计算部在所述手臂的动作轨迹长时设定负回报，在所述手臂的动作轨迹短时设定正回报。可以是所述机械学习装置具有神经网络。可以是对各所述机器人设置所述机械学习装置，所述机械学习装置能够与至少一个其他机械学习装置相连接，并与至少一个所述其他机械学习装置之间相互交换或者共享机械学习的结果。可以是所述机械学习装置存在于云服务器或者雾服务器上。根据本专利技术涉及的第二实施方式，提供一种机器人系统，具有：机器人控制装置、由所述机器人控制装置控制的所述机器人、以及上述的第一实施方式的机械学习装置。可以是所述机器人系统还具有：照相机，其能够观测所述手臂的摇动以及所述手臂的动作轨迹的长度的数据，所述照相机包括第一照相机、第二照相机以及第三照相机中的至少一个照相机，其中，所述第一照相机安装于所述机器人的所述手臂，所述第二照相机安装于配置在所述机器人的周边的周边机器人的所述手臂，所述第三照相机设置于所述机器人的周边。所述机器人可以是点焊机器人。根据本专利技术涉及的第三实施方式，是一种学习机器人的动作程序的机械学习方法，将所述机器人手臂的摇动以及所述机器人手臂的动作轨迹的长度中的至少一个作为状态变量来进行观测，将所述机器人执行处理的周期时间作为判定数据来接受，根据所述状态变量以及所述判定数据，学习所述机器人的动作程序。可以是所述机器人的动作程序的学习包括：根据所述状态变量以及所述判定数据来计算回报；以及根据所述状态变量、所述判定数据以及所述回报来更新价值函数，该价值函数决定所述机器人的动作程序的价值。附图说明图1是示意性地表示本专利技术涉及的机械学习装置的一实施方式的框图。图2是表示本专利技术涉及的机器人系统的一实施方式的框图。图3是表示本专利技术涉及的机械学习装置的一实施例的框图。图4是示意性地表示神经元模型的图。图5是示意性地表示将图4所示的神经元组合构成的三层神经网络的图。图6是表示图3所示的机械学习装置中的处理的一例的流程图。图7是表示图3所示的机械学习装置中的处理的其他示例的流程图。图8是用于对机器人系统中的机器人手臂的轨迹进行说明的图。具体实施方式以下，参照附图对本专利技术涉及的机械学习装置、机器人系统以及机械学习方法的实施方式进行详细描述。图1是示意性地表示本专利技术涉及的机械学习装置的一实施方式的框图。如图1所示，本实施方式的机械学习装置例如通过强化学习来进行机器人动作程序的学习而输出修正后的动作程序，机械学习装置包含人工智能20。该机械学习装置例如可以设置于各机器人(1)的机器人控制装置(边缘)，也可以设置于具有多个机器人(机器人系统)的每个工场(例如，雾服务器(fogsever))、或者经由互联网等通信线路与多个工场相连接的云服务器。此外，针对各机器人设置的机械学习装置例如可以设为：能够与至少一个其他机械学习装置相连接，并与该至少一个其他机械学习装置之间相互交换或者共享机械学习的结果。人工智能(AI：ArtificialIntelligence)20例如像后述那样，通过多层结构的神经网络等而实现，接收来自照相机12、12’、12a的信息(图像信息)、机器人执行处理的周期时间、机器人手臂的摇动、以及机器人手臂的动作轨迹的长度这样的数据来进行学习(强化学习)，输出修正(学习)后的动作程序。即，通过其学习到的动作程序来修正示教，使得例如能够抑制周期时间的长度等，并且机器人手臂和安装于手臂的设备等不与作业对象和周边设备碰撞。图2是表示本专利技术涉及的机器人系统的一实施方式的框图。如图2所示，本实施方式的机器人系统包含机器人1以及机械学习装置2。另外，机械学习装置2如上所述例如可以设置本文档来自技高网...

【技术保护点】
一种机械学习装置，其学习机器人的动作程序，其特征在于，该机械学习装置具有：状态观测部，其将所述机器人的手臂的摇动以及所述机器人的手臂的动作轨迹的长度中的至少一个作为状态变量来进行观测；判定数据取得部，其将所述机器人执行处理的周期时间作为判定数据来接受；以及学习部，其根据所述状态观测部的输出以及所述判定数据取得部的输出，学习所述机器人的动作程序。

【技术特征摘要】
2016.09.16 JP 2016-1822331.一种机械学习装置，其学习机器人的动作程序，其特征在于，该机械学习装置具有：状态观测部，其将所述机器人的手臂的摇动以及所述机器人的手臂的动作轨迹的长度中的至少一个作为状态变量来进行观测；判定数据取得部，其将所述机器人执行处理的周期时间作为判定数据来接受；以及学习部，其根据所述状态观测部的输出以及所述判定数据取得部的输出，学习所述机器人的动作程序。2.根据权利要求1所述的机械学习装置，其特征在于，根据由照相机拍摄到的图像或者来自机器人控制装置的数据，来观测所述手臂的摇动以及所述手臂的动作轨迹的长度的数据，解析来自所述机器人控制装置的数据或者由所述照相机拍摄到的图像，来取得所述周期时间。3.根据权利要求1或2所述的机械学习装置，其特征在于，所述状态观测部还将所述手臂的位置、速度以及加速度中的至少一个作为状态变量来进行观测。4.根据权利要求1～3中任一项所述的机械学习装置，其特征在于，所述机械学习装置还具有：意图决定部，其根据所述学习部学习到的所述机器人的动作程序，决定所述机器人的动作。5.根据权利要求1～4中任一项所述的机械学习装置，其特征在于，所述学习部具有：回报计算部，其根据所述状态观测部的输出以及所述判定数据取得部的输出来计算回报；以及价值函数更新部，其根据所述状态观测部的输出、所述判定数据取得部的输出以及所述回报计算部的输出来更新价值函数，该价值函数决定所述机器人的动作程序的价值。6.根据权利要求5所述的机械学习装置，其特征在于，所述回报计算部在所述周期时间长时设定负回报，在所述周期时间短时设定正回报。7.根据权利要求5或6所述的机械学习装置，其特征在于，所述回报计算部在所述手臂的摇动大时设定负回报，在所述手臂的摇动小时设定正回报，所述回报计算部在所述...

【专利技术属性】
技术研发人员：户田俊太郎，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本,JP