机器人作业系统、以及机器人作业系统的控制方法技术方案

本申请涉及机器人作业系统、以及机器人作业系统的控制方法。课题在于，使用搬运机提高由机器人进行作业时的性能。解决手段在于，信息处理装置基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的搬运机的控制参数，信息处理装置基于上述组合，从上述作业对象候选中决定作业对象，并基于所决定的作业对象的搬运机最优控制参数控制搬运机，基于所决定的作业对象的位置与该作业对象的搬运机最优控制参数，生成机器人的控制计划，根据生成的控制计划控制机器人。

Robot Operating System and Control Method of Robot Operating System

【技术实现步骤摘要】
机器人作业系统、以及机器人作业系统的控制方法
本专利技术涉及机器人作业系统、以及机器人作业系统的控制方法。
技术介绍
在专利文献1种记载了如下内容：“公开了学习从包括分散堆积的状态的杂乱放置的多个工件中，利用手部取出工件的机器人的动作的机械学习装置。该机械学习装置具备：状态量观测部，观测机器人的状态量，该机器人的状态量包括取得每个工件的三维映射的三维计测器的输出数据；动作结果取得部，取得利用手部取出工件的机器人的取出动作的结果；学习部，接收状态量观测部的输出以及动作结果取得部的输出，将包括对机器人指令工件的取出动作的指令数据在内的操作量、与机器人的状态量以及取出动作的结果建立关联来学习。”现有技术文献专利文献专利文献1：日本特开2017－30135号公报非专利文献1：H.Deng,Z.XiaandJ.Xiong,“RoboticManipulationPlanningUsingDynamicRRT,”Proc.ofThe2016IEEEInt.Conf.onReal-timeComputingandRobotics,pp.500-504,2016.
技术实现思路
专利技术所要解决的课题汽车等的机械部件的组装、电气部件的组装、商品(食品、药品、化妆品等)的分类、区分等，使用机器人使作业自动化的系统被广泛用于各种用途。在这样的系统中，为了将部件、商品等物品搬运至能够通过机器人进行作业的场所而较多使用搬运机器人、传送带等搬运机。然而以往，在这样的系统中，在由机器人进行作业时，为了机器人进行作业而需要使搬运机暂时静止，该部分的作业消耗时间，这成为使系统整体的性能降低的要因。这里在上述的专利文献1中，记载了通过机械学习以无人类介入的方式学习将杂乱放置的工件取出时的机器人的最优动作。然而，关于为了提高系统整体的性能而考虑搬运机的动作，无任何记载。本专利技术鉴于上述观点而做成，其目的在于提供能够提高使用搬运机并利用机器人进行作业时的性能的机器人作业系统、以及机器人作业系统的控制方法。用于解决课题的方法用于实现上述目的的本专利技术之一是机器人对利用搬运机搬运的作业对象进行作业的系统，具备具有处理器以及存储装置的信息处理装置，所述机器人作业系统具备通过所述处理器读出并执行存储在存储装置中的程序而实现的以下各部：识别处理部，基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时，将针对该作业对象的作业的性能最大化的所述搬运机的控制参数；作业对象决定部，基于所述组合，从所述作业对象候选中决定作业对象；搬运机控制部，基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及机器人控制计划生成部，基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。另外，本申请公开的课题及其解决方法根据具体实施方式部分以及附图而明确。专利技术效果根据本专利技术，能够提高使用搬运机并利用机器人进行作业时的性能。附图说明图1是表示机器人作业系统1的第1例的概略性构成的图。图2是表示机器人作业系统1的第2例的概略性构成的图。图3是信息处理装置的硬件构成的一例。图4是表示信息处理装置具备的主要功能以及数据的图。图5是说明机器人控制处理的流程图。图6是说明识别处理的第1实现方法所用的卷积神经网络(ConvolutionalNeuralNetwork)的图。图7是表示将拍摄图像分割成网格时的输出层的具体例的图。图8是说明第1实现方法中的学习数据的生成方法的流程图。图9是说明第1实现方法中的学习数据的生成方法的图。图10是说明信息处理装置通过模拟自动地生成学习数据的情况的图。图11是说明第1实现方法中的学习模型生成处理的流程图。图12是说明第1实现方法中的总差值计算处理的流程图。图13是说明识别处理的第2实现方法所用的卷积神经网络的图。图14是表示将拍摄图像分割成网格时的输出层的具体例的图。图15是说明第2实现方法中的学习数据的生成方法的流程图。图16是说明第2实现方法中的个别学习模型生成处理的流程图。图17是说明第2实现方法中的总差值计算处理的流程图。具体实施方式以下，参照附图对实施方式进行说明。另外，在以下的说明中，有时对于相同或者类似的构成赋予共同的附图标记并省略重复的说明。在图1中示出了作为实施方式示出的机器人作业系统1的第1例。如该图所示，机器人作业系统1包括信息处理装置10、操作器20、搬运机30、以及拍摄装置40。信息处理装置10与操作器20、搬运机30以及拍摄装置40能够通信地连接，进行这些装置之间的数据的收发以及这些装置的控制。第1例的机器人作业系统1是所谓的拣选系统，该拣选系统进行下述作业：将在载置于搬运机30的箱2中收容的多个物品5从箱2的上方开口一个个取出并向移动目的地6(作业台、其他箱子、搬运输送机等)载置。机器人作业系统1也能够在搬运机30处于搬运中的状态(运动中的状态)下进行上述作业。机器人作业系统1从收容于箱2的多个物品5(作业对象候选)中决定一个成为拣选对象(作业对象)的物品5，对决定的物品5进行作业(拣选)。作业通过操作器20把持为了高效地进行该作业而设定于物品5的表面的把持点位置来进行。操作器20例如是机器臂或工业用机器人等机器人。另外，在图1中仅描绘出一个操作器20，但机器人作业系统1也可以包括与信息处理装置10能够通信地连接的多个操作器20。操作器20例如具有以多轴多关节型构成的臂21以及手22。操作器20的各关节部23的驱动轴受能够由信息处理装置10控制的驱动机构(伺服马达等)控制。操作器20例如在臂21的前端与手22之间具有6轴的力觉传感器。力觉传感器检测对手22施加的过负荷。在操作器20例如从箱2中取出分散堆积的物品5的情况下，若检测出由于手22或者被手22把持的物品5与箱2的壁面、其他物品5干扰(碰撞或者接触)而产生的过负荷，则信息处理装置10以释放检测出的过负荷的方式控制操作器20的驱动轴。力觉传感器检测作用于手22的力。在手22把持物品5的情况下，物品5的重量作用于手22。例如信息处理装置10在执行物品5的拣选后，若力觉传感器的检测值超过规定的阈值，则判定为手22当前把持着物品5。也可以设为信息处理装置10使用触觉传感器等其他种类的传感器来判定手22当前是否把持着物品5。也可以设为信息处理装置10基于由照相机拍摄到的图像判定手22当前是否把持着物品5。此外在手22为吸附式手的情况下，信息处理装置10也可以根据压力计的计测结果判定是否把持着物品5。另外，手22只要能够把持物品5则能够采用各种形态。例如，手22既可以是通过开闭多个手指来把持物品5的类型，也可以是通过吸引来把持物品5的类型。搬运机30例如是自主搬运机器人、AI(人工智能：ArtificialIntelligence)搬运机器人、自主移动机器人等的所谓的搬运机器人。搬运机30例如将箱2(物品5)搬运至拍摄装置40能够拍摄的范围(以下，称作可拍摄范围)或操作器20能够进行作业的范围(以下，称作可作业范围)。搬运机30能够通过自主的控制主动地动作，或者通过利用从信息处理装置10发送来本文档来自技高网...

【技术保护点】
1.一种机器人作业系统，是机器人对由搬运机搬运的作业对象进行作业的系统，所述机器人作业系统具备具有处理器以及存储装置的信息处理装置，所述机器人作业系统具备通过所述处理器读出并执行存储在存储装置中的程序而实现的以下各部：识别处理部，基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的所述搬运机的控制参数；作业对象决定部，基于所述组合，从所述作业对象候选中决定作业对象；搬运机控制部，基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及机器人控制计划生成部，基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。

【技术特征摘要】
2018.03.02 JP 2018-0373401.一种机器人作业系统，是机器人对由搬运机搬运的作业对象进行作业的系统，所述机器人作业系统具备具有处理器以及存储装置的信息处理装置，所述机器人作业系统具备通过所述处理器读出并执行存储在存储装置中的程序而实现的以下各部：识别处理部，基于对包含由搬运机搬运的多个作业对象候选的区域进行拍摄而得的拍摄图像，求出所述作业对象候选的位置与搬运机最优控制参数的多个组合，该搬运机最优控制参数是在将所述作业对象候选设为作业对象时使针对该作业对象的作业的性能最大化的所述搬运机的控制参数；作业对象决定部，基于所述组合，从所述作业对象候选中决定作业对象；搬运机控制部，基于所决定的所述作业对象的所述搬运机最优控制参数，控制所述搬运机；以及机器人控制计划生成部，基于所决定的所述作业对象的位置与该作业对象的所述搬运机最优控制参数，生成所述机器人的控制计划。2.如权利要求1所述的机器人作业系统，所述作业对象决定部将所述组合中的所述性能为最大的所述作业对象候选，决定为作业对象。3.如权利要求1所述的机器人作业系统，所述性能是所述搬运机的搬运速度、所述作业的成功率、以及将所述搬运速度与所述成功率相乘而得的值中的至少任一个。4.如权利要求1至3中的任一项所述的机器人作业系统，所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置与所述搬运机最优控制参数的组合作为输出。5.如权利要求4所述的机器人作业系统，所述学习模型使用卷积神经网络而构成，所述学习模型的中间层通过将所述拍摄图像作为输入来赋予，从而输出多个所述作业对象候选的位置与所述作业对象候选各自的所述搬运机最优控制参数。6.如权利要求1至3中的任一项所述的机器人作业系统，所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述作业对象候选的位置、所述作业对象候选的所述搬运机最优控制参数与所述性能的组合作为输出。7.如权利要求6所述的机器人作业系统，所述学习模型使用卷积神经网络而构成，所述学习模型的中间层通过将所述拍摄图像作为输入来赋予，从而输出多个所述作业对象候选的位置、所述作业对象候选各自的所述搬运机最优控制参数、以及所述性能。8.如权利要求1至3中的任一项所述的机器人作业系统，所述识别处理部由通过对学习数据进行机械学习而生成的学习模型来实现，该学习模型将通过对包含多个作业对象候选的区域进行拍摄而取得的拍摄图像作为输入，并将所述...

【专利技术属性】
技术研发人员：坂井亮，木村宣隆，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP