机器人控制装置和用于控制机器人的方法制造方法及图纸

本发明专利技术涉及机器人控制装置和用于控制机器人的方法。根据实施例描述了一种针对多关节机器人的机器人控制装置，所述机器人具有多个被链接的机器人连杆，所述机器人控制装置具有：多个递归神经网络；输入层，所述输入层设立为给每个递归神经网络输送针对相应的机器人连杆的相应运动信息，其中每个递归神经网络都训练来，从输送给该递归神经网络的运动信息中确定相应的机器人连杆的位置状态，并且输出所述位置状态；和神经控制网络，该神经控制网络训练来，从由递归神经网络输出的和作为输入量输送给神经控制网络的位置状态中确定针对机器人连杆的控制量。

【技术实现步骤摘要】
机器人控制装置和用于控制机器人的方法
不同的实施例总体涉及机器人控制装置和用于控制机器人的方法。
技术介绍
例如在生产设施中，操作任务非常重要。在此，基本任务是，将机器人的操作机（例如夹具）开动到预先给定的目标状态中。机器人在此包括一系列被链接的关节，这些关节具有不同的自由度（针对英语DegreesOfFreedom的DOF）。存在不同的方案来解决该问题。基于强化学习（Reinforcement-Learning）方法的神经网络是用于控制一般自主的系统的可能性，所述神经网络也可以被用于控制多关节的机器人方法。在机器人控制中，大多使用显式坐标系（例如笛卡尔坐标或者球坐标），用于描述空间系统状态。A.Banino等人的出版物“Vector-basednavigationusinggrid-likerepresentationsinartificialagents”（Nature，2018年）描述了以生物学方式来激励的神经网络的应用，为了表示空间坐标，所述神经网络使用所谓的位置细胞（Place-Zellen）和网格细胞（Grid-Zellen），用于解决导航问题。
技术实现思路
本专利技术所基于的问题是，提供借助神经网络对多关节机器人的高效控制。具有权利要求1（对应于处于下面的第一实施例）和权利要求8（对应于处于下面的第八实施例）的特征的机器人控制装置和机器人控制方法能够实现，借助神经网络（也就是借助神经网络的控制的性能），以经过改进的方式计算针对多关节的物理系统（例如具有夹具或者操作机的机器人）的控制信号。这通过采用如下网络架构来实现：该网络架构产生针对位置状态的网格编码（GC），并且以此产生对于神经网络有用的针对空间坐标的图示。在下文说明了不同的实施例。第一实施例是一种针对多关节机器人的机器人控制装置，所述机器人具有多个被链接的机器人连杆（Roboterglidern），所述机器人控制装置具有：多个递归神经网络；输入层，该输入层设立为，给每个递归神经网络输送针对相应的机器人连杆的相应运动信息，其中每个递归神经网络都训练来，从输送给该递归神经网络的运动信息中确定相应的机器人连杆的位置状态，并且输出该位置状态；和神经控制网络，该神经控制网络训练来，从由递归神经网络输出的和作为输入量输送给神经控制网络的位置状态中，确定针对机器人连杆的控制量。第二实施例是根据第一实施例的机器人控制装置，其中每个递归神经网络都训练来，确定呈网格编码图示的位置状态，并且神经控制网络训练来，处理呈网格编码图示的位置状态。网格编码对于状态的路径整合是有利的，并且图示了也针对大距离（与最大网格大小相比为大）的度量（间距规格）。总的来看，为了由神经网络进一步处理，将空间状态图示为网格编码比直接的（例如笛卡尔图示）坐标图示是更有利的。第三实施例是根据第一实施例或者第二实施例的机器人控制装置，其中每个递归神经网络都具有神经网格细胞集合，并且每个递归神经网络和相应的网格细胞集合都被训练为使得，相应的机器人连杆的所确定的位置状态越靠近与每个网格细胞关联的空间网格的网格点，针对该网格的每个网格细胞就越活跃。第四实施例是根据第三实施例的机器人控制装置，其中对于每个递归神经网络，神经网格细胞集合都具有如下多个网格细胞：所述网格细胞与在空间上不同地来定向的网格关联。与在空间上不同地来定向的网格关联的多个网格细胞能够实现，明确地说明位置状态（例如在空间中的位置）。第五实施例是根据第一实施例至第四实施例之一的机器人控制装置，其中递归神经网络是长短期记忆（LongShort-TermMemory）网络和/或门控递归单元（GatedRecurrentUnit）网络。这种类型的递归网络使得能够高效地产生位置状态的网格编码。第六实施例是根据第一实施例至第五实施例之一的机器人控制装置，其中多个递归神经网络具有如下递归神经网络：该递归神经网络训练来，确定和输出机器人控制装置的终端执行器（Endeffektor）的位置状态；并且多个递归神经网络具有如下至少一个递归神经网络：所述至少一个递归神经网络训练来，确定和输出中间连杆的位置状态，所述中间连杆布置在机器人的底座与机器人的终端执行器之间。尤其是针对这种种类的多关节机器人（例如机器人臂），能够实现高效控制。第七实施例是根据第一实施例至第六实施例之一的机器人控制装置，该机器人控制装置具有神经位置确定网络，该神经位置确定网络包含多个递归神经网络，并且具有输出层，所述输出层设立为，确定机器人连杆的由递归神经网络输出的位置状态与针对所述位置状态的相应的允许的范围的偏差，并且其中神经控制网络训练来，此外从作为输入量输送给所述神经控制网络的偏差中确定控制量。以此，基于所估计的位置状态，物理系统要求和限制可以被表达为损失，并且物理系统要求和限制可以作为附加的输入而供控制网络支配。这使得控制网络能够，在执行期间考虑这样表达的系统要求。第八实施例是一种机器人控制方法，该机器人控制方法具有：在使用根据第一实施例至第七实施例之一的机器人控制装置的情况下来确定针对机器人连杆的控制量，和在使用所确定的控制量的情况下来控制机器人连杆的促动器。第九实施例是一种针对根据第一实施例至第七实施例之一的机器人控制装置的训练方法，该训练方法具有：训练每个递归神经网络，用于从针对相应的机器人连杆的运动信息中确定所述机器人连杆的位置状态；和训练控制网络，用于从输送给所述控制网络的位置状态中确定控制量。第十实施例是根据第九实施例的训练方法，该训练方法具有：通过强化学习来训练控制网络，其中由于损失而降低针对所确定的控制量的奖励，所述损失处罚机器人连杆的由控制量得到的位置状态与针对所述位置状态的相应的允许的范围的偏差。以此，基于所估计的位置状态，物理系统要求和限制可以被表达为损失，并且物理系统要求和限制在训练期间可以作为附加的输入而供控制网络支配。这使得控制网络能够，在该控制网络的训练期间考虑这样表达的系统要求，使得控制网络在以后的执行中（也就是在针对具体任务的机器人控制中）产生如下这种控制指令：所述控制指令与允许的位置状态范围一致。第十一实施例是一种计算机程序，该计算机程序具有程序指令，当由一个或者多个处理器来执行所述程序指令时，所述程序指令使所述一个或多个处理器执行根据第八实施例至第十实施例之一的方法。第十二实施例是一种计算机可读的存储介质，在所述计算机可读的存储介质上存储有程序指令，当由一个或者多个处理器来执行所述程序指令时，所述程序指令使所述一个或者多个处理器执行根据第八实施例至第十实施例之一的方法。附图说明本专利技术的实施例在图中图示出，并且在下文更详细地予以阐述。在附图中，遍及多个视图的相同的附图标记总体涉及相同的部分。这些附图并不一定是比例正确的，其中取而代之将重点总体置于图示出本专利技术的原理。图1示出了机器人装置。图2示出了多关节机器人的示意性实例，该多关节机器人具有多个被链接的机本文档来自技高网...

【技术保护点】
1.一种针对多关节机器人的机器人控制装置，所述机器人具有多个被链接的机器人连杆，所述机器人控制装置具有：/n多个递归神经网络；/n输入层，所述输入层设立为，给每个递归神经网络输送针对相应的机器人连杆的相应运动信息，/n其中每个递归神经网络都训练来，从输送给所述每个递归神经网络的运动信息中确定所述相应的机器人连杆的位置状态，并且输出所述位置状态；和/n神经控制网络，所述神经控制网络训练来，从由所述递归神经网络输出的和作为输入量输送给所述神经控制网络的位置状态中，确定针对所述机器人连杆的控制量。/n

【技术特征摘要】
20200109 DE 102020200165.01.一种针对多关节机器人的机器人控制装置，所述机器人具有多个被链接的机器人连杆，所述机器人控制装置具有：
多个递归神经网络；
输入层，所述输入层设立为，给每个递归神经网络输送针对相应的机器人连杆的相应运动信息，
其中每个递归神经网络都训练来，从输送给所述每个递归神经网络的运动信息中确定所述相应的机器人连杆的位置状态，并且输出所述位置状态；和
神经控制网络，所述神经控制网络训练来，从由所述递归神经网络输出的和作为输入量输送给所述神经控制网络的位置状态中，确定针对所述机器人连杆的控制量。


2.根据权利要求1所述的机器人控制装置，其中，每个递归神经网络都训练来，确定呈网格编码图示的所述位置状态；并且所述神经控制网络训练来，处理呈所述网格编码图示的所述位置状态。


3.根据权利要求1或者2所述的机器人控制装置，其中，每个递归神经网络都具有神经网格细胞集合，并且每个递归神经网络和相应的网格细胞集合都训练为使得，所述相应的机器人连杆的所确定的位置状态越靠近与每个网络细胞关联的空间网格的网格点，针对所述网格的每个网格细胞就越活跃。


4.根据权利要求3所述的机器人控制装置，其中，对于每个递归神经网络，所述神经网格细胞集合具有多个如下网格细胞：所述网格细胞与在空间上不同地定向的网格关联。


5.根据权利要求1至4中任一项所述的机器人控制装置，其中，所述递归神经网络是长短期记忆网络和/或门控递归单元网络。


6.根据权利要求1至5中任一项所述的机器人控制装置，其中，所述多个递归神经网络具有如下递归神经网络：该递归神经网络训练来，确定和输出所述机器人控制装置的终端执行器的位置状态；并且所述多个递归神经网络具有如下至少...

【专利技术属性】
技术研发人员：V·费舍尔，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE