控制装置以及机器学习装置制造方法及图纸

本发明专利技术提供控制装置以及机器学习装置，控制装置所具备的机器学习装置将机器人所具备的各电动机的移动速度及其移动速度的调整量、机器人的前端的目标速度以及与机器人的前端的最近的移动路径有关的数据作为表示环境的当前状态的状态变量进行观测，并且，获取表示机器人的前端的移动速度的适当与否判定结果的判定数据。而且，使用观测到的状态变量以及获取到的判定数据，将机器人所具备的各电动机的移动速度的调整量与目标速度数据、移动速度数据以及移动路径数据关联起来进行学习。

【技术实现步骤摘要】
控制装置以及机器学习装置
本专利技术涉及控制装置以及机器学习装置，特别是涉及使示教速度优化的控制装置以及机器学习装置。
技术介绍
一般工业用的机器人按预先制作的动作程序进行驱动，或者以通过被示教器等预先示教的示教点的方式使机器人以示教速度进行驱动。即，机器人沿预定的轨道以预定速度进行驱动。作为与机器人的示教动作有关的现有技术，例如在日本特开平06-285402号公报中公开了为了使机器人进行密封作业，而对该机器人示教密封动作(示教点、示教速度等)的技术。在上述日本特开平06-285402号公报所公开的技术中，根据机器人的移动速度对密封剂供给泵的电动机的转动速度进行控制来向密封枪提供密封剂，由此在对象物的每个单位距离中涂敷的密封剂的量与机器人的移动速度无关地被保持为固定的值，以使凸起部的膜厚保持为固定。然而，这种具备压力控制功能的泵价格高昂，从而导致系统整体的成本上升。为了抑制系统整体的成本，考虑控制成一边将机器人的前端具备的密封枪的移动速度保持为固定一边移动示教点。如果能够进行这种控制，则能够使用仅可控制开启(ON)/关闭(OFF)的廉价的泵来降低系统整体的成本。然而，机器人的前端的移动路径或移动速度被多个电动机的移动综合决定，在对一个电动机的移动施加变更时，机器人的前端的移动如何变化依赖于其它电动机的移动状态或加减速状态。因此，调整成一边将机器人的前端的移动速度维持为固定一边按移动路径进行移动对于熟练的操作员来说也是较难的，需要反复进行试错，从而存在操作员付出大量劳力这种问题。
技术实现思路
因此，本专利技术的目的在于提供一种能够调整为机器人的前端的示教速度与规定的目标速度一致的控制装置以及机器学习装置。在本专利技术的控制装置中，对与机器人的前端的目标速度、该机器人所具备的各电动机的当前速度以及该机器人的前端的移动路径相对的、该机器人所具备的各电动机的移动速度的调整量进行机器学习，根据该机器学习的结果进行控制，以使在机器人移动至示教位置时，机器人的前端的移动速度与目标速度一致，由此解决上述问题。本专利技术的第一方式的控制装置对涂敷密封材料的机器人所具备的各电动机的移动速度进行调整，该控制装置具备机器学习装置，该机器学习装置对所述机器人所具备的各电动机的移动速度的调整量进行学习。所述机器学习装置具备：状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示环境的当前状态的状态变量进行观测；判定数据获取部，其获取表示所述机器人的前端的移动速度的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。在所述判定数据中除了包含所述机器人的前端的移动速度的适当与否判定结果以外，还能够包含机器人的前端的位置的适当与否判定结果。所述学习部能够具备：回报计算部，其求出与所述适当与否判定结果相关联的回报；以及价值函数更新部，其使用所述回报来更新与所述机器人的前端的目标速度、所述机器人所具备的各电动机的移动速度以及所述机器人的前端的最近的移动路径相对的、表示所述机器人所具备的各电动机的移动速度的调整量的价值的函数。所述学习部能够以多层结构对所述状态变量和所述判定数据进行运算。所述控制装置还能够具备决策部，该决策部根据所述学习部的学习结果，输出基于所述机器人所具备的各电动机的移动速度的调整量的指令值。所述学习部使用针对多个机器人分别得到的所述状态变量和所述判定数据，能够对该多个机器人的每个所述机器人所具备的各电动机的移动速度的调整量进行学习。所述机器学习装置也可以存在于云服务器中。本专利技术的第二方式的机器学习装置对涂敷密封材料的机器人所具备的各电动机的移动速度的调整量进行学习。该机器学习装置具备：状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示机器人所述所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示环境的当前状态的状态变量进行观测；判定数据获取部，其获取表示所述机器人的前端的移动速度的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。根据本专利技术，根据学习结果对机器人的示教速度进行调整，由此能够将该机器人的前端的移动速度保持为固定，即使不使用价格昂贵的泵也能够将凸起部的膜厚保持为固定。附图说明图1是第一实施方式的控制装置的概略硬件结构图。图2是第一实施方式的控制装置的概略功能框图。图3是表示控制装置的一个方式的概略功能框图。图4是表示机器学习方法的一个方式的概略流程图。图5A是说明神经元的图。图5B是说明神经网络的图。图6是第二实施方式的控制装置的概略功能框图。图7是表示安装了控制装置的系统的一个方式的概略功能框图。图8是表示安装了控制装置的系统的其它方式的概略功能框图。具体实施方式图1是表示第一实施方式的控制装置以及被该控制装置控制的机床的主要部分的概略硬件结构图。控制装置1例如能够安装为控制密封材料的涂敷等的工业用机器人(未图示)的控制装置。本实施方式的控制装置1所具备的CPU11为整体控制控制装置1的处理器。CPU11经由总线20读取存储于ROM12的系统程序，按该系统程序对控制装置1整体进行控制。在RAM13中暂时存储临时计算数据、显示数据以及操作员经由后述的示教操作面板60输入的各种数据等。非易失性存储器14例如构成为使用未图示的电池进行备用等，即使控制装置1的电源被关闭也能保持存储状态的存储器。在非易失性存储器14中存储有经由接口18从示教操作面板60输入的示教数据、经由未图示的接口输入的机器人控制用程序等。存储于非易失性存储器14的程序或各种数据在执行时/使用时也可以在RAM13中展开。另外，在ROM12中预先写入了用于执行与机器人的控制、示教位置的示教有关的处理等的各种系统程序(包括用于控制与后述的机器学习装置100之间的交换的系统程序)。用于控制机器人所具备的关节等的轴的轴控制电路30接收来自CPU11的轴的移动指令量，将轴的指令输出到伺服放大器40。伺服放大器40接收该指令，对移动机器人所具备的轴的伺服电动机50进行驱动。轴的伺服电动机50内置有位置/速度检测器，将来自该位置/速度检测器的位置/速度反馈信号反馈至轴控制电路30，进行位置/速度的反馈控制。此外，在图1的硬件结构图中，轴控制电路30、伺服放大器40、伺服电动机50仅示出各一个，但是，实际上准备成为控制对象的机器人中具备的轴的数量。例如在具备六个轴的机器人的情况下，对六个轴分别准备轴控制电路30、伺服放大器40、伺服电动机50。示教操作面板60为具备显示器、手柄、硬件密钥等的手动数据输入装置，经由接口18接收来自控制装置1的信息进行显示，并且将从本文档来自技高网...

【技术保护点】
1.一种控制装置，其对涂敷密封材料的机器人所具备的各电动机的移动速度进行调整，其特征在于，所述控制装置具备：机器学习装置，其对所述机器人所具备的各电动机的移动速度的调整量进行学习，所述机器学习装置具备：状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示环境的当前状态的状态变量进行观测；判定数据获取部，其获取表示所述机器人的前端的移动速度的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。

【技术特征摘要】
2017.06.07 JP 2017-1122091.一种控制装置，其对涂敷密封材料的机器人所具备的各电动机的移动速度进行调整，其特征在于，所述控制装置具备：机器学习装置，其对所述机器人所具备的各电动机的移动速度的调整量进行学习，所述机器学习装置具备：状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示环境的当前状态的状态变量进行观测；判定数据获取部，其获取表示所述机器人的前端的移动速度的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。2.根据权利要求1所述的控制装置，其特征在于，在所述判定数据中除了包含所述机器人的前端的移动速度的适当与否判定结果以外，还包含机器人的前端的位置的适当与否判定结果。3.根据权利要求1或者2所述的控制装置，其特征在于，所述学习部具备：回报计算部，其求出与所述适当与否判定结果相关联的回报；以及价值函数更新部，其使用所述回报来更新与所述机器人的前端的目标速度、所述机器人所具备的各电动机的移动速度以及所述机器人的前端的最近的移动路径相对的、表示所述机器人所...

【专利技术属性】
技术研发人员：上田哲士，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本,JP