控制装置以及机器学习装置制造方法及图纸

本发明专利技术提供一种控制装置以及机器学习装置。控制装置所具备的机器学习装置将表示按照示教位置进行机器人的控制时的该示教位置的校正量的示教位置校正量数据和表示进行机器人的控制时的该机器人所具备的各电动机的干扰值的数据作为表示环境的当前状态的状态变量而进行观测，此外，取得表示进行机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果的判定数据。并且，使用该观测到的状态变量和所取得的判定数据，将机器人的示教位置的校正量与电动机干扰值数据关联起来进行学习。

【技术实现步骤摘要】
控制装置以及机器学习装置
本专利技术涉及一种控制装置以及机器学习装置，尤其涉及将示教位置最佳化的控制装置以及机器学习装置。
技术介绍
一般的工业用机器人按照预先制作的动作程序被驱动，或者，以通过由示教盒(Teachingpendant)等预先示教的示教点的方式驱动机器人。即，沿着预先决定的轨道驱动机器人。作为与机器人的示教动作有关的现有技术，例如在日本特开平02-284886号公报中公开了如下专利技术：针对来自控制装置的定位目标值与实际的位置数据的偏差进行统计处理，决定用于消除该偏差的校正量。以工件的设置、取出已加工完的工件、向加工机安装工具等为目的，利用工业用机器人。通过工业用机器人将工件设置于加工机的情况下，例如如上述那样，通过对机器人示教示教点，来示教从机器人握持工件起至将该工件设置于加工区域的夹具为止的动作。例如，如图9所示，在凸型的夹具上设置筒状工件的情况下，在使工件的孔平行于夹具方向的状态下，从接近位置(ApproachPosition)向目标位置与夹具方向水平地下降，从而可以将工件设置于夹具上。然而，对机器人示教动作的作业者是示教初学者的情况下，无法准确定位到接近位置，或接近位置中的工件的方向倾斜，或从接近位置向目标位置下降的方向发生偏差，从而工件被夹具卡住，或工件和夹具接触而产生摩擦，从而有时在握持工件的机器人的腕轴等产生干扰(负荷)。进行这样的示教时，每当根据被示教的动作反复进行工件的设置时，向机器人的各关节施加负荷，而成为在持续运转中发生故障、或机器人发生故障的原因。
技术实现思路
因此，本专利技术的目的在于，提供一种能够使示教位置最佳化的控制装置以及机器学习装置以便不会向机器人的机械手施加多余的干扰。在本专利技术的控制装置中，机器学习针对向驱动机器人的各关节的电动机施加的干扰的、该机器人的示教位置的校正量，根据机器学习到的结果，对示教位置进行校正并控制以便在机器人向示教位置移动时抑制干扰，从而解决上述问题。本专利技术的一方式的控制装置决定按照包含在示教数据中的示教位置进行机器人的控制时的该示教位置的校正量，并具备学习按照所述示教位置进行所述机器人的控制时的该示教位置的校正量的机器学习装置。并且，所述机器学习装置具备：状态观测部，其将示教位置校正量数据和电动机干扰值数据作为表示环境的当前状态的状态变量而进行观测，其中，示教位置校正量数据表示按照所述示教位置进行所述机器人的控制时的该示教位置的校正量，电动机干扰值数据表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值；判定数据取得部，其取得表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人的示教位置的校正量与所述电动机干扰值数据关联起来进行学习。所述状态观测部还将包含基于示教数据的示教位置的示教位置数据作为所述状态变量而进行观测，所述学习部将所述状态观测部观测到的数据与所述电动机干扰值数据关联起来进行学习。所述判定数据中，除了进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果外，还包括最终所述机器人移动的示教位置的适当与否判定结果、传感器检测出的值的适当与否判定结果、以及按照校正后的示教位置进行所述机器人的控制时的周期时间的适当与否判定结果中的至少任一个。所述学习部具备：回报计算部，其求出与所述适当与否判定结果相关联的回报；以及价值函数更新部，其使用所述回报，更新表示针对进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的、所述示教位置的校正量的价值的函数。所述学习部以多层构造对所述状态变量和所述判定数据进行运算。所述控制装置还具备：决策部，其根据所述学习部的学习结果，输出基于按照所述示教位置进行所述机器人的控制时的该示教位置的校正量的指令值。所述学习部使用针对多个机器人的每一个得到的所述状态变量以及所述判定数据，来学习按照该多个机器人的每一个的、所述示教位置进行所述机器人的控制时的该示教位置的校正量。所述机器学习装置能够存在于云服务器中。本专利技术的其他方式的机器学习装置学习按照包含在示教数据中的示教位置进行机器人的控制时的该示教位置的校正量。该机器学习装置具备：状态观测部，其将示教位置校正量数据和电动机干扰值数据作为表示环境的当前状态的状态变量而进行观测，其中，示教位置校正量数据表示按照所述示教位置的进行所述机器人的控制时的该示教位置的校正量，电动机干扰值数据表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值；判定数据取得部，其取得表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人的示教位置的校正量与所述电动机干扰值数据关联起来进行学习。根据本专利技术，可以根据学习结果对机器人的示教位置进行校正，来抑制向驱动该机器人的各关节的电动机施加的干扰值，防止机器人的故障发生等的伤害。附图说明图1是第一实施方式的控制装置的概要性的硬件结构图。图2是第一实施方式的控制装置的概要性的功能框图。图3是表示控制装置的一方式的概要性的功能框图。图4是表示机器学习方法的一方式的概要性的流程图。图5A是说明神经元的图。图5B是说明神经网络的图。图6是第二实施方式的控制装置的概要性的功能框图。图7是表示具备多个机器人的系统的一方式的概要性的功能框图。图8是表示具备多个机器人的系统的其他方式的概要性的功能框图。图9是说明现有技术中的示教的问题点的图。具体实施方式图1是表示第一实施方式的控制装置和由该控制装置控制的机床的主要部分的概要性的硬件结构图。控制装置1例如能够安装为，对进行工件的设置、已加工完的工件的取出、向加工机安装工件等的工业用机器人(未图示)进行控制的控制装置。本实施方式的控制装置1所具备的CPU11是对控制装置1进行整体控制的处理器。CPU11经由总线20读出存储在ROM12中的系统程序，并按照该系统程序对控制装置1整体进行控制。RAM13中临时存储临时的计算数据、显示数据以及操作者经由后述的示教操作盘60输入的各种数据等。非易失性存储器14构成为，例如通过未图示的电池进行备份等，而即使控制装置1的电源被断开也保持存储状态的存储器。非易失性存储器14中存储有经由接口19从示教操作盘60输入的示教数据、经由未图示的接口输入的机器人控制用程序等。存储在非易失性存储器14中的程序、各种数据也可以在执行时/利用时在RAM13中展开。此外，预先在ROM12中写入用于执行与机器人控制、示教位置的示教相关的处理等的各种系统程序(包括用于控制与后述的机器学习装置100的交换的系统程序)。示教操作盘60是具备显示器、手柄、硬键盘等的手动数据输入装置，经由接口19接受来自控制装置1的信息并显示，并且将从手柄、硬键盘等输入的脉冲、指令、各种数据传递给CPU11。用于控制机器人所具备的关节等的轴的轴控制电路30接受来自CPU11的轴的移动指令量，并将轴的指令输出到伺服放大器40。伺服放大器40接受该指令，驱动使机器人所具备的轴移动的伺服电动机50。轴的伺服电动机50内置有位置/速度检测器，并将来自该位置/速度检测器的位置/速度反馈信号反馈给轴控本文档来自技高网...

【技术保护点】
1.一种控制装置，其决定按照包含在示教数据中的示教位置进行机器人的控制时的该示教位置的校正量，其特征在于，该控制装置具备：机器学习装置，其学习按照所述示教位置进行所述机器人的控制时的该示教位置的校正量，所述机器学习装置具备：状态观测部，其将示教位置校正量数据和电动机干扰值数据作为表示环境的当前状态的状态变量而进行观测，其中，示教位置校正量数据表示按照所述示教位置进行所述机器人的控制时的该示教位置的校正量，电动机干扰值数据表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值；判定数据取得部，其取得表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人的示教位置的校正量与所述电动机干扰值数据关联起来进行学习。

【技术特征摘要】
2017.06.07 JP 2017-1121911.一种控制装置，其决定按照包含在示教数据中的示教位置进行机器人的控制时的该示教位置的校正量，其特征在于，该控制装置具备：机器学习装置，其学习按照所述示教位置进行所述机器人的控制时的该示教位置的校正量，所述机器学习装置具备：状态观测部，其将示教位置校正量数据和电动机干扰值数据作为表示环境的当前状态的状态变量而进行观测，其中，示教位置校正量数据表示按照所述示教位置进行所述机器人的控制时的该示教位置的校正量，电动机干扰值数据表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值；判定数据取得部，其取得表示进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人的示教位置的校正量与所述电动机干扰值数据关联起来进行学习。2.根据权利要求1所述的控制装置，其特征在于，所述状态观测部还将包含基于示教数据的示教位置的示教位置数据作为所述状态变量而进行观测，所述学习部将所述状态观测部观测到的数据与所述电动机干扰值数据关联起来进行学习。3.根据权利要求1或2所述的控制装置，其特征在于，所述判定数据中，除了进行所述机器人的控制时的该机器人所具备的各电动机的干扰值的适当与否判定结果外，还包括最终所述机器人移动的示教位置的适当与否判定结果、由传感器检测出的值的适当与否判定结果以及按照校正后的示教位置进行所述机器人的控制时的周期时间的适当与否判定结果中的至少任一个。4.根据权利要求1至3中任一项所述的控制装置，其特征在于，所述学习部具备：回...

【专利技术属性】
技术研发人员：上田哲士，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本,JP