控制装置以及机器学习装置制造方法及图纸

本发明专利技术提供一种控制装置以及机器学习装置。控制装置具有的机器学习装置观测表示输送机的输送动作的状态的输送动作数据和表示输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量，并且，取得表示输送物的输送速度的适当与否判定结果的输送速度判定数据和表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据。并且，使用这些状态变量和判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。

Control devices and machine learning devices

The invention provides a control device and a machine learning device. The machine learning device of the control device observes the transport action data representing the state of the conveyor's transport action and the state data of the conveyor representing the state of the conveyor as the state variable representing the current state of the environment, and obtains the transport speed determination data representing the determination result of the conveyor's transport speed and the appropriate expression of the state change of the conveyor. The judging data of the state of the conveyor with or without the judging result is used as the judging data. Furthermore, using these state variables and decision data, the transport action data and the state data of the transport object are associated for learning.

【技术实现步骤摘要】
控制装置以及机器学习装置
本专利技术涉及输送机的控制装置以及机器学习装置，尤其涉及将输送机控制成能够在没有引起输送物的落下或撞击，洒落、变形、位置偏移的范围更高速地将输送物进行输送的输送机的控制装置以及机器学习装置。
技术介绍
以往，使用传送带或自动输送车等输送机来输送物品。例如，在日本特开2017-065877号公报和日本特开平10-194456号公报中公开了利用传送带来输送物品的输送机。此外，在日本特开平07-061422号公报、登录技术第2594275号公报和日本特开2016-069050号公报中公开了对填充了液体的容器进行输送的输送机。并且，在日本特开平09-156497号公报中公开了对工厂内的货物进行输送的自动输送车。一般情况下，若想要高速地将输送物进行输送，则在加减速时对输送物施加了较强的撞击，或在输送物是注入了液体的容器时液体洒落，或在输送物是易碎的物体时该输送物的形状崩溃，或在输送物是堆积的物体时输送物崩溃，或输送物从装载位置发生偏移。因此，在以往的输送机中，设定适当的输送速度后将输送物进行输送，以便不使输送物发生上述那样的不良。另一方面，有时根据输送物的输送状态，适当加速/减速来对输送速度进行调整，由此可以更高速地对输送物进行输送。例如，在输送物的输送机上的装载状态或当前位置、因输送机而输送物处于上坡这样状态的情况下，有时即使向更高的速度加速输送物的状态也不会发生不良。但是，在现有技术中，由于没有这样进行考虑了输送物的状态的动态的速度调整，因此存在无法实现充分的输送速度的高效化。
技术实现思路
因此，本专利技术的目的在于提供一种将输送机控制成能够在不对输送物引起不良的范围内更高速地对输送物进行输送的控制装置以及机器学习装置。本专利技术的控制装置以机器学习针对输送机输送的输送物的状态的输送机的输送动作的控制，根据机器学习的结果，将输送机的输送动作控制成在不对输送物产生不良的范围内更高速地对输送物进行输送，由此来解决上述课题。本专利技术的一方式的控制装置控制将输送物进行输送的输送机，所述控制装置具有具有：机器学习装置，其学习针对输送物的状态的输送机的输送动作的控制。并且，该机器学习装置具有：状态观测部，其观测表示所述输送机的输送动作的状态的输送动作数据以及表示所述输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量；判定数据取得部，其取得表示所述输送物的输送速度的适当与否判定结果的输送速度判定数据以及表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。所述输送动作数据还可以包含所述输送物的姿势变更的状态。所述状态观测部还观测表示所述输送机或者所述输送物的位置的输送位置数据作为状态变量。所述状态观测部还观测表示所述输送物的性质的输送物性质数据作为状态变量。所述学习部具有：回报计算部，其求出与所述适当与否判定结果相关的回报；以及价值函数更新部，其使用所述回报，来更新表示针对所述输送物的状态的所述输送机的输送动作的价值的函数。所述学习部可以通过多层结构来运算所述状态变量和所述判定数据。所述机器学习装置还具有：决策部，其根据所述学习部的学习结果，输出决定所述输送机的输送动作的控制的指令值。所述学习部使用针对多个所述控制装置的每一个获得的所述状态变量和所述判定数据，来学习该多个控制装置的每一个中的所述输送机的输送动作的控制。所述机器学习装置存在于云服务器。本专利技术的一方式的机器学习装置学习将输送物进行输送的输送机的输送动作中的、针对所述输送物的状态的所述输送机的输送动作的控制，其中，所述机器学习装置具有：状态观测部，其观测表示所述输送机的输送动作的状态的输送动作数据以及表示所述输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量；判定数据取得部，其取得表示所述输送物的输送速度的适当与否判定结果的输送速度判定数据以及表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。本专利技术的一方式的已学习模型，使计算机发挥如下功能：输出将输送物进行输送的输送机的输送动作中的、针对所述输送物的状态的所述输送机的输送动作的控制行为的选择价值，其中，所述已学习模型包含：价值函数，其针对根据输送动作数据以及输送物状态数据定义的环境的状态，输出在该环境的状态下能够选择的所述输送机的输送动作的控制行为的选择价值，其中，输送动作数据是表示所述输送机的输送动作的状态的数据，输送物状态数据是表示所述输送物的状态的数据。并且，所述价值函数是根据在预定环境的状态下执行预定的所述输送机的输送动作的控制行为时的所述输送物的输送速度的适当与否判定结果以及所述输送物的状态变化的是否与否判定结果，来学习所述预定环境的状态下的所述预定的控制行为的选择价值的函数。并且，该已学习模型使计算机发挥如下功能：使用所述价值函数，以环境的状态和所述输送机的输送动作的控制行为为输入来进行运算，并根据运算结果输出针对该环境的状态的所述输送机的输送动作的控制行为的价值。所述价值函数通过多层结构的神经网络被安装。本专利技术的一方式的蒸馏模型，使计算机发挥如下功能：输出将输送物进行输送的输送机的输送动作中的、针对所述输送物的状态的所述输送机的输送动作的控制行为的选择价值，，其中，所述蒸馏模型包含：价值函数，其是针对根据输送动作数据以及输送物状态数据定义的环境的状态，学习从该已学习模型输出的该环境的状态下能够选择的所述输送机的输送动作的控制行为的选择价值的函数，其中，输送动作数据是表示输入到其他已学习模型的所述输送机的输送动作的状态的数据，输送物状态数据是表示所述输送物的状态的数据。并且，使计算机发挥如下功能：使用所述价值函数，以环境的状态和所述输送机的输送动作的控制行为为输入来进行运算，并根据运算结果输出针对该环境的状态的所述输送机的输送动作的控制行为的价值。通过本专利技术可以将输送机的输送动作控制成能够在不对输送物引起不良的范围内更高速地对输送物进行输送。附图说明图1是第一实施方式涉及的输送机的控制装置的概略硬件结构图。图2是第一实施方式涉及的输送机的控制装置的概略功能框图。图3是表示输送机的输送动作的状态的示例的图。图4是表示输送机的控制装置的一方式的概略功能框图。图5是表示机器学习方法的一方式的概略流程图。图6A是说明神经元的图。图6B是说明神经网络的图。图7是第二实施方式涉及的输送机的控制装置的概略功能框图。图8是表示组入了输送机的控制装置的系统的一方式的概略功能框图。图9是表示组入了输送机的控制装置的系统的其他方式的概略功能框图。图10是例示控制装置控制的输送机的图。图11是例示控制装置控制的输送机的图。图12是例示控制装置控制的输送机的图。图13是例示控制装置控制的输送机的图。图14是例示控制装置控制的输送机的图。图15是例示控制装置控制的输送机的图。图16是例示控制装置控制的输送机的图。具体实施方式图1是表示第一实施方式涉及的、输送机的控制装置的主要部分的概略硬件结构图。输送机的控制装置1例如可以作为对将输送物进本文档来自技高网...

【技术保护点】
1.一种控制装置，其控制将输送物进行输送的输送机，其特征在于，所述控制装置具有：机器学习装置，其学习针对所述输送物的状态的所述输送机的输送动作的控制，所述机器学习装置具有：状态观测部，其观测表示所述输送机的输送动作的状态的输送动作数据以及表示所述输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量；判定数据取得部，其取得表示所述输送物的输送速度的适当与否判定结果的输送速度判定数据以及表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。

【技术特征摘要】
2017.08.18 JP 2017-1582281.一种控制装置，其控制将输送物进行输送的输送机，其特征在于，所述控制装置具有：机器学习装置，其学习针对所述输送物的状态的所述输送机的输送动作的控制，所述机器学习装置具有：状态观测部，其观测表示所述输送机的输送动作的状态的输送动作数据以及表示所述输送物的状态的输送物状态数据作为表示环境的当前状态的状态变量；判定数据取得部，其取得表示所述输送物的输送速度的适当与否判定结果的输送速度判定数据以及表示输送物的状态变化的适当与否判定结果的输送物状态判定数据作为判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述输送动作数据与所述输送物状态数据关联起来进行学习。2.根据权利要求1所述的控制装置，其特征在于，所述输送动作数据还包含所述输送物的姿势变更的状态。3.根据权利要求1或2所述的控制装置，其特征在于，所述状态观测部还观测表示所述输送机或者所述输送物的位置的输送位置数据作为状态变量。4.根据权利要求1～3中任一项所述的控制装置，其特征在于，所述状态观测部还观测表示所述输送物的性质的输送物性质数据作为状态变量。5.根据权利要求1或2所述的控制装置，其特征在于，所述学习部具有：回报计算部，其求出与所述适当与否判定结果相关的回报；以及价值函数更新部，其使用所述回报，来更新表示针对所述输送物的状态的所述输送机的输送动作的价值的函数。6.根据权利要求1～5中任一项所述的控制装置，其特征在于，所述学习部通过多层结构来运算所述状态变量和所述判定数据。7.根据权利要求1～6中任一项所述的控制装置，其特征在于，所述机器学习装置还具有：决策部，其根据所述学习部的学习结果，输出决定所述输送机的输送动作的控制的指令值。8.根据权利要求1～7中任一项所述的控制装置，其特征在于，所述学习部使用针对多个所述控制装置的每一个获得的所述状态变量和所述判定数据，来学习该多个控制装置的每一个中的所述输送机的输送动作的控制。9.根据权利要求1～8中任一项所述的控制装置，其特征在于，所述机器学习装置存在于云服务器。10.一种机器学习装置，其学习将输送物进行输送的输送机的输送动作中的、针对所述输送物的状态的所述输送机的输送动作的控制，其特征在于，所述机器学习装置具有：状态观测部...

【专利技术属性】
技术研发人员：佐藤明树，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：日本,JP