学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统技术方案

高精度地进行作业分类。学习完成的作业分类推断模型(180)的制造方法包括如下步骤：取得学习用数据(188A)，该学习用数据(188A)包含从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型时的特定视点图像(206)、以及针对特定视点图像(206)附加标注的表示作业机械的动作的内容的作业分类结果(204)；以及利用学习用数据(188A)，使作业分类推断模型(180)进行学习。推断模型(180)进行学习。推断模型(180)进行学习。

【技术实现步骤摘要】
【国外来华专利技术】学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统


[0001]本公开涉及学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统。

技术介绍

[0002]轮式装载机在能够沿上下方向移动的动臂的前端具备能够相对于动臂旋转的铲斗。在轮式装载机的挖掘作业中，通过使车辆前进而将铲斗压入砂土堆，并且使动臂上升。由此，砂土被挖取至铲斗上。
[0003]以往，提出有如下一种轮式装载机，其具备用于检测动臂相对于水平方向的倾斜角的传感器、以及用于检测铲斗相对于动臂的倾斜角的传感器(例如，参照日本特开2018
‑
135649号公报(专利文献1))。
[0004]在先技术文献
[0005]专利文献
[0006]专利文献1：日本特开2018
‑
135649号公报

技术实现思路

[0007]专利技术要解决的课题
[0008]在轮式装载机的情况下，构成为，搭载有检测工作装置的姿态的传感器，能够根据由传感器检测到的工作装置的姿态来完成作业分类。另一方面，在小型机种等销售价格较便宜的机种中未搭载传感器，无法利用传感器来检测工作装置的姿态。
[0009]轮式装载机相对于各种对象物一边移动一边进行作业，因此外部干扰较多，难以高精度地进行基于图像处理的作业分类。
[0010]在本公开中，提供一种能够进行高精度的作业分类的、学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统。
[0011]用于解决课题的手段
[0012]根据本公开的一个方案，提供一种学习完成的作业分类推断模型的制造方法。制造方法包括以下的处理。在第一处理中，取得学习用数据，该学习用数据包含从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型而得的二维图像、以及针对二维图像附加标注的表示作业机械的动作的内容的作业分类。在第二处理中，利用学习用数据使作业分类推断模型进行学习。
[0013]根据本公开的一个方案，提供一种用于使求出作业机械的作业分类的作业分类推断模型进行学习的学习用数据。学习用数据包含：从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型而得的二维图像；以及针对二维图像附加标注的表示作业机械的动作的内容的作业分类。
[0014]根据本公开的一个方案，提供一种用于使求出作业机械的作业分类的作业分类推
断模型进行学习的学习用数据。学习用数据包含：表示作业机械的作业中的立体形状的三维模型；表示假想地观察三维模型的视点的位置的视点位置；以及针对三维模型以及视点位置附加标注的表示作业机械的动作的内容的作业分类。
[0015]根据本公开的一个方案，提供一种由计算机执行的方法。该方法包括以下的处理。在第一处理中，取得显示作业机械的图像数据。在第二处理中，向通过上述的制造方法所制造出的学习完成的作业分类推断模型输入图像数据，从而推断作业分类。
[0016]根据本公开的一个方案，提供一种具备作业机械和计算机的包括作业机械的系统。计算机具有通过上述的制造方法所制造出的学习完成的作业分类推断模型。计算机取得显示作业机械的图像数据，使用作业分类推断模型并根据图像数据，输出推断出作业分类的推断作业分类。
[0017]专利技术效果
[0018]根据本公开，能够高精度地进行作业分类。
附图说明
[0019]图1是示出作为作业机械的一例的轮式装载机的侧视图。
[0020]图2是示出包括轮式装载机的整体系统的结构的概略框图。
[0021]图3是说明轮式装载机的挖掘装入作业中的动作的示意图。
[0022]图4是示出轮式装载机的挖掘装入作业中的动作的判别方法的表。
[0023]图5是示出包括作业机械的系统中所包括的计算机的结构的示意图。
[0024]图6是示出出厂前的轮式装载机的系统结构的框图。
[0025]图7是示出学习完成的作业分类推断模型的制造方法的流程图。
[0026]图8是示出用于使作业分类推断模型进行学习的处理的第一概略图。
[0027]图9是示出用于使作业分类推断模型进行学习的处理的第二概略图。
[0028]图10是示出出厂的轮式装载机的系统结构的框图。
[0029]图11是示出在出厂后为了推断作业分类而由计算机执行的处理的流程图。
[0030]图12是示出与作业分类推断模型的学习相关的变形例的概略图。
具体实施方式
[0031]以下，基于附图对实施方式进行说明。在以下的说明中，对相同部件标注有相同的附图标记。它们的名称以及功能也相同。因此，不重复关于它们的详细说明。
[0032]<整体结构>
[0033]在实施方式中，作为作业机械的一例对轮式装载机1进行说明。图1是作为基于实施方式的作业机械的一例的轮式装载机1的侧视图。
[0034]如图1所示，轮式装载机1具备车身框架2、工作装置3、行驶装置4、以及驾驶室5。由车身框架2、驾驶室5等构成轮式装载机1的车身(作业机械主体)。在轮式装载机1的车身安装有工作装置3以及行驶装置4。
[0035]行驶装置4是使轮式装载机1的车身行驶的装置，包括行驶轮4a、4b。轮式装载机1通过驱动行驶轮4a、4b旋转而能够自动行驶，并能够使用工作装置3来进行期望的作业。
[0036]车身框架2包括前框架2a和后框架2b。前框架2a和后框架2b安装为能够相互向左
右方向摆动。以横跨前框架2a和后框架2b的方式安装有一对转向缸11。转向缸11是液压缸。转向缸11在来自转向泵(未图示)的工作油的作用下伸缩，由此轮式装载机1的行进方向左右变更。
[0037]在本说明书中，将轮式装载机1直行行驶的方向称作轮式装载机1的前后方向。在轮式装载机1的前后方向上，将相对于车身框架2而配置有工作装置3的一侧称作前方向，将与前方向相反的一侧称作后方向。轮式装载机1的左右方向是指俯视下与前后方向正交的方向。向前方向观察时的左右方向的右侧、左侧分别为右方向、左方向。轮式装载机1的上下方向是指与由前后方向以及左右方向确定的平面正交的方向。在上下方向上，地面所在的一侧为下侧，天空所在的一侧为上侧。
[0038]在前框架2a安装有工作装置3以及一对行驶轮(前轮)4a。工作装置3配设于车身的前方。工作装置3由来自工作装置泵25(参照图2)的工作油驱动。工作装置泵25是由发动机21驱动、并通过排出的工作油来使工作装置3工作的液压泵。工作装置3包括动臂14、以及作为作业工具的铲斗6。铲斗6配置于工作装置3的前端。铲斗6是以能够装卸的方式装配于动臂14的前端的附属装置的一例。根据作业的种类，附属装置能够替换为抓钩、吊钩、或者犁爪等。
[0039]动臂14的基端部通过动臂销9而旋转自如地安装于前框架2a。铲斗6通过位于动臂14的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种学习完成的作业分类推断模型的制造方法，其中，所述学习完成的作业分类推断模型的制造方法包括如下步骤：取得学习用数据，该学习用数据包含从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型而得的二维图像、以及针对所述二维图像附加标注的表示所述作业机械的动作的内容的作业分类；以及利用所述学习用数据，使所述作业分类推断模型进行学习。2.根据权利要求1所述的学习完成的作业分类推断模型的制造方法，其中，所述作业机械具有作业机械主体、以及安装于所述作业机械主体的工作装置，所述学习完成的作业分类推断模型的制造方法还包括如下步骤：取得表示所述工作装置相对于所述作业机械主体的姿态的姿态数据；以及基于所述姿态数据，制作所述三维模型。3.根据权利要求2所述的学习完成的作业分类推断模型的制造方法，其中，所述工作装置包括连结于所述作业机械主体的动臂、以及连结于所述动臂的附属装置。4.根据权利要求3所述的学习完成的作业分类推断模型的制造方法，其中，所述姿态数据包含所述动臂相对于所述作业机械主体的角度、以及所述附属装置相对于所述动臂的角度。5.根据权利要求1至4中任一项所述的学习完成的作业分类推断模型的制造方法，其中，所述学习用数据还包含与所述作业机械的动作相关的操作数据。6.根据权利要求5所述的学习完成的作业分类推断模型的制造方法，其中，所述操作数据包含与所述作业机械的行驶相关的数据。7.根据权利要求1至6中任一项所述的学习完成的作业分类推断模型的制造方法，其中，所述学习包括如下步骤：使用所述作业分类推断模型，求出根据...

【专利技术属性】
技术研发人员：新田目启敬，
申请(专利权)人：株式会社小松制作所，
类型：发明
国别省市：