信息处理装置及系统和方法、计算机程序以及建筑机械制造方法及图纸

本发明专利技术的目的在于提供一种能够用简单的结构来估计作业部的移动速度的作业机械的信息处理装置及系统和方法、计算机程序以及建筑机械。信息处理装置(10)具备存储部(30)、图像信息获取部(12)以及速度估计部(20e)。存储部(30)存储有对应信息，该对应信息是将作业机械(100)的作业部(40)的参照图像的数据(Gs)和作业机械(100)的作业部(40)的姿势的数据(Ks)相对应而生成的。图像信息获取部(12)获取作业机械(100)的作业部(40)的图像的数据(Gj)，以与参照图像的数据(Gs)进行比较。速度估计部(20e)基于由图像信息获取部(12)获取到的图像的数据(Gj)以及对应信息，来生成与作业机械(100)的作业部(40)的速度有关的速度信息(Ve)。

【技术实现步骤摘要】
信息处理装置及系统和方法、计算机程序以及建筑机械
本专利技术涉及一种信息处理装置、信息处理系统、信息处理方法、计算机程序以及建筑机械。
技术介绍
已知一种具备用于拍摄作业装置的摄像机的建筑机械。例如，专利文献1中记载了一种建筑机械，该建筑机械具备：摄像机，其设置在回转体上，用于拍摄作业装置；角度检测部，其用于检测相对角度；以及姿势确定部，其用于确定姿势。该建筑机械根据基于摄像机的图像提取出的各连杆的边缘来检测连杆之间的相对角度，并基于该相对角度来确定作业装置相对于回转体的姿势。现有技术文献专利文献专利文献1：日本特开2017-053627号公报
技术实现思路
专利技术要解决的问题本专利技术人们对具备由液压等动力进行驱动的动臂、斗杆以及附属构件(attachment)的建筑机械得出以下认识。某建筑机械利用动力对由动臂和斗杆等构成的臂机构进行驱动，从而使安装于臂机构的铲斗等附属构件动作来进行规定的施工。例如，在对地面进行施工时，期望按照设计图在短时间内高效地进行正确的施工。但是，在使附属构件移动时，如果其移动速度过快，则过冲变大，定位精度降低。反之，如果移动速度过慢，则移动时间变长，作业效率降低。因此，基于提高附属构件的移动精度的观点，需要探测附属构件的移动速度来进行精密的机体控制。为了探测移动速度，考虑在臂机构以及附属构件的各部设置位置传感器，根据其探测的结果的每单位时间的变化来估计速度。但是，在该结构中，结构因设置传感器及其布线而变复杂。另外，要额外地花费传感器和布线的成本，因此在成本方面也是不利的。基于探测移动速度的观点，不能说专利文献1中记载的建筑机械充分地应对了该课题。这样的课题不限于在上述的建筑机械中产生，在其它种类的作业机械中也可能产生。本专利技术是鉴于这样的课题而完成的，其目的之一在于提供一种能够用简单的结构来估计作业部的移动速度的作业机械的信息处理装置。用于解决问题的方案为了解决上述课题，本专利技术的某个方式的信息处理装置具备：存储部，其存储有对应信息，该对应信息是将作业机械的作业部的参照图像的数据和作业机械的作业部的姿势的数据相对应而生成的；获取部，其获取作业机械的作业部的图像的数据，以与参照图像的数据进行比较；以及速度估计部，其基于对应信息以及由获取部获取到的图像的数据，来生成与作业机械的作业部的速度有关的速度信息。此外，以上的任意的组合、将本专利技术的结构要素或表现在方法、装置、程序、记录有程序的瞬态性或非瞬态性的存储介质以及系统等之间相互置换而得到的方式，作为本专利技术的方式也是有效的。专利技术的效果根据本专利技术，能够提供一种能够用简单的结构来估计作业部的移动速度的作业机械的信息处理装置。附图说明图1是概要性地示出具备第一实施方式的信息处理装置的作业机械的侧视图。图2是概要性地示出图1的信息处理装置的框图。图3是用于说明图1的作业机械的作业部的姿势的说明图。图4是示出图1的信息处理装置的学习数据的图。图5是用于说明图1的信息处理装置的姿势估计处理的说明图。图6是用于说明图1的信息处理装置的速度估计处理和加速度估计处理的说明图。图7是示出图1的信息处理装置的姿势信息、速度信息以及加速度信息的一例的图。图8是概要性地示出图1的信息处理装置的异常探测部的框图。图9是概要性地示出图1的信息处理装置的外观探测部的框图。图10是示出图1的信息处理装置的动作的流程图。图11是示出图1的信息处理装置的动作的流程图。图12是示出图1的信息处理装置的动作的流程图。图13是示出图1的信息处理装置的动作的流程图。图14是概要性地示出使用了第五实施方式的信息处理系统的作业机械的框图。附图标记说明10：信息处理装置；12：图像信息获取部；14：环境信息获取部；16：姿势信息获取部；20：控制部；20e：速度估计部；20f：加速度估计部；22：模型生成部；24c：异常判定部；26c：外观判定部；30：存储部；32：模型存储部；40：作业部；42：动臂；44：斗杆；46：铲斗；62：作业机械控制部；100：作业机械；1000：建筑机械。具体实施方式下面，基于优选的实施方式，参照各附图来说明本专利技术。在实施方式及变形例中，对相同或等同的结构要素、构件标注相同的附图标记，并适当地省略重复的说明。另外，为了易于理解，将各附图中的构件的尺寸适当地放大、缩小地示出。另外，在各附图中，省略对在说明实施方式上不重要的一部分构件地进行表示。另外，包括第一、第二等序数的用语是为了说明多种结构要素而使用的，该用语仅用于将一个结构要素与其它结构要素相区分的目的，结构要素不受该用语限定。[第一实施方式]参照附图来对本专利技术的第一实施方式的作业机械的信息处理装置10的结构进行说明。图1是概要性地示出具备第一实施方式的信息处理装置10的作业机械100的侧视图。图2是概要性地示出信息处理装置10的框图。信息处理装置10具备图像信息获取部12、环境信息获取部14、姿势信息获取部16、控制部20以及存储部30。信息处理装置10具有机器学习时和非机器学习时的通常的动作时(下面称为“非学习动作时”)。信息处理装置10在机器学习时，能够基于作业机械100的作业部40的各部的学习图像信息和学习姿势信息来生成姿势估计模型。该姿势估计模型例示了对应信息。信息处理装置10在非学习动作时，能够基于实时的图像信息和姿势估计模型来估计作业部40的姿势。作业机械100能够基于由信息处理装置10估计出的作业部40的姿势来控制作业部40的动作。图像信息获取部12获取作业部40的图像的数据。环境信息获取部14获取与作业机械100的周围环境有关的信息。姿势信息获取部16获取与作业部40的姿势有关的数据(下面称为“姿势的数据”)。控制部20执行与姿势估计模型的生成和作业部40的姿势估计有关的各种数据处理。存储部30用于存储由控制部20参照或更新的数据。首先，对作业机械100的结构进行说明，其它结构在后面叙述。本实施方式的作业机械100是使铲斗46移动来进行作业的建筑机械，作为所谓的动力铲(Powershovel)发挥功能。作业机械100具有下部行驶部36、上部车体部34、臂机构48以及铲斗46。在本实施方式中，臂机构48和铲斗46构成作业部40。下部行驶部36构成为能够通过无限轨道等沿规定方向行驶。上部车体部34搭载于下部行驶部36。上部车体部34和作业部40构成为能够通过回转驱动部60相对于下部行驶部36绕回转轴La回转。回转驱动部60例如能够由回转电动机(未图示)和回转齿轮(未图示)构成。在上部车体部34上设置有操纵室38。在操纵室38中设置有用于操纵作业部40的操作部54。当从操作部54输入操作时，多个液压阀58与该操作相应地进行打开关闭。与液压阀58的打开关闭相应地，向多个液压缸56送出由液压泵(未图示)供给的本文档来自技高网...

【技术保护点】
1.一种信息处理装置，具备：/n存储部，其存储有对应信息，该对应信息是将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的；/n获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及/n速度估计部，其基于所述对应信息和所述图像的数据，来生成与所述作业机械的作业部的速度有关的速度信息。/n

【技术特征摘要】
20190910 JP 2019-1648101.一种信息处理装置，具备：
存储部，其存储有对应信息，该对应信息是将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的；
获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及
速度估计部，其基于所述对应信息和所述图像的数据，来生成与所述作业机械的作业部的速度有关的速度信息。


2.根据权利要求1所述的信息处理装置，其特征在于，
所述获取部构成为与所述作业机械的作业部一体地回转。


3.根据权利要求1或2所述的信息处理装置，其特征在于，
还具有估计部，该估计部基于所述图像的数据和所述对应信息来估计所述作业机械的作业部的姿势。


4.根据权利要求1至3中的任一项所述的信息处理装置，其特征在于，
所述存储部存储姿势估计模型，该姿势估计模型是根据所述参照图像的数据和所述姿势的数据、通过机器学习来生成的。


5.根据权利要求1至4中的任一项所述的信息处理装置，其特征在于，
所述速度估计部基于在具有时间差的多个时刻由所述获取部获取到的多个图像的数据以及所述时间差，来生成所述速度信息。


6.根据权利要求5所述的信息处理装置，其特征在于，
还具备加速度估计部，该加速度估计部基于由所述速度估计部生成的多个速度信息以及所述时间差，来生成与所述作业机械的作业部的加速度有关的加速度信息。


7.根据权利要求1至6中的任一项所述的信息处理装置，其特征在于，
还具备异常判定部，该异常判定部基于由所述获取部获取到的所述图像的数据和用于控制所述作业机械的作业部的动作的控制信号，来判定所述作业机械的作业部的动作异常。


8.根据权利要求1至7中的任一项所述的信息处理装置，其特征在于，
还具备外观判定部，该外观判定部基于由所述获取部获取到的所述图像的数据和正常状态下的所述作业机械的作业部的图像的数据，来判定所述作业机械的作业部的外观异常。


9.一种信息处理装置，具备：
存储部，其存储有姿势估计模型，该姿势估计模型是根据作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据、通过机器学习来生成的；
获取部，其构成为与所述作业机械的作业部一体地回转，用于获取所述作业机械的作业部的图像的数据，以与所述参...

【专利技术属性】
技术研发人员：西田裕平，志垣富雄，大前谦，
申请(专利权)人：纳博特斯克有限公司，
类型：发明
国别省市：日本;JP