图像处理装置和图像处理方法制造方法及图纸

本发明专利技术的一个方案的图像处理装置(10)具备获取部(151)和推定部(152)。获取部(151)获取对散装的工件(W1a、W1b)进行拍摄而得到的第一图像和第二图像。推定部(152)生成所述第一图像的特征量与第二图像的特征量的匹配图，针对所述第一图像和所述第二图像分别推定作为目标的各工件的位置、姿势以及类别分类得分，并基于使用所述匹配图而得到的匹配结果和位置的推定结果来推定所述工件位置。置的推定结果来推定所述工件位置。置的推定结果来推定所述工件位置。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法


[0001]本专利技术涉及一种图像处理装置和图像处理方法。

技术介绍

[0002]已知一种为了用机械臂等抓持散装的多个对象物(工件)而对工件的三维位置和姿势进行识别的技术。此时，通过使用三维测量仪，能对工件的三维位置和姿势进行识别。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2019－058960号公报

技术实现思路

[0006]专利技术所要解决的问题
[0007]然而，三维测量仪价格高昂，因此大量引入工厂等会耗费成本。因此，优选的是，根据由普通摄像机等拍摄装置拍摄到的二维图像来识别对象物的位置、姿势。
[0008]本专利技术以上述问题为一个例子，其目的在于提供一种推定对象物的位置的图像处理装置和图像处理方法。
[0009]用于解决问题的方案
[0010]本专利技术的一个方案的图像处理装置具备获取部和推定部。获取部获取对散装的工件进行拍摄而得到的第一图像和第二图像。推定部生成所述第一图像的特征量与第二图像的特征量的匹配图，针对所述第一图像和所述第二图像分别推定作为目标的各工件的位置、姿势、类别分类得分，基于使用所述匹配图而得到的匹配结果和位置的推定结果来推定所述工件位置。
[0011]专利技术效果
[0012]根据本专利技术的一个方案，能通过图像处理来推定对象物的位置。
附图说明
[0013]图1是表示安装有第一实施方式的图像处理装置的物体抓持系统的一个例子的图。
[0014]图2是表示第一实施方式的物体抓持系统的结构的一个例子的框图。
[0015]图3是表示学习处理的一个例子的流程图。
[0016]图4是表示对象物的三维数据的一个例子的图。
[0017]图5是表示配置有多个对象物的虚拟空间的捕捉图像的一个例子的图。
[0018]图6是表示与机械臂的控制相关的处理的一个例子的图。
[0019]图7是表示与机械臂的控制相关的处理的另一个例子的图。
[0020]图8是表示第一实施方式的检测模型的一个例子的图。
[0021]图9是表示由第一实施方式的特征检测层(u1)输出的特征图的一个例子的图。
[0022]图10是表示第一实施方式的对象物的位置和姿势的推定结果的一个例子的图。
[0023]图11是表示第一实施方式的对象物的抓持位置的推定结果的另一个例子的图。
[0024]图12是表示由第一实施方式的立体摄像机拍摄到的散装图像的一个例子的图。
[0025]图13是表示第一实施方式的散装图像与匹配图的关系的一个例子的图。
[0026]图14是表示第一实施方式的推定处理的一个例子的流程图。
[0027]图15是表示第一实施方式的推定处理的一个例子的图。
[0028]图16是变形例的包含托盘的散装图像的一个例子的图。
[0029]图17是表示变形例的位置偏移推定模型的一个例子的图。
[0030]图18是表示变形例的位置偏移推定模型的另一个例子的图。
具体实施方式
[0031]以下，参照附图对实施方式的图像处理装置和图像处理方法进行说明。需要说明的是，本专利技术不受本实施方式限定。此外，有时候附图中的各元件的尺寸关系、各元件的比例等会与实际不同。有时候附图彼此之间也会包括彼此的尺寸关系、比例不同的部分。此外，一个实施方式、变形例中所记载的内容原则上也同样地适用于其他实施方式、变形例。
[0032](第一实施方式)
[0033]第一实施方式中的图像处理装置例如在物体抓持系统1中被使用。图1是表示安装有第一实施方式的图像处理装置的物体抓持系统的一个例子的图。图1所示的物体抓持系统1具备未图示的图像处理装置10、摄像机20以及机械臂30。摄像机20例如设于能拍摄机械臂30和由机械臂30抓持的作为对象物的散装的工件41、42等的双方的位置。摄像机20例如拍摄工件41、42的图像和机械臂30并将其输出给图像处理装置10。需要说明的是，机械臂30和散装的工件41、42等也可以用不同的摄像机来拍摄。如图1所示，第一实施方式的摄像机20中使用了例如公知的立体摄像机等能拍摄多个图像的摄像机。图像处理装置10使用从摄像机20输出的图像来推定工件41、42等的位置和姿势。图像处理装置10基于推定出的工件41、42等的位置和姿势来输出对机械臂30的动作进行控制的信号。机械臂30基于从图像处理装置10输出的信号来进行抓持工件41、42等的动作。需要说明的是，图1中公开了多个不同种类的工件41、42等，但工件的种类也可以为一种。在第一实施方式中，对工件为一种的情况进行说明。此外，工件41、42等配置为位置和姿势不规则。如图1所示，例如，多个工件也可以配置为在俯视下重叠。此外，工件41、42是对象物的一个例子。
[0034]图2是表示第一实施方式的物体抓持系统的结构的一个例子的框图。如图2所示，图像处理装置10通过网络NW以可通信的方式与摄像机20和机械臂30连接。此外，如图2所示，图像处理装置10具备通信I/F(接口)11、输入I/F12、显示器13、存储电路14以及处理电路15。
[0035]通信I/F11对通过网络NW实现的与外部装置的数据输入输出的通信进行控制。例如，通信I/F11由网卡、网络适配器、网络接口控制器(NIC：Network Interface Controller)等实现，接收从摄像机20输出的图像的数据，并且发送向机械臂30输出的信号。
[0036]输入I/F12与处理电路15连接，将接收自图像处理装置10的管理者(未图示)的输入操作转换为电信号并向处理电路15输出。例如，输入I/F12为开关按钮、鼠标、键盘、触摸
面板等。
[0037]显示器13与处理电路15连接，显示从处理电路15输出的各种信息和各种图像数据。例如，显示器13由液晶监视器、CRT(阴极射线显像管：Cathode Ray Tube)监视器、触摸面板等实现。
[0038]存储电路14例如由存储器等存储装置实现。存储电路14中存储有由处理电路15执行的各种程序。此外，存储电路14中临时存储有处理电路15执行各种程序时使用的各种数据。存储电路14具有机械(深度)学习模型141。而且，机械(深度)学习模型141具备神经网络结构141a和学习参数141b。神经网络结构141a使用了例如图8的卷积神经网络b1这样的公知的网络，为后述的图15所示的网络结构。学习参数141b例如是卷积神经网络的卷积滤波器的权重，为了推定对象物的位置和姿势而被学习，是要进行优化的参数。神经网络结构141a也可以设置于推定部152。需要说明的是，以学习完成模型为例对本专利技术中的机械(深度)学习模型141进行说明，但不限于此。需要说明的是，以下有时候会将机械(深度)学习模型141简单地记为“学习模型141”。
[0039]学习模型141用于根据从摄像机20输出的图像来推定工件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其特征在于，具有：获取部，获取对散装的工件进行拍摄而得到的第一图像和第二图像；以及推定部，生成所述第一图像的特征量与所述第二图像的特征量的匹配图，针对所述第一图像和所述第二图像分别推定作为目标的各工件的位置、姿势以及类别分类得分，并基于使用所述匹配图而得到的匹配结果和位置的推定结果来推定所述工件位置。2.根据权利要求1所述的图像处理装置，其特征在于，所述获取部为立体摄像机，所述推定部计算从所述立体摄像机到所述工件的深度。3.根...

【专利技术属性】
技术研发人员：中野芳宏，
申请(专利权)人：美蓓亚三美株式会社，
类型：发明
国别省市：