控制方法、记录介质、用于制造产品的方法、以及系统技术方案

本发明专利技术公开了控制方法、记录介质、用于制造产品的方法、以及系统。用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法包括：获得与可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从目标图像提取目标特征点，目标特征点的信息具有自由度ψ；获得与可移动部分和对象物之间的当前位置关系对应的当前图像；通过图像处理从当前图像提取候选特征点；通过执行候选特征点和目标特征点之间的匹配处理从候选特征点提取与目标特征点相关联的当前特征点；以及通过使用基于匹配处理中当前特征点和目标特征点之间的匹配的匹配信息，生成用于以自由度n移动可移动部分的控制信号。部分的控制信号。部分的控制信号。

【技术实现步骤摘要】
控制方法、记录介质、用于制造产品的方法、以及系统


[0001]本专利技术涉及用于通过视觉伺服来控制包括可移动部分的装置的操作的控制方法等。

技术介绍

[0002]在诸如制造现场的各种领域中，已日益增加地引入了机器人。作为用于控制机器人的位置和姿势的方法，测量对象物的位置的改变作为视觉信息并且使用视觉信息作为反馈信息的视觉伺服。具体地，关于机器人和/或工作对象物，获得在用作目标的位置和姿势下捕获的目标图像和在当前的位置和姿势下捕获的当前图像，并且基于它们之间的差异控制机器人。这是有利的，因为不需要预先执行严格的校准，并且即使在机器人的实际操作与命令值之间存在差异的情况下也可以基于捕获的图像执行对准。
[0003]就其控制系统而言，存在大致两种视觉伺服。一种是基于位置的视觉伺服，其辨识对象物的当前位置并且将目标位置与当前位置之间的差异反馈给机器人。另一种是基于图像的视觉伺服，其提取当前图像中对象物的图像中包括的图像特征并且反馈其与目标图像中的图像特征的差异。在这些当中，在基于图像的视觉伺服中，图像特征偏差和机器人控制量通过使用图像雅可比行列式(Jacobian)彼此相关联。这种方法是有利的，因为不需要辨识对象物的位置和姿势，因此计算负荷小，并且因为识别误差不太可能包括在反馈信号中，因此可以以高的精度控制机器人。
[0004]日本专利特开No.2012
‑
254518公开了对包括标记的对象物进行成像、提取图像中的标记作为图像特征、以及执行视觉伺服控制的技术。
[0005]为了通过基于图像的视觉伺服执行适当的控制，需要从在当前的位置和姿势下捕获的当前图像适当地提取对象物的图形特征。然而，在当前成像条件下捕获的当前图像中，可能难以提取对象物的图形特征。例如，在不允许应用在图像中具有优异的可检测性的指示物(诸如标记)的物体或者在其外形中不具有显著的特征的物体是对象物的情况下，可能难以提取图形特征。如果没有提取到对象物的图形特征的一部分或全部，那么会发生不能生成用于控制机器人的适当的反馈信号并且执行错误控制或视觉伺服必须停止的问题。
[0006]因此，已存在对使得能够从捕获的图像稳定地获得适当地实现视觉伺服所需的信息的技术的需求。

技术实现思路

[0007]根据本专利技术的第一方面，一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；以及通过使用基于所
述匹配处理中所述当前特征点和所述目标特征点之间的匹配的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号。从所述目标图像提取的所述目标特征点的数量N满足N≥2
×
L，其中L表示满足M>(n+1)/ψ的最小整数M。
[0008]根据本专利技术的第二方面，一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；通过第一聚类处理将所述目标特征点分类到多个目标特征点集群中；对所述多个目标特征点集群中的每一个获得目标特征点集群代表信息；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；通过第二聚类处理将所述当前特征点分类到多个当前特征点集群中；对所述多个当前特征点集群中的每一个获得当前特征点集群代表信息；以及通过使用所述当前特征点集群代表信息和所述目标特征点集群代表信息之间的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号。从所述目标图像提取的所述目标特征点的数量N满足N>(n+1)/ψ。
[0009]根据本专利技术的第三方面，一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；通过使用由所述匹配处理获得的所述当前特征点和对所述目标特征点设置的优先次序对所述当前特征点进行校正；以及通过使用基于经校正的当前特征点和所述目标特征点之间的匹配的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号。从所述目标图像提取的所述目标特征点的数量N满足N>(n+1)/ψ。
[0010]本专利技术的另外的特征从以下参考附图对示例性实施例的描述将变得清楚。
附图说明
[0011]图1是根据第一实施例的机器人系统的图示其示意配置的示意图。
[0012]图2是图示第一实施例中设置目标特征点的处理的流程的流程图。
[0013]图3是图示第一实施例中使用目标特征点的信息通过视觉伺服控制来控制机器人的操作的处理的流程的流程图。
[0014]图4A是图示第一实施例中可以使用的用户接口画面的示例的图。
[0015]图4B图示了第一实施例中指示输出设备上显示的匹配结果的画面的示例。
[0016]图5A图示了第一实施例中获得的目标图像的示例。
[0017]图5B图示了第一实施例中从目标图像提取的特征点叠加在目标图像上的示例。
[0018]图5C图示了第一实施例中提取的目标特征点叠加在目标图像上的示例。
[0019]图6A图示了第一实施例中获得的当前图像的示例。
[0020]图6B图示了第一实施例中提取的候选特征点叠加在当前图像上的示例。
[0021]图6C图示了第一实施例中从候选特征点提取的当前特征点叠加在当前图像上的示例。
[0022]图6D是图示第一实施例中目标特征点与候选特征点之间的匹配处理的结果的图。
[0023]图7A图示了与传统的视觉伺服控制相关的目标图像的示例。
[0024]图7B图示了传统的视觉伺服控制中使用的目标特征点的示例。
[0025]图7C图示了传统的视觉伺服控制中提取的当前特征点的示例。
[0026]图7D是用于描述传统的视觉伺服控制中当前特征点与目标特征点之间的对应关系的图。
[0027]图8是根据第二实施例的机器人系统的图示其示意配置的示意图。
[0028]图9是图示第二实施例中设置目标特征点的处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法，所述控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；以及通过使用基于所述匹配处理中所述当前特征点和所述目标特征点之间的匹配的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号，其中，从所述目标图像提取的所述目标特征点的数量N满足N≥2
×
L，其中L表示满足M>(n+1)/ψ的最小整数M。2.根据权利要求1所述的控制方法，还包括：通过第一聚类处理将所述目标特征点分类到多个目标特征点集群中；对所述多个目标特征点集群中的每一个获得目标特征点集群代表信息；通过第二聚类处理将所述当前特征点分类到多个当前特征点集群中；以及对所述多个当前特征点集群中的每一个获得当前特征点集群代表信息，其中，所述匹配信息包括所述当前特征点集群代表信息和所述目标特征点集群代表信息。3.根据权利要求1所述的控制方法，其中，对提取的目标特征点设置优先次序，并且在所述匹配处理中，与所述优先次序中排名较高的目标特征点相关联的当前特征点被以较高的优先级提取。4.根据权利要求2所述的控制方法，其中，对所述目标特征点已被分类到的目标特征点集群设置优先次序，并且在所述匹配处理中，与所述优先次序中排名较高的目标特征点集群相关联的当前特征点集群被以较高的优先级获得。5.一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法，所述控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；通过第一聚类处理将所述目标特征点分类到多个目标特征点集群中；对所述多个目标特征点集群中的每一个获得目标特征点集群代表信息；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；通过第二聚类处理将所述当前特征点分类到多个当前特征点集群中；对所述多个当前特征点集群中的每一个获得当前特征点集群代表信息；以及
通过使用所述当前特征点集群代表信息和所述目标特征点集群代表信息之间的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号，其中，从所述目标图像提取的所述目标特征点的数量N满足N>(n+1)/ψ。6.一种用于通过视觉伺服对包括可移动部分的装置进行控制的控制方法，所述控制方法包括：获得与所述可移动部分和对象物之间的目标位置关系对应的目标图像；通过图像处理从所述目标图像提取目标特征点，所述目标特征点的信息具有自由度ψ；获得与所述可移动部分和所述对象物之间的当前位置关系对应的当前图像；通过图像处理从所述当前图像提取候选特征点；通过执行所述候选特征点和所述目标特征点之间的匹配处理从所述候选特征点提取与所述目标特征点相关联的当前特征点；通过使用由所述匹配处理获得的所述当前特征点和对所述目标特征点设置的优先次序对所述当前特征点进行校正；以及通过使用基于经校正的当前特征点和所述目标特征点之间的匹配的匹配信息，生成用于以自由度n移动所述可移动部分的控制信号，其中，从所述目标图像提取的所述目标特征点的数量N满足N>(n+1)/ψ。7.根据权利要求5或6所述的控制方法，其中，所述数量N满足N≥1+(n+1)/ψ。8.根据权利要求5或6所述的控制方法，其中，所述数量N满足N≥L+1，其中L表示满足M>(n+1)/ψ的最小整数M。9.根据权利要求5或6所述的控制方法，其中，所述数量N满足N≥2
×
L。10.根据权利要求1
‑
6中的任一项所述的控制方法，其中，从所述目标图像提取的所述目标特征点的所述数量N满足N≥3
×
L，其中L表示满足M>(n+1)/ψ的最小整数M。11.根据权利要求1至6中的任一项所述的控制方法，其中，所述数量N满足N≤L+40。12.根据权利要求1至6中的任一项所述的控制方法，其中，所述数量N满足N≤10
×
L。13.根据权利要求1至6中的任一项所述的控制方法，其中，n为6或7，并且ψ为2或3。14.根据权利要求2、4或5所述的控制方法，其中，所述多个目标特征点集群的数量k和所述目标特征点集群中的每一个具有的信息的自由度φ满足n+1≤φk≤ψN/2。15.根据权利要求2、4或5所述的控制方法，其中，所述目标特征点包括第一目标特征点，所述当前特征点包括在所述匹配处理中与所述第一目标特征点相关联的第一当前特征点，所述目标特征点集群包括第一目标特征点集群，所述第一目标特征点集群包括所述第一目标特征点，并且所述当前特征点集群包括与所述第一目标特征点集群对应的第一当前特征点集群，并且在所述第二聚类处理中，所述第一当前特征点被分类到所述第一当前特征点集群中。16.根据权利要求2、4或5所述的控制方法，其中，所述目标特征点基于所述目标图像中的距离在所述第一聚类处理中被分类到所述多个目标特征点集群中，和/或所述当前特征点基于所述当前图像中的距离在所述第二聚类处理中被分类到所述多个当前特征点集群中。17.根据权利要求2、4或5所述的控制方法，
其中，所述目标特征点基于所述目标图像中的灰度等级在所述第一聚类处理中被分类到所述多个目标特征点集群中，和/或所述当前特征点基于所述当前图像中的灰度等级在所述第二聚类处理中被分类到所述多个当前特征点集群中。18.根据权利要求2、4或5所述的控制方法，其中，所述目标特征点基于所述对象物的形状模型和/或所述可移动部分的形状模型在所述第一聚类处理中被分类到所述多个目标特征点集群中，和/或所述当前特征点基于所述对象物的形状模型和/或所述可移动部分的形状模型在所述第二聚类处理中被分类到所述多个当前特征点集群中。19.根据权利要求2、4或5所述的控制方法，其中，所述多个目标特征点集群中的每一个中包括的目标特征点的重心的位置被获得作为所述目标特征点集群代表信息，并且所述多个当前特征点集群中的每一个中包括的当前特征点的重心的位置被获得作为所述当前特征点集群代表信息。20.根据权利要求2、4或5所述的控制方法，其中，所述多个目标特征点...

【专利技术属性】
技术研发人员：溝花弘登，塚本稜司，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：