使用视觉系统在图像中查找和分类线的系统和方法技术方案

本发明专利技术提供一种用于在图像中查找线特征的系统和方法，该系统和方法能够有效且准确地识别和表征多条线。当对线进行识别时，用户可以训练系统将预定(例如文本)标签与这些线相关联。这些标签可用于定义神经网络分类器。神经网络在运行时进行操作以在运行时图像中识别和评价通过线查找过程找到的线。可以使用标签和基于神经网络结果的相关分数图向用户显示所找到的线。没有标签的线是分数低的线，并且既未被界面标记，或又不相关。

A system and method of finding and classifying lines in images using visual system

【技术实现步骤摘要】
使用视觉系统在图像中查找和分类线的系统和方法相关申请的交叉引用本申请是2016年10月31日提交的题为“使用视觉系统在图像中查找线的系统和方法(SYSTEMANDMETHODFORFINDINGLINESINANIMAGEWITHAVISIONSYSTEM)”的共同未决的美国专利申请序列号15/338,445的部分继续申请，该申请主张2015年11月2日提交的题为“使用视觉系统在图像中查找线的系统和方法(SYSTEMANDMETHODFORFINDINGLINESINANIMAGEWITHAVISIONSYSTEM)”的共同未决的美国临时申请序列号62/249,918的权益，上述申请的教导通过引用结合于本申请。
本专利技术涉及机器视觉系统，更具体地涉及在所获取的图像中查找线特征的视觉系统工具。
技术介绍
机器视觉系统(在本文中也简称为“视觉系统)用于制造业、物流业和工业中各种各样的任务。这些任务包括表面和零件检测、组装时的物体对准、图案和ID代码的读取以及需要视觉资料并对视觉资料进行解析以用于进一步处理的其它任何操作。视觉系统通常使用一个或多个摄像机来获取包含有用主题或对象的场景的图像。对象/主题可以是静止的或相对运动的。还可以由视觉系统导出的信息来控制运动，例如机器人操纵部件的情况。视觉系统的常见任务是查找和表示图像中的线特征。能够使用各种工具来识别和分析这些线特征。典型地，这些工具依赖于在图像的一部分中的鲜明的对比差异。例如，使用卡尺工具分析该对比差异，以确定图像中具有对比差异的各个点是否可以形成线状特征。如果是，则在图像中标识线。值得注意的是，查找边缘点的工具和试图使点线拟合至点的工具独立地起作用。这增加处理开销以及降低可靠性。当图像包括多条线时，这些工具在精确识别方面具有局限性。此外，当图像包含具有相似取向和极性的多条紧密的线时，设计为在图像中查找单条线的传统的线查找工具存在局限。另一个挑战是，在获取的图像中，对象的线条可能被遮挡或十分模糊。用户可能不确定找到的线的身份，并且可以实现离散识别的机制需要编写复杂的规则和脚本，增加了视觉系统的设置和训练中的时间和成本。
技术实现思路
为克服现有技术的缺点，本专利技术提供一种用于在图像中查找线特征的系统和方法，该系统和方法能够有效且准确地识别和表征多条线。当对线进行识别时，用户可以训练系统将预定(例如文本)标签(labels)与这些线相关联。这些标签(在此也称为“标记(tags)”)可用于定义神经网络分类器。神经网络在运行时(runtime)进行操作以在运行时图像中识别和评价通过线查找过程找到的线。可以使用标签和基于神经网络结果的相关分数图向用户显示所找到的线。没有标签的线是分数低的线，并且既未被界面标记，或又不相关。在示例性实施例中，提供了一种基于一个或多个摄像机在获得的图像上查找线特征的系统和方法。该系统和方法包括：视觉系统处理器；与所述视觉系统处理器关联的界面，所述界面允许相对于在对象的训练图像中由线查找过程定位的相关线创建离散标签。运行时线查找过程在获取的图像中定位线，并且神经网络过程基于标签使用一个或多个分类器来确定相对于标签的线特征的概率图。运行时结果生成过程为至少一个相关的线提供标签和概率分数。说明性地，所述运行时结果生成过程提供非相关的线的概率分数，和/或包括突出线并且提供与突出的线相关的概率分数的界面。所述概率分数图与所述获得的图像的大小相似。线查找过程包括接收含有线特征的场景的图像数据的处理器，所述处理器包括边缘点提取器；所述边缘点提取器：(a)从所述图像数据计算梯度向量场；(b)将所述梯度向量场投影在多个梯度投影子区域上；以及(c)基于投影的梯度数据查找各个梯度投影子区域中的多个边缘点。处理器还包括线查找器，生成与从所述图像中提取的边缘点一致的多条线。说明性地，线查找器过程运行基于RANSAC的过程，以将内点边缘点匹配到新线上，包括从相对于预先定义的线的外点边缘点对线迭代地进行定义。梯度场投影沿着按照响应于一个或多个线特征的预期定向确定的方向得到定向和/或可以基于高斯核来定义粒度。边缘点提取器配置为在每一个所述梯度投影子区域查找多个梯度幅值最大值。梯度幅值最大值分别被识别为由位置向量和梯度向量所描述的所述多个边缘点中的一部分。线查找器配置为通过对度量标准进行计算确定所提取的多个边缘点中的至少一个边缘点和所发现的多条线中的至少一条候选线之间的一致性，所述度量标准基于所述至少一个边缘点到所述至少一条候选线的距离，以及所述至少一个边缘点的梯度方向与所述至少一条候选线的法线方向之间的角度差。说明性地，图像数据包括来自从多个摄像机获取的多个图像的数据。基于此，将图像转换至公共坐标空间。在示例性实施例中，提供了一种基于一个或多个摄像机在获得的图像上查找线特征的系统。该系统和方法包括视觉系统处理器；与所述视觉系统处理器关联的界面，所述界面允许相对于在对象的训练图像中由线查找过程定位的相关线创建离散标签。还包括在获得的图像上对线进行定位的运行时线查找过程，以及基于由线查找过程定位的线为所述界面生成所述标签的K-NN分类器。附图说明参考以下附图对本专利技术进行说明。图1是根据示例性实施例的获取包括多个边缘特征的对象的图像的示例性视觉系统的设置，以及包括边缘查找工具/模块和相关标签界面处理器/模块的视觉系统处理器的图。图2是示出根据示例性实施例的用于在获取的图像中进行边缘点提取和线查找的系统和方法的概略图。图3是根据图2的系统和方法的边缘点提取过程的流程图。图4是显示在包含边缘特征的图像区域上的场投影，是图3的边缘点提取过程的一部分。图5是显示将高斯核(Gaussiankernel)应用于图像以平滑图像的图，用于图3的边缘点提取过程。图6是显示场投影的图，包括应用高斯核平滑投影，用于图3的边缘点提取过程。图7是显示图3的边缘点提取过程的图形概览的图，包括应用高斯核并计算边缘点的绝对和归一化对比阈值。图8是显示具有足够的绝对对比阈值和归一化对比阈值的边缘点的合格的对比区域的图表。图9是使用根据示例性实施例的示例性RANSAC过程，基于图3中找到的边缘点的线查找过程的流程图。图10和图11是分别显示对具有紧密间隔的平行线特征的边缘点进行错误对准和正确对准的图。图12和图13是分别显示对具有交叉线特征的边缘点进行正确对准和错误对准的图，这可以根据示例性系统和方法的线查找器来解决。图14至图17分别显示呈现出从亮到暗的极性，从暗到亮的极性，从亮到暗或从暗到亮的极性，或者混合的极性的线的示例，这可以根据示例性系统和方法的线查找器来解决。图18是显示基于用户定义的掩膜对找到的线的覆盖分数进行修改的图。图19是显示使用包括参考对象图像中的有用的线(linesofinterest)的标签(labels)/标记(tags)的界面来训练线查找工具的过程的流程图。图20是显示示例性的用户界面显示的图，包括对话框和具有有用本文档来自技高网...

【技术保护点】
1.一种基于一个或多个摄像机在获得的图像上查找线特征的系统，包括：/n视觉系统处理器；/n与所述视觉系统处理器关联的界面，所述界面允许相对于在对象的训练图像中由线查找过程定位的相关线创建离散的标签；/n运行时线查找过程，其在获得的图像上对线进行定位；/n使用分类器的神经网络过程，其基于所述标签确定相对于所述标签的线特征的概率图；以及/n运行时结果生成过程，为至少一个相关的线提供标签和概率分数。/n

【技术特征摘要】
20180606 US 16/001,8851.一种基于一个或多个摄像机在获得的图像上查找线特征的系统，包括：
视觉系统处理器；
与所述视觉系统处理器关联的界面，所述界面允许相对于在对象的训练图像中由线查找过程定位的相关线创建离散的标签；
运行时线查找过程，其在获得的图像上对线进行定位；
使用分类器的神经网络过程，其基于所述标签确定相对于所述标签的线特征的概率图；以及
运行时结果生成过程，为至少一个相关的线提供标签和概率分数。


2.根据权利要求1所述的视觉系统，其中，
所述运行时结果生成过程提供非相关的线的概率分数。


3.根据权利要求1所述的视觉系统，其中，
结果生成过程包括强调线并且提供与强调的线相关的概率分数的界面。


4.根据权利要求1所述的视觉系统，其中，
所述概率分数图与所述获得的图像的大小相似。


5.根据权利要求1所述的视觉系统，其中，
分类器过程使用神经网络分类器和统计训练分类器中的至少一个。


6.根据权利要求1所述的视觉系统，其中，
线查找过程包括接收含有线特征的场景的图像数据的处理器，
所述处理器包括边缘点提取器；以及线查找器，
所述边缘点提取器：
(a)从所述图像数据计算梯度向量场；
(b)将所述梯度向量场投影在多个梯度投影子区域上；以及
(c)基于投影的梯度数据查找各个梯度投影子区域中的多个边缘点；以及
所述线查找器，生成与从所述图像中提取的边缘点一致的多条线。


7.根据权利要求6所述的系统，其中，
所述线查找器运行基于RANSAC的过程，以将内点边缘点匹配到新线上，包括从相对于预先定义的线的外点边缘点对线迭代地进行定义。


8.根据权利要求6所述的系统，其中，
梯度场投影沿着按照响应于一个或多个线特征的预期定向确定的方向得到定向。


9.根据权利要求6所述的系统，其中，
所述梯度场投影基于高斯核定义粒度。


10.根据权利要求6所述的系统，其中，
所述边缘点提取器配置为在每一个所述梯度投影子区域查找多个梯度幅值最大值，其中，
所述梯度幅值最大值分别被识别为由位置向量和梯度向量所描述的所述多个边缘点中的一部分。


11.根据权利要求6所述的系统，其中，
所述线查找器配置为通过对度量标准进行计算确定所提取的多个边缘点中的至少一个边缘点和所发现的多条线中的至少一条候选线之间的一致性，所述度量标准基于所述至少一个边缘点到所述至少一条候选线的距离，以及所述至少一个边缘点的梯度方向与所述至少一条候选线的法线方向之间的角度差。


12.一种基于一个或多个摄像机在获得的图像上查找线特征的系统，包括：
视觉系统处理器；
与所述视觉系统处理器关联的界面，所述界面允许相对于在对象的训练图像中由线查找过程定位的相关线创建离散的...

【专利技术属性】
技术研发人员：雷·王，维韦克·阿南德，洛维尔·D·雅各布森，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US