单应性校正制造技术

本公开提供了用于将畸变图像映射到校正图像的多阶段图像映射机制。例如，多阶段图像映射机制可以从畸变图像去除单应性以分两个阶段重构校正图像：(1)其中从畸变图像部分地去除畸变以生成中间图像的第一阶段，以及(2)其中从中间图像去除残余畸变以恢复校正图像的第二阶段。

【技术实现步骤摘要】

在本文中公开了涉及针对图像处理应用校正图像的单应投影的设备、系统以及方法。
技术介绍
数字图像可以由许多装置形成并用于许多实际目的。装置包括具有对可见光或红外光进行操作的图像传感器的相机，所述图像传感器诸如电耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器、行扫描传感器、飞点扫描仪、电子显微镜、包括计算机断层成像(CT)扫描仪的X光线装置、磁共振成像器以及本领域的技术人员已知的其它装置。在工业自动化、医疗诊断、用于多种军事、民用以及科学目的的卫星成像、摄影处理、监控和交通监视、文档处理以及许多其它应用中有实际应用。为了服务于这些应用，可以用机器视觉系统来分析由各种装置形成的图像以提取适当的信息。具有相当可观的实际重要性的一种分析是确定与成像装置的视场中的对象对应的图像中的图案的位置、取向以及尺寸。图案检测方法在工业自动化中特别重要，在工业自动化中其用于在半导体制造、电子装置组装、医药制品、食品加工、消费品制造等中引导机器人和其它自动化装置。图案检测方法可以对已经受透视畸变的图像进行操作。然而，透视畸变趋向于增加图案检测方法的计算复杂性和计算时间。因此，作为预处理步骤，可以对图像进行校正以在执行图案检测方法之前去除透视畸变。
技术实现思路
根据公开主题，提供了用于针对图像处理应用对图像的单应畸变进行校正的设备、系统以及方法。某些实施例包括机器视觉系统。该系统可以包括被配置成运行在存储器中存储的计算机程序的处理器。计算机程序可以被配置成使处理器接收畸变图像和与畸变图像相关联的单应性矩阵，使用单应性分解模块来确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离，使用单应性去除模块通过从畸变图像去除第一变换来生成中间图像，并且使用单应性去除模块通过从中间图像去除第二变换来生成已校正图像。在某些实施例中，第二变换被约束为将沿着已校正图像的第一维度的像素映射到沿着中间图像的第一维度的位置，并且其中，沿着中间图像的第一维度的位置与沿着中间图像的第一维度的相邻位置间隔开相同距离。在某些实施例中，处理器还被配置成在从中间图像去除第二变换之前使用单应性去除模块将中间图像转置。在某些实施例中，处理器还被配置成使用单应性去除模块来使直接存储器访问控制器在从中间图像去除第二变换之前将中间图像转置。在某些实施例中，直接存储器访问控制器被配置成使用二维直接存储器访问来将中间图像转置。在某些实施例中，处理器还被配置成使用单应性去除模块通过针对中间图像的第一像素确定畸变图像中的对应第一位置并对围绕畸变图像中的对应第一位置的像素求卷积以确定用于第一像素的图像值来从畸变图像去除第一变换。在某些实施例中，处理器还被配置成使用单应性去除模块通过在第一像素的坐标上操作第一变换来确定对应第一位置。在某些实施例中，处理器被配置成使用单应性去除模块通过向第一维度上的对应第一位置的坐标添加常数来针对在第二维度上具有与第一像素相同的坐标的中间图像的第二像素确定畸变图像中的对应第二位置。在某些实施例中，处理器被配置成使用单应性去除模块来向图案检测系统提供已校正图像，使得图案检测系统可以使用已校正图像来确定已校正图像是否包括特定图案。在某些实施例中，处理器被配置成从图案检测系统接收单应性矩阵，其中，该单应性矩阵由图案检测系统基于与畸变图像相关联的单应性的假设来确定。在某些实施例中，处理器被配置成使用单应性去除模块基于沿着畸变图像的第一维度的位置中的一个的亚像素坐标来选择一组内核中的一个，并在所述位置中的一个处应用所选内核。某些实施例包括一种用于操作所公开的系统或所公开的非临时计算机可读介质的方法。该方法包括：在单应性分解模块处接收与畸变图像相关联的单应性矩阵；使用单应性分解模块来确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；使用耦合到单应性分解模块的单应性去除模块通过从畸变图像去除第一变换而生成中间图像；并且使用单应性去除模块通过从中间图像去除第二变换来生成已校正图像。在某些实施例中，该方法包括在从中间图像去除第二变换之前使用单应性去除模块将中间图像转置。在某些实施例中，该方法包括在从中间图像去除第二变换之前使用单应性去除模块使直接存储器访问控制器将中间图像转置。在某些实施例中，该方法针对中间图像的第一像素确定畸变图像中的对应第一位置，并对围绕畸变图像中的对应位置的像素求卷积以确定用于第一像素的图像值。在某些实施例中，该方法包括通过向第一维度上的对应第一位置的坐标添加常数来针对在第二维度上具有与第一像素相同的坐标的中间图像的第二像素确定畸变图像中的对应第二位置。在某些实施例中，该方法包括向图案检测系统提供已校正图像，使得图案检测系统可以使用已校正图像来确定已校正图像是否包括特定图案。在某些实施例中，该方法包括基于沿着畸变图像的第一维度的位置中的一个的亚像素坐标来选择一组内核中的一个，并在所述位置中的一个处应用所选内核。某些实施例包括具有与单应性分解模块和单应性去除模块相关联的可执行指令的非临时计算机可读介质。该模块可操作用于使机器视觉系统接收与畸变图像相关联的单应性矩阵，确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；通过从畸变图像去除第一变换来生成中间图像，并且通过从中间图像去除第二变换来生成已校正图像。本文所述的公开的设备、系统以及方法可以通过使用多阶段校正过程将畸变图像映射到已校正图像来改善校正畸变图像中的单应畸变的效率。校正过程的每个阶段被设计成减少计算并减少从存储器访问图像所需的时间量。某些实施例包括机器视觉系统。该系统可以包括被配置成运行在存储器中存储的计算机程序的处理器。该计算机程序可以被配置成使处理器接收第一图像和与第一图像相关联的第一变换，其中，第一变换使第一图像与第二图像相关，并且被约束为将沿着第二图像的维度的多个像素映射到沿着第一图像的维度的多个位置，针对所述多个像素中的第一像素确定第一图像中的对应第一位置的坐标，基于与第一位置的坐标相关联的亚像素阶段来选择多个内核中的一个，其中，亚像素阶段指示第一位置与第一图像的像素网格相比的亚像素偏移，并且通过部分地对围绕第一图像中的第一位置的至少一个像素应用所选内核以确定用于第二图像中的第一像素的图像值来从第一图像生成第二图像。在某些实施例中，处理器被配置成通过在第一像素的坐标上操作第一变换来确定第一位置的坐标。在某些实施例本文档来自技高网...

【技术保护点】
一种机器视觉系统，包括：处理器，其被配置成运行在存储器中存储的计算机程序，其被配置成使处理器：接收畸变图像和与畸变图像相关联的单应性矩阵；使用单应性分解模块来确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；使用单应性去除模块通过从畸变图像去除第一变换来生成中间图像；以及使用单应性去除模块通过从中间图像去除第二变换来生成已校正图像。

【技术特征摘要】
2015.04.03 US 14/678,279;2015.04.03 US 14/678,2991.一种机器视觉系统，包括：处理器，其被配置成运行在存储器中存储的计算机程序，其被配置成使处理器：接收畸变图像和与畸变图像相关联的单应性矩阵；使用单应性分解模块来确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；使用单应性去除模块通过从畸变图像去除第一变换来生成中间图像；以及使用单应性去除模块通过从中间图像去除第二变换来生成已校正图像。2.权利要求1所述的机器视觉系统，其中，第二变换被约束为将沿着已校正图像的第一维度的像素映射到沿着中间图像的第一维度的位置，并且其中，沿着中间图像的第一维度的位置与沿着中间图像的第一维度的相邻位置间隔开相同距离。3.权利要求1所述的机器视觉系统，其中，所述处理器还被配置成在从中间图像去除第二变换之前使用单应性去除模块将中间图像转置。4.权利要求3所述的机器视觉系统，其中，所述处理器还被配置成使用单应性去除模块来使直接存储器访问控制器在从中间图像去除第二变换之前使用单应性去除模块将中间图像转置。5.权利要求4所述的机器视觉系统，其中，所述直接存储器访问控制器被配置成使用二维直接存储器访问来将中间图像转置。6.权利要求1所述的机器视觉系统，其中，所述处理器被配置成使用单应性去除模块通过以下各项从畸变图像去除第一变换：针对中间图像的第一像素确定畸变图像中的对应第一位置；且对围绕畸变图像中的对应第一位置的像素求卷积以确定用于第一像素的图像值。7.权利要求6所述的机器视觉系统，其中，所述处理器还被配置成使用单应性去除模块通过在第一像素的坐标上操作第一变换来确定对应第一位置。8.权利要求6所述的机器视觉系统，其中，所述处理器被配置成使用单应性去除模块针对在第二维度上具有与第一像素相同的坐标的中间图像的第二像素通过向第一维度上的对应第一位置的坐标添加常数来确定畸变图像中的对应第二位置。9.权利要求1所述的机器视觉系统，其中，所述处理器被配置成使用单应性去除模块来向图案检测系统提供已校正图像，使得图案检测系统能够使用已校正图像来确定已校正图像是否包括特定图案。10.权利要求9所述的机器视觉系统，其中，所述处理器被配置成从图案检测系统接收单应性矩阵，其中，由所述图案检测系统基于与畸变图像相关联的单应性的假设来确定单应性矩阵。11.权利要求1所述的机器视觉系统，其中，所述处理器被配置成使用单应性去除模块基于沿着畸变图像的第一维度的位置中的一个的亚像素坐标来选择一组内核中的一个，并在所述位置中的一个处应用所选内核。12.一种计算机化方法，包括：在单应性分解模块处接收与畸变图像相关联的单应性矩阵；使用单应性分解模块来确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；使用耦合到单应性分解模块的单应性去除模块通过从畸变图像去除第一变换而生成中间图像；以及使用单应性去除模块通过从中间图像去除第二变换来生成已校正图像。13.权利要求12所述的方法，其中，第二变换被约束为将沿着已校正图像的第一维度的像素映射到沿着中间图像的第一维度的位置，并且其中，沿着中间图像的第一维度的位置与沿着中间图像的第一维度的相邻位置间隔开相同距离。14.权利要求12所述的方法，还包括：使用单应性去除模块在从中间图像去除第二变换之前将中间图像转置。15.权利要求14的方法，还包括：使用单应性去除模块使直接存储器访问控制器在从中间图像去除第二变换之前将中间图像转置。16.权利要求12的方法，其中，从畸变图像去除第一变换包括：针对中间图像的第一像素确定畸变图像中的对应第一位置并对围绕畸变图像中的对应第一位置的像素求卷积以确定用于第一像素的图像值。17.权利要求16的方法，还包括：针对在第二维度上具有与第一像素相同的坐标的中间图像的第二像素通过向第一维度上的对应第一位置的坐标添加常数来确定畸变图像中的对应第二位置。18.权利要求16的方法，还包括：向图案检测系统提供已校正图像，使得图案检测系统能够使用已校正图像来确定已校正图像是否包括特定图案。19.权利要求16的方法，还包括：基于沿着畸变图像的第一维度的位置中的一个的亚像素坐标来选择一组内核中的一个，并在所述位置中的一个处应用所选内核。20.一种具有与单应性分解模块和单应性去除模块相关联的可执行指令的非临时计算机可读介质，所述可执行指令可操作用于使机器视觉系统：接收与畸变图像相关联的单应性矩阵；确定共同表示单应性矩阵的第一变换和第二变换，其中，第一变换使畸变图像与中间图像相关，并且第二畸变使中间图像与已校正图像相关，其中，第一变换被约束为将沿着中间图像的第一维度的像素映射到沿着畸变图像的第一维度的位置，并且其中，沿着畸变图像的第一维度的位置与沿着畸变图像的第一维度的相邻位置间隔开相同距离；通过从畸变图像去除...

【专利技术属性】
技术研发人员：纳撒尼尔·博根，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US