具体用于装置的基于视觉的定位的图像处理方法制造方法及图纸

本发明专利技术涉及一种图像处理方法，包括以下步骤：提供至少一个对象或所述至少一个对象的一部分的至少一个图像，并提供与所述图像相关的坐标系；提供所述坐标系中的至少一个自由度或所述坐标系中的至少一个传感器数据；以及计算由所述至少一个自由度或所述至少一个传感器数据约束或对准的所述至少一个图像或所述至少一个图像的一部分的图像数据。

【技术实现步骤摘要】
【国外来华专利技术】具体用于装置的基于视觉的定位的图像处理方法本专利技术涉及一种具体用于装置的基于视觉的定位的图像处理方法，该方法包括，提供至少一个对象或该至少一个对象的至少一部分的至少一个图像。本专利技术还涉及一种包括软件代码部分或硬件加速处理单元的计算机程序产品，用于执行所述方法。包括对来自图像的信息进行滤波和提取的图像处理是解决更高级问题所需的关键工具，诸如但不限于，计算机视觉、机器学习、机器人或普通图像增强的领域。许多实例中的一个是检测可包含已知对象或已知对象的一部分的图像中的边缘，其可以用于将这些边缘与已知对象的边缘匹配，其中已知对象与参考坐标系相关联。基于图像中的边缘与对象本身之间的匹配，用来捕获图像的相机可相对于已知对象的参考坐标系定位。可以以不同的方式，诸如但不限于形态学算子和基于内核(kernels)的卷积，并且通过对早期或并行处理步骤的中间结果的应用或组合相同或不同的处理步骤、滤波或提取方法来进行对来自图像的信息的图像处理、滤波和提取。信息的图像处理、滤波和提取可以进行，但不限于执行、分析、提取或创建强度、梯度、导数、边缘、线条、区段、拐角、特征、平滑、模糊、变换、去噪、锐化、侵蚀和/或扩张。除了各向同性的图像处理、滤波或提取方法外，某些方法是各向异性的，诸如但不限于1D或图像轴线对准的卷积内核，例如梯度滤波器，(像是已知的Sobel、Prewitt或Scharr滤波器)，其利用图像轴线对准的卷积内核，这意味着通常这些内核提取图像的图像水平或图像垂直梯度。各向同性的图像处理、滤波或提取方法也可适于是各向异性的，例如通过利用1D卷积内核，而不是2D卷积内核，例如用于平滑卷积内核。本文中存在以下类型的用于图像处理的标准方法：在图像处理方法的图像处理算子包括图像边缘检测的情况下，通常图像梯度计算包括，应用图像滤波器(诸如Sobel、Prewitt或Scharr滤波器)，其具有与图像轴线对准的内核。这意味着，通常这些内核产生图像水平的或图像垂直的梯度(见图3中的上排A)。这些方法不考虑关于一些自由度的任何附加信息(如果有的话)，因此，它们本身不能检测到关于已知方向的任何的对象性质，诸如重力对准边缘。如果根据基于这些图像的轴线对准的内核的滤波器，特定方向的边缘，诸如图像中的重力对准边缘需要被滤波，可以应用图像轴线对准的滤波器的早期结果的附加后处理。例如，可以基于用于该点的图像水平和图像垂直的梯度来计算图像中的每个边缘点的方向。最后，可将图像中的每个像素的边缘方向与图像中的投射重力方向对比。这意味着，对于此方法，图像水平和图像垂直的梯度需要预先通过应用轴线对准的内核两者来计算，并且需要应用该对比的附加后处理步骤。这将使这种方法中计算上更昂贵。第二种方法利用关于某些自由度的附加信息，其首先调整整个图像以与该附加信息对准(参见图4)。例如，在约束图像处理方法以计算重力对准数据的情况下，可以首先校正整个图像，使得一个图像轴线与图像中的投射重力矢量对准，之后，可以应用图像轴线对准的图像处理。在梯度滤波器的情况下，这将产生重力对准梯度。该第二种方法具有两个缺点：第一，图像滤波器不再在原始图像上进行处理，并且因此，最终滤波器的结果取决于所执行的校正方法的中间结果；第二，校正本身是需要的，因此该方法在计算上比在原始图像上直接进行处理的方法更昂贵。因此，有益的是，提供一种图像处理方法，该方法在其结果质量和处理速度方面能够提供更有效的结果。根据一方面，提供一种图像处理方法，包括以下步骤：提供至少一个对象或该至少一个对象的一部分的至少一个图像，并提供与图像相关的坐标系；提供该坐标系中的至少一个自由度或该坐标系中的至少一个传感器数据；以及计算由至少一个自由度或至少一个传感器数据约束或对准的至少一个图像或至少一个图像的至少一部分的图像数据。具体地，提出了使用具有高置信度的至少一个自由度来推导图像处理方法，该图像处理方法由至少一个高置信度的自由度的值约束。可选地，用于约束图像处理方法的高置信度的自由度的实际置信度可用来进一步调整图像处理方法的性质。具体地，图像处理方法可包括以下步骤：提供至少一个对象或该至少一个对象的一部分的至少一个图像，提供与图像相关的坐标系，提供坐标系中的至少一个自由度(可选包括对应置信度)或坐标系中的至少一个传感器数据，以及计算由至少一个自由度或至少一个传感器数据约束的至少一个图像或该至少一个图像的至少一部分的图像数据。例如，所计算的图像数据可以是图像处理的结果，包括形态学图像运算或图像滤波，该结果可根据具有高置信度的自由度而被约束或对准，或者可根据高置信度传感器而被约束或对准，该传感器提供图像处理方法中所使用的与图像或捕获该图像的装置相关的数据。更具体地，在图像处理方法的图像处理算子包括图像边缘检测的情况下，通常，图像梯度计算包括，将图像滤波器(诸如Sobel滤波器或Prewitt滤波器)应用至具有与图像轴线对准的内核。这意味着，通常这些内核产生水平或垂直的梯度。如果具有高置信度的自由度的图像数据，诸如通过假设精确的重力传感器所确定的旋转(其中重力传感器可以与捕获图像的装置相关联)，可以利用与图像中的重力矢量的投射方向对准或者相对于图像中的重力矢量的投射方向具有某预定方向的滤波器的内核。重要的是，应注意到，该图像处理不一定需要对象的表示。图像处理方法的一个实施例包括匹配处理，诸如将至少一个图像中的对象的至少一个特征与该对象的数字表示的至少一个特征匹配。该图像处理方法可用于基于图像处理方法的结果而产生距离变换图像。该图像处理方法的一个实例应用可包括运行全局对准算法，其中不同的自由度被迭代地改进，并且迭代的质量通过某种预定义代价函数(cost-function)来度量，例如包括距离变换图像(诸如S.Holzer，S.Hinterstoisser，S.Ilic，N.Navab的“DistanceTransformTemplatesforObjectDetectionandPoseEstimation”(用于对象检测和姿态估计的距离变换模板)，IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2009)。全局对准算法的迭代可以通过粒子滤波器方法来控制(诸如GeorgKlein和DavidMurray的“Full-3DEdgeTrackingwithaParticleFilter”(具有粒子滤波器的全面3D边缘跟踪)，InProc.BritishMachineVisionConference,2006)。例如，该方法用于装置(诸如与用于捕获至少一个图像的捕获装置相关联的装置)的基于视觉的定位。例如，运行图像处理方法的装置(诸如移动、固定或分布式计算机系统)与用于捕获至少一个图像的捕获装置相关联，其中所述方法还包括以下步骤：用捕获装置捕获至少一个图像；以及提供捕获装置的固有参数的估计。如上所述，图像处理方法的“由图像处理算子约束的可信自由度”的使用可以处于该图像与该对象的表示之间的对应关系的匹配期间。因此，根据本专利技术的理念，为了解决更高级任务，诸如但不限于，移动相机相对于室外环境中的复杂场景的基于视觉的定位，定位系统可利用关于由例如但不本文档来自技高网...

【技术保护点】
一种图像处理方法，具体用于装置的基于视觉的定位中，包括以下步骤：‑提供至少一个对象或所述至少一个对象的一部分的至少一个图像，并提供与所述图像相关的坐标系；‑提供所述坐标系中的至少一个自由度或所述坐标系中的至少一个传感器数据；以及‑计算由所述至少一个自由度或所述至少一个传感器数据约束或对准的所述至少一个图像或所述至少一个图像的一部分的图像数据。

【技术特征摘要】
【国外来华专利技术】2012.09.27 EP PCT/EP2012/0690751.一种用于装置的基于视觉的定位中的图像处理方法，包括以下步骤：-提供至少一个对象或所述至少一个对象的一部分的至少一个图像，并提供与所述图像相关的坐标系；-提供所述坐标系中的至少一个自由度；以及-计算由所述至少一个自由度约束或对准的所述至少一个图像或所述至少一个图像的至少一部分的图像数据，其中，所述至少一个自由度设有置信度，所述置信度用于所述图像处理方法。2.根据权利要求1所述的方法，其中，所计算的图像数据是包括形态学图像运算或图像滤波的图像处理的结果。3.根据权利要求2所述的方法，其中，图像数据的计算根据具有特定优选高置信度的自由度被约束或对准，或者根据优选高置信度的传感器被约束或对准，所述传感器提供在所述图像处理方法中使用的与所述图像或捕获所述图像的装置相关的数据。4.根据权利要求1所述的方法，其中，所述图像处理方法包括图像梯度计算，所述图像梯度计算包括所述图像中的重力对准梯度的滤波。5.根据权利要求1所述的方法，其中，所述图像处理方法包括图像梯度计算，所述图像梯度计算包括利用内核进行图像滤波，其中所述内核与所述图像的轴线或重力矢量对准。6.根据权利要求5所述的方法，其中，在所述图像的图像平面正平行于所述重力矢量的情况下，同一重力对准内核应用于整个图像。7.根据权利要求1所述的方法，所述方法还包括用于将所述至少一个图像中的对象的至少一个特征与所述对象的数字表示的至少一个特征匹配的匹配处理。8.根据权利要求1所述的方法，其中，所述图像处理方法用于基于所述图像处理方法的结果而产生距离变换图像。9.根据权利要求1所述的方法，还包括运行全局对准算法，其中迭代地改进不同的自由度，并且通过预定义代价函数来测定迭代的质量。10.根据权利要求1所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置运行所述图像处理方法，其中所述方法还包括以下步骤：用所述捕获装置捕获所述至少一个图像；以及提供所述捕获装置的固有参数的估计。11.根据权利要求1所述的方法，其中，相对于与用于捕获所述至少一个图像的捕获装置相关联的装置运行所述图像处理方法，其中所述方法还包括提供位置和方向数据，所述数据提供所述捕获装置相对于具有相应置信度的坐标系的不同自由度的测量值。12.根据权利要求1所述的方法，还包括在所述图像中生...

【专利技术属性】
技术研发人员：彼得·梅耶尔，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国;DE