【技术实现步骤摘要】
【国外来华专利技术】特征检测器和描述符
[0001]本专利技术涉及图像处理，尤其涉及从输入图像中提取特征。
技术介绍
[0002]特征提取是许多计算机视觉应用中的关键步骤，帮助2D和3D视觉系统构建可靠的主干，这些主干可保证应用的鲁棒性和有效性，从而提供令人满意的用户体验。特征提取的核心问题是识别场景中有意义的位置，这些位置可以很容易地从不同的视点以高精度定位，同时能够从外观上与其它候选对象区分开来。
[0003]用于即时定位与地图创建(simultaneous localization and mapping，SLAM)、增强现实和摄影测量的现代3D视觉管道都依赖于强大的特征提取阶段来无缝工作。此外，需要对场景进行几何理解或图像对齐(诸如全景照片拼接)的2D视觉应用需要可靠的特征提取器。一旦特征区域及其数学描述符被提取出来，它们可以进行匹配，不仅为了推断图像之间的2D关系，而且为了利用2D关系从图像中生成3D重建和深度图，以及更多3D应用。
[0004]标准特征提取管道通常包括：检测器，用于检测图像中称为关键点或斑块的特征区域；以及连续描述符，用于对关键点周围的区域进行数学描述。生成关键点和描述符来描述这些位置，即使图像处于不同的几何变换或光度变换下也是如此。
[0005]因此，该任务是双重的。首先，需要在特定感兴趣区域内找到合理数量的可靠点；这可以是图像的一部分，也可以是整个图像。其次，借助关键点附近的信息，寻找一个函数来稳健地提取关键点的有意义表示。
[0006]图1示出了检测器
‑>描述符管道的示例，并用来自不同视点的两个示例性图像示出了该过程，如101和104所示。摄影图像由RBG摄像头形成。在第一阶段，检测器检测特定的关键点。这些关键点的位置在102和105处的图像中以圆圈表示。这些位置是根据检测器计算得出的，位于输入图像内的可区分点。它们由描述符进一步处理，该描述符将多维值分配给描述符空间中的每个单独关键点及其邻域。通过比较描述符空间的差异，可以对关键点进行匹配。在该示例中，在给定描述符空间中的度量的情况下，如果描述彼此接近，使用这些描述来匹配两个图像内的对应区域。匹配最接近描述的低于指定阈值的点。匹配以103和106处的图像之间的连接线示出。
[0007]由于检测器的输出是描述符的输入，因此这两项任务相互依存。大多数当前最先进的方法都侧重于为这两项任务中的任何一个制定解决方案，或者逐个像素地描述整个图像。
[0008]传统上，检测器和描述符基于提取应用于高效管道中的人工设计的特征。
[0009]为了解决所讨论的问题，引入了多条人工设计的管道。这些方法中的大多数利用作为滤波器对图像应用的微分算子进行近似来生成梯度图像和海森。虽然边缘检测器和拐角检测器可以有效地设计为滤波器，但是斑点检测器通常通过简单的微分运算(例如，高斯和拉普拉斯源码、高斯差分、海森的行列式)来分析图像的平滑版本。为了使算法对光度变换和几何变化(诸如尺度、旋转以及更复杂映射方面的差异)保持不变，在精心设计的管道
中使用这些滤波器来检测关键点并描述其邻域。
[0010]这类算法的一个示例是尺度不变特征变换(scale invariant feature transform，SIFT)，如David Lowe于2004年在《计算机视觉国际期刊(International Journal of Computer Vision，IJCV)》中发表的“尺度不变关键点的独特图像特征(Distinctive image features from scale
‑
invariant keypoints)”和US 6711293 B1中所描述的。SIFT管道是一种人工设计方法，从尺度空间体积推断方向、位置和描述。这种方法使用128维向量描述找到的SIFT点。对于定位，使用高斯差分，而尺度不变性通过尺度空间金字塔实现，旋转不变性通过方向直方图处理。
[0011]虽然已证明已知方法在许多应用中既有效又准确，但它们的设计理念是对一组特定变换保持不变，并且主要通过观察人眼如何区分某些关键位置来驱动。此外，SIFT等方法只能有限地处理局部几何失真。总体而言，由于建模能力有限，无法对图像中可能存在的大量差异进行具体分析。
[0012]数据驱动方法固有地分析参数优化期间馈入的图像的方差。在卷积神经网络的框架中执行此操作，可以针对最适合现有数据的理想核优化函数近似器。大多数方法都侧重于学习检测器或学习描述符。
[0013]需要开发一种能够克服上述问题的图像处理系统。
技术实现思路
[0014]根据一个方面，提供了一种图像处理器，所述图像处理器包括多个模块，所述多个模块包括第一模块和第二模块，其中，所述图像处理器用于接收输入图像，并输出所述输入图像的特征区域的多个数学描述符；所述第一模块用于实现第一经过训练的人工智能模型，以检测所述输入图像中的一组特征区域；所述第二模块用于实现第二经过训练的人工智能模型，以确定所述一组特征区域中的每个特征区域的数学描述符，其中，所述第一经过训练的人工智能模型和所述第二经过训练的人工智能模型统一经过端到端训练。
[0015]所述第二模块的输入可以包括所述第一模块的输出。因此，所述图像处理器可以在图像处理管道中实现。
[0016]所述第一模块可以用于通过组合人工设计的特征和学习的特征来检测所述输入图像的特征区域。所述第二模块可以用于通过组合人工设计的特征和学习的特征来确定所述特征区域的所述数学描述符。这可以提高对光度变化和几何变化的鲁棒性。混合公式利用所述人工设计的特征作为鲁棒性的先验知识，同时在学习阶段也具有通用性。这样，可以计算有意义的表示，而不需要单独从数据中提取鲁棒性，从而实现高效计算。
[0017]所述第一模块和所述第二模块中的至少一个可以用于聚合来自所述输入图像的不同大小区域的数据。这可以确保能够根据所述输入图像的分辨率从具有不同上下文的图像中提取特征。
[0018]所述输入图像可以是RGB图像。这可以确保所述图像处理器能够由智能手机等配备摄像头的设备使用。
[0019]所述特征区域可以是所述输入图像的边缘和/或拐角。这可以确保所述图像处理器能够用于计算机视觉应用。
[0020]根据第二方面，提供了一种用于在图像处理器处实现的方法，所述图像处理器包
括多个模块，所述多个模块包括第一模块和第二模块，其中，所述图像处理器用于接收输入图像，并输出所述输入图像的特征区域的多个数学描述符，所述方法包括：在所述第一模块处实现第一经过训练的人工智能模型，以检测所述输入图像中的一组特征区域；在所述第二模块处实现第二经过训练的人工智能模型，以确定所述一组特征区域中的每个特征区域的数学描述符；其中，所述第一经过训练的人工智能模型和所述第二经过训练的人工智能模型统一经过端到端训练。
[0021]根据第三方面，提供了一种用于训练机器学习系统以在图像处理器处实现的方法，所述系统包括第一模块和第二模块，所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种图像处理器，其特征在于，所述图像处理器包括多个模块，所述多个模块包括第一模块和第二模块，其中，所述图像处理器用于接收输入图像，并输出所述输入图像的特征区域的多个数学描述符；所述第一模块用于实现第一经过训练的人工智能模型，以检测所述输入图像中的一组特征区域；所述第二模块用于实现第二经过训练的人工智能模型，以确定所述一组特征区域中的每个特征区域的数学描述符，其中，所述第一经过训练的人工智能模型和所述第二经过训练的人工智能模型统一经过端到端训练。2.根据权利要求1所述的图像处理器，其特征在于，所述第二模块的输入包括所述第一模块的输出。3.根据权利要求1或2所述的图像处理器，其特征在于，所述第一模块用于通过组合人工设计的特征和学习的特征来检测所述输入图像的特征区域。4.根据上述权利要求中任一项所述的图像处理器，其特征在于，所述第二模块用于通过组合人工设计的特征和学习的特征来确定所述特征区域的所述数学描述符。5.根据上述权利要求中任一项所述的图像处理器，其特征在于，所述第一模块和所述第二模块中的至少一个用于聚合来自所述输入图像的不同大小区域的数据。6.根据上述权利要求中任一项所述的图像处理器，其特征在于，所述输入图像是RGB图像。7.根据上述权利要求中任一项所述的图像处理器，其特征在于，所述特征区域是所述输入图像的边缘和/或拐角。8.一种用于在图像处理器处实现的方法，其特征在于，所述图像处理器包括多个模块，所述多个模块包括第一模块和第二模块，其中，所述图像处理器用于接收输入图像，并输出所述输入图像的特征区域的多个数学描述符，所述方法包括：在所述第一模块处实现第一经过训练的人工智能模型，以检测所述输入图像中的一组特征区域；在所述第二模块处实现第二经过训练的人工智能模型，以确定所述一组特征区域中的每个特征区域的数学描述符，其中，所述第一经过训练的人工智能模型和所述第二...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。