根据本发明专利技术实施例的系统和方法使能了根据使用阵列相机捕捉的低分辨率图像的基于特征的高分辨率运动估计。一个实施例包括对于低分辨率图像序列执行特征检测(122，124)以确定(126)低分辨率图像序列中的多个检测到的特征的初始位置，其中至少一个低分辨率图像序列是从不同角度捕捉的低分辨率图像序列的集合的一部分。该方法还包括合成(128)高分辨率图像部分，其中合成的高分辨率图像部分包含所确定的来自低分辨率图像序列的多个检测到的特征。该方法还包括在高分辨率图像部分内执行特征检测(129)以确定检测到的特征的高精度位置，以及使用所述多个检测到的特征的高精度位置来估计相机运动。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及数字图像中的特征检测并且更具体地涉及使用阵列相机和超分辨率来提高特征检测的性能和效率。
技术介绍
在数字成像和计算机视觉中，特征检测是基础操作，其通常是诸如运动估计、稳定、图像配准、对象跟踪和深度估计之类的基于特征的算法的预备步骤。这些算法的性能敏感地取决于特征点估计的质量。各种类型的图像特征包括边缘、角或兴趣点以及感兴趣的斑点(blob)或区域。边缘是存在两个图像区域之间的边界之处的点，并且通常被定义为图像中具有强梯度幅值的点集合。角或兴趣点可以指代图像中具有局部二维结构的点状特征。角可以是两个边缘的交叉点，或者这样一个点，对于该点在该点的局部邻域中存在两个主要且不同的边缘方向。兴趣点可以是具有良好定义的位置并且可以被鲁棒地检测到的点，诸如角或者局部最大或最小强度的隔离点。感兴趣的斑点或区域可以描述关于区域的一类图像结构，其经常包含优选点。在这个意义上，许多斑点检测器也可以被看作兴趣点操作器。角检测的一种简单但是计算密集的方法是使用相关。其他方法包括Harris&Stephens角检测算法，该算法使用平方差之和来考虑角分数关于方向的微分。实现有效的特征检测部分地依赖于向特征检测器提供高质量数据，即，一个或多个高分辨率图像。
技术实现思路
根据本专利技术实施例的系统和方法使能了根据使用阵列相机捕捉的低分辨率图像的基于特征的高分辨率运动估计。一个实施例包括:使用通过软件而被配置的处理器对于低分辨率图像序列执行特征检测以确定(identify)低分辨率图像序列中的多个检测到的特征的初始位置，其中至少一个低分辨率图像序列是从不同角度捕捉的低分辨率图像序列的集合的一部分；使用通过软件而被配置的处理器根据从不同角度捕捉的低分辨率图像序列的集合来合成高分辨率图像部分以执行超分辨率处理，其中合成的高分辨率图像部分包含所确定的来自所述低分辨率图像序列中的多个检测到的特征；使用通过软件而被配置的处理器在所述高分辨率图像部分内执行特征检测以确定所述多个检测到的特征的高精度位置；以及使用通过软件而被配置的处理器来利用所述多个检测到的特征的高精度位置估计相机运动。在另一实施例中，其中所述检测到的特征是从由以下各项组成的组中选择的:边缘、角和斑点。在又一实施例中，对于低分辨率图像序列执行特征检测还包括在来自所述低分辨率图像序列的第一帧中检测特征的位置，以及在来自所述低分辨率图像序列的第二帧中检测特征的位置。在又一实施例中，在来自所述低分辨率图像序列的第二帧中检测特征的位置进一步包括搜索所述低分辨率图像序列中的第二帧以定位在所述低分辨率图像序列中的第一帧中检测到的特征。在又一实施例中，搜索来自所述低分辨率图像序列的第二帧以定位在所述低分辨率图像序列中的第一帧中检测到的特征进一步包括:确定在所述低分辨率图像序列中的第一帧中的给定特征的位置周围的图像分块(patch)，以及使用匹配标准来搜索所述低分辨率图像序列中的第二帧以寻找相对应的图像分块。 在又一实施例中，所述匹配标准包括使误差距离度量最小化。在又一实施例中，在高分辨率图像部分内执行特征检测以确定所述多个检测到的特征的高精度位置进一步包括:使用包含来自所述低分辨率图像序列中的第一帧的特征的高分辨率图像区域来搜索包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域以寻找来自所述低分辨率图像序列中的第一帧的特征。在又一实施例中，搜索包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域以寻找来自所述低分辨率图像序列中的第一帧的特征进一步包括:使用匹配标准将包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域与包含来自所述低分辨率图像序列中的第一帧的特征的高分辨率图像区域相比较。在又一实施例中，所述匹配标准包括使误差距离度量最小化。在又一实施例中，处理器是还包括成像器阵列的阵列相机的一部分，所述方法还包括使用所述成像器阵列从不同角度捕捉所述低分辨率图像序列的集合中的至少多个低分辨率图像序列。在又一实施例中，所述多个检测到的特征的高精度位置以相对于所述低分辨率图像序列中的帧的像素的大小的子像素精度估计特征位置。在又一实施例中，对于低分辨率图像序列执行特征检测还包括对于多个低分辨率图像序列执行特征检测，其中每一个序列来自不同角度。在又一实施例中，所述低分辨率图像序列的集合包括在多个不同颜色通道中捕捉的低分辨率图像序列，并且对于低分辨率图像序列执行特征检测进一步包括对于每一个颜色通道中的至少一个低分辨率图像序列执行特征检测。另一个实施例包括成像器阵列，以及通过软件而被配置为控制所述成像器阵列的各种工作参数的处理器。此外，所述软件还将所述处理器配置为:捕捉使用所述成像器阵列从不同角度捕捉的低分辨率图像序列的集合；对于所述低分辨率图像序列的集合中的低分辨率图像序列执行特征检测以确定所述低分辨率图像序列中的多个检测到的特征的初始位置；根据从不同角度捕捉的低分辨率图像序列的集合来合成高分辨率图像部分，其中所述高分辨率图像部分包含所确定的来自所述低分辨率图像序列的多个检测到的特征；在所述高分辨率图像部分内执行特征检测以确定所述多个检测到的特征的高精度位置；以及使用所述多个检测到的特征的高精度位置来估计相机运动。在另一实施例中，所述检测到的特征是从由以下各项组成的组中选择的:边缘、角和斑点。 在又一实施例中，所述处理器还被配置为通过在来自所述低分辨率图像序列的第一帧中检测特征的位置以及在来自所述低分辨率图像序列的第二帧中检测特征的位置来对于低分辨率图像序列执行特征检测。在又一实施例中，所述处理器通过软件还被配置为:通过搜索所述低分辨率图像序列中的第二帧以定位在所述低分辨率图像序列中的第一帧中检测到的特征来在所述低分辨率图像序列中的第二帧中检测特征的位置。在又一实施例中，所述处理器通过软件还被配置为通过以下操作搜索所述低分辨率图像序列中的第二帧以定位在所述低分辨率图像序列中的第一帧中检测到的给定特征:确定在所述低分辨率图像序列中的第一帧中的给定特征的位置周围的图像分块；以及使用匹配标准来搜索所述低分辨率图像序列中的第二帧以寻找相对应的图像分块。在又一实施例中，所述匹配标准包括使误差距离度量最小化。在又一实施例中，所述处理器通过软件还被配置为:通过使用包含来自所述低分辨率图像序列中的第一帧的特征的高分辨率图像区域来搜索包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域以寻找来自所述低分辨率图像序列中的第一帧的特征，在高分辨率图像部分内执行特征检测以确定所述多个检测到的特征的高精度位置。在又一实施例中，所述处理器通过软件还被配置为:通过使用匹配标准将包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域与包含来自所述低分辨率图像序列中的第一帧的特征的高分辨率图像区域相比较，搜索包含来自所述低分辨率图像序列中的第二帧的特征的高分辨率图像区域以寻找来自所述低分辨率图像序列中的第一帧的特征。在又一实施例中，所述匹配标准包括使误差距离度量最小化。在又一实施例中，所述多个检测到的特征的高精度位置以相对于所述低分辨率图像序列中的帧的像素的大小的子像素精度估计特征位置。在又一实施例中，所述成像器阵列中当前第1页1 2&nb本文档来自技高网...
【技术保护点】
一种用于根据多个低分辨率图像来执行基于特征的高分辨率运动估计的方法，包括：使用通过软件而被配置的处理器(108)对于低分辨率图像序列执行特征检测(122，124)以确定(126)所述低分辨率图像序列中的多个检测到的特征的初始位置，其中至少一个低分辨率图像序列是从不同角度捕捉的低分辨率图像序列的集合的一部分；使用通过软件而被配置的处理器(108)根据从不同角度捕捉的低分辨率图像序列的集合来合成(128)高分辨率图像部分以执行超分辨率处理，其中合成的高分辨率图像部分包含所确定的来自所述低分辨率图像序列的多个检测到的特征；使用通过软件而被配置的处理器(108)在所述高分辨率图像部分内执行特征检测(129)以确定(130)所述多个检测到的特征的高精度位置；以及使用通过软件而被配置的处理器(108)来利用所述多个检测到的特征的高精度位置估计相机运动。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：D·勒勒斯古，A·K·杰恩，
申请(专利权)人：派力肯影像公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。