特征提取方法、程序和系统技术方案

本发明专利技术的目的在于提供快速且鲁棒地获得SfM的技术。作为服务器的计算机系统从智能电话接收图像以及加速度传感器的测量结果。计算机系统首先仅仅从图像提取竖直边缘。为了该目的，所述系统使用加速度传感器获得重力向量。所述系统然后使用所述重力向量来获得在屏幕坐标系的竖直方向上的消失点(u′，v′)。然后该计算机系统计算每个像素(u，v)的色饱和度在屏幕坐标系的u和v方向上的微分向量。所述计算机系统然后获得一组沿着所述竖直方向的边缘的边缘强度的和，从而提取竖直方向上的线条。所述计算机系统使用所提取线条的周缘计算特征向量。

【技术实现步骤摘要】
【国外来华专利技术】特征提取方法、程序和系统
本专利技术涉及从图像中提取特征量来进行位置估计的技术。
技术介绍
近年来，为了分析诸如购物中心和公共设施处的顾客流动路线，以及为了进行在库控制，对于室内位置估计技术的要求越来越大。对于室内位置进行精确估计是比较困难的，因为诸如WiFi或RFID设备的无线设备在室内使用时会产生许多噪声。GPS提供相对精确的位置估计，但是不能在室内使用。因此，技术上已经注意到，在移动对象上附加摄像头来拍摄图像，并且所拍摄的图像被分析以用来预测位置。与此有关的现有技术包括在WO2008/087974中所披露的技术。WO2008/087974涉及用于计算多个摄像头之间的位置关系的技术，以及用于基于所计算出的位置关系生成用户界面的技术，其披露了基于所拍摄的图像在不使用GPS的情况下计算多个摄像头的位置。在″Gradient-BasedFeatureExtraction：SIFTandHOG″，InformationProcessingSocietyofJapanTechnicalReport，CVIM[ComputerVisionandImageMedia]，2007，(87)，211-224，2007-09-03这篇文章中，藤吉弘亘(HironobuFujiyoshi)提供了关于SIFT算法的概述，并且描述了在DoG图像的极值检测以及HOG。JP2011-53181A披露了使用SIFT(Scale-InvariantFeatureTransform)特征值进行朝向估计，从而提供了一种可靠的信息终端设备，该设备能够在不需要引入地磁传感器的情况下估计用户的朝向，并且基于所述估计的结果在显示器上控制显示信息。SIFT是图像特征提取技术的一种，其涉及特征点的检测和围绕特征点计算特征向量的方法。除此以外，已经知道运动结构(SfM，StructurefromMotion)，这是一种从图像来重构奇点间和摄像头位置之间的的三维位置关系的技术。在诸如JP10-40385A，JP2009-237845A和JP2009-237847A中描述了SfM。SfM是这样一种技术，诸如角落的特征点从图像中被抽取，然后，特征点周围的8×8像素的色饱和度被布置为简单地生成64比特的特征向量，或者以其他的方式从特征点周围的像素计算出特征向量，然后在多个像素之间进行匹配。这样，特征点的三维位置和摄像头的位置就可以同时被重构。为了稳定地获得SfM，需要一种特征量计算方法，这种方法要对噪声鲁棒，即对于图像中的起伏鲁棒，并且对图像的旋转和缩放鲁棒。然而，传统的方法具有高计算开销的问题。为了获得SfM，通常需要与像素数目成比例的计算量，因此对于计算开销的考虑是关键的。引证清单专利文献[专利文献1]WO2008/087974[专利文献2]JP2011-53181A[专利文献3]JP10-40385A[专利文献4]JP2009-237845A[专利文献5]JP2009-237847A非专利文献[非专利文件1]藤吉弘亘，″Gradient-BasedFeatureExtraction：SIFTandHOG″，InformationProcessingSocietyofJapanTechnicalReport，CVIM[ComputerVisionandImageMedia]，2007，(87)，211-224，2007-09-03
技术实现思路
技术问题因此，本专利技术的一个目标是提供快速而鲁棒地获得SfM的技术。对该问题的解决方案本专利技术通过利用以下事实解决了上述问题：SfM中使用的许多特征是与重力方向平行的线条，并且诸如智能电话的移动设备包括加速度传感器或陀螺仪。根据本专利技术，作为服务器的计算机系统通过通信功能从智能电话接收图像和加速度传感器的测量结果。该计算机系统首先从图像中仅仅提取竖直边缘。为此，计算机系统使用加速度传感器来获得摄像头坐标系中的重力向量。该系统然后在屏幕坐标系中，使用该重力向量来获得竖直方向上的消失点(u′，v′)。该计算机系统然后在屏幕坐标系中计算每个像素(u，v)的色饱和度在u方向和v方向上的微分向量。该计算机系统获得由每个微分向量和(u′-u，v′-v)所形成的余弦分量，归一化这两个向量到长度为1，然后计算这两个向量的内积。如果余弦的绝对值大于或者等于某个阈值，该计算机系统确定该像素具有竖直边缘。该计算机系统然后针对沿着竖直方向分布的一组边缘获得竖直方向上的边缘强度和。具体而言，计算机系统将屏幕坐标(u，v)转换为摄像头坐标，将屏幕坐标(u，v)的两个轴投影为一个轴。计算机系统计算(u，v)处的差分向量的绝对值，然后将该绝对值写到表sum[q]中。一旦提供了sum[q]，计算机系统将sum[q]假设为w×1的长度沿水平方向的图像，并且使用高斯差分(DoG，DifferenceofGaussian)函数来计算极值。计算机系统使用该极值来计算特征量。专利技术的有益效果根据本专利技术，从移动设备接收图像和加速度传感器的测量结果，依此检测沿竖直方向的边缘，并且使用这些边缘来提取特征，因此可以用较少量的计算来进行快速的位置估计。附图说明图1是示意图，示出使用智能电话获取加速度数据和图像数据，并且将这些数据传送给计算机以便进行室内处理；图2是方框图，示出用于本专利技术的计算机的硬件的示例；图3是根据本专利技术的过程的功能性方框图；图4是用于计算sum的过程的流程图；图5是用于计算DoG和检测极值的过程的流程图；图6是特征量计算过程的流程图；图7是示意图，示出摄像头坐标系、屏幕和重力方向之间的关系；图8是示意图，示出将像素的两个轴的坐标投影到与重力方向正交的一个轴上的方法；图9是示意图，示出将连接像素与消失点并且与地平面垂直的线条投影到屏幕；图10是示意图，示出提取图像中的关键点。具体实施方式下面参照附图描述本专利技术的示例性实施例。在附图中，除非特殊说明，同样的附图标记表示同样的项目。应该理解以下是对本专利技术的一个实施例的描述，而不意图将本专利技术限制为所描述的示例性实施例。图1是示意图，概要性地示出用于执行本专利技术的示例的一般配置。在图1中，诸如柜子104的位置特征对象被放置在房间102中。操作员106用智能电话108对房间102的内景进行拍照，智能电话108包括加速度传感器和摄像头功能，然后将所拍摄图像数据和加速度传感器的测量数据通过无线通信发送到屋内放置的计算机。计算机110接收所传送的图像数据和加速度传感器测量数据，通过使用这些数据来提取特征，然后进行估计位置的过程。计算机110可以被放置在远程站点，只要计算机110具有能够从智能电话108接收加速度传感器测量数据和图像数据的配置。在这种情况下，通过诸如WiFi站点的接收站点将信息转送给布置在远程站点中的计算机110。作为替换地，将要在后面描述的用于提取特征的过程可以在智能电话108中执行，因为当前的智能电话很强大。为了解释方便，在以下对示例性实施例的描述中假设在与智能电话108分离的计算机110中执行特征提取和位置估计过程。图2是方框图，示出计算机110的硬件配置。在图2中，CPU204，主存储器(RAM)206，硬盘驱动器(HDD)208，键盘210，鼠标212，以及显示器214被连接到系统总线202。本文档来自技高网...

【技术保护点】
一种特征提取方法，用于通过计算机处理从图像中提取特征，该方法包括以下步骤：从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的加速度数据；基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量；通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点；对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量；获得连接每个像素与所述消失点的连接线向量；基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围之内，识别竖直边缘；获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中；基于所述变量数组提取关键点；和从所述关键点计算特征量。

【技术特征摘要】
【国外来华专利技术】2012.08.15 JP 2012-1799941.一种特征提取方法，用于通过计算机处理从图像中提取特征，该方法包括以下步骤：从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的加速度数据；基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量；通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点；对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量；获得连接每个像素与所述消失点的连接线向量；基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围之内，识别竖直边缘；获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中；基于所述变量数组提取关键点；和从所述关键点计算特征量。2.如权利要求1所述的方法，其中所述加速度测量装置是加速度传感器。3.如权利要求1所述的方法，其中所述获得竖直边缘的强度和并且将所述和写入到预定的变量数组中的步骤包括以下步骤：计算所述微分向量和(u'-u,v'-v)的内积的绝对值，并且将所述绝对值写入到所述变量数组中，其中(u,v)是屏幕坐标并且(u',v')是消失点。4.如权利要求1所述的方法，其中提取关键点的步骤包括以下步骤：将所述变量数组假设为长度沿水平方向的图像，并且通过使用DoG函数来计算极值。5.如权利要求1所述的方法，其中所述移动设备是智能电话。6.如权利要求1所述的方法，其中所述计算特征量的步骤包括计算HoG的步骤。7.如权利要求1所述的方法，其中一部分步骤或全部步骤由移动设备执行。8.一种特征提取装置，用于通过计算机处理从图像中提取特征，所述装置中存储程序，所述程序使得计算机执行以下步骤：从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的加速度数据；基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量；通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点；对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量；获得连接每个像素与所述消失点的连接线向量；基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围之内，识别竖直边缘；获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中；基于所述变量数组提取关键点；和从所述关键点计算特征量。9.如权利要求8所述的装置，其中所述移动设备是智能电话。10.如权利要求8所述的装置，其中所述加速度测量装置是加速度传感器。11.如权利要求8所述的装置，其中所述获得竖直边缘的强度和并且将所述和写入到预定的变量数组中的步骤包括以下步骤：计算所述微分向量和(u'-u,v'-v)的内积的绝对值，并且将所述绝对值写入到所述变量数组中，其中(u,v)...

【专利技术属性】
技术研发人员：高桥俊博，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US