一种基于手机摄像头和传感器的多模态室内测距及定位方法技术

本发明专利技术公开了一种基于手机摄像头和传感器的多模态室内测距及定位方法。通过融合智能手机的多种类型数据寻求更易部署、更精准的定位策略。本发明专利技术克服了基于单目摄像机定位的尺度不确定和漂移问题，并改善了传感器定位方法的误差累积。包括以下步骤：(1)参考内置传感器数据划分检测的目标区域，并匹配图像特征点；(2)根据特征匹配结果计算图像间的变换矩阵，矫正图像角度以确保其与用户拍摄朝向的一致性；(3)识别图像中的多目标物体并输出其在图像空间的坐标；(4)利用传感器数据对提取的运动特征及图像信息进行校正；(5)基于上述步骤测量结果，求解用户到图像中物体的实际角度及距离，实现定位。

【技术实现步骤摘要】
一种基于手机摄像头和传感器的多模态室内测距及定位方法
本专利技术公开了一种基于手机摄像头和传感器的多模态室内测距及定位方法，主要用于解决在室内环境中结合图像、手机内置传感器以及WiFi信号等方法进行用户定位的问题。本专利技术涉及图像检测和无线网络
，是一种融合多模态数据进行室内测距及定位的优化方法。
技术介绍
随着更多物联网设备如智能手机、平板电脑、可穿戴设备等性能的飞速增长，和基于定位的应用增加，位置感知发挥了越来越重要的作用。其中，室外位置服务已经成熟，基于GPS和地图的位置服务被广泛应用，并成为各种移动设备被使用最多的应用之一。然而，室内环境下的定位一直是一个很多问题未被解决的领域。为解决这些问题，文献1(Indoorlocalizationviamulti-modalsensingonsmartphones)提出首先使用传感器数据(WiFi和惯性测量)估计粗略位置，然后通过室内几何推理来利用语义信息，最后将候选图像与查询图像匹配以返回估计位置。该方法加快了基于图像的本地化流程，但构建数据库的复杂度和成本较高。文献2(CrowdMap：AccurateReconstructionofIndoorFloorPlansfromCrowdsourcedSensor-RichVideos)提出结合手机IMU传感器和视频数据跟踪摄像头位置，进而进行用户定位和场景重建。其特点是设计一个基于多类传感器的分层系统，逐步筛选精度高的定位数据。但它预设几百个房间的平面布局和场景信息，复杂度较高，通用性不强。专利1(一种单目测距定位检测系统及其检测方法)提出在图像中检测人脸信息，计算人脸图像对应的目标人物到图像传感器之间的距离来进行定位。该方法精度较高但需要存储场所关联人物的全部人脸图像信息，并且不断迭代调整距离阈值，计算量较大。专利2(一种基于点特征的单目视觉位姿测量方法)提出以摄像机作为测量传感器，配合特殊的点特征合作标志器组成测量系统，通过图像处理找到满足标志器模型约束的特征点区域，利用P3P方法实现物体间的相对位置测量。该方法适用于复杂多变的背景和光照条件，但最终测量的是两个物体间的相对距离及位姿，对用户这个目标对象的特征处理不够明确。本专利技术的意义在于不同于以往的室内定位的研究，在目标测距及定位的最终目标下，如果仅利用智能手机单目摄像头采集的图像，基于图像空间和物理空间的几何变换关系进行位置估算，会导致定位依赖特定环境、可移植性低的问题；单纯的利用传感器数据进行位置推算，会产生内在误差累积。所以，本专利技术不拘泥于对特定的环境和应用采取有针对性的方案，而是着重于考虑用传感器数据补充单目定位中的距离和尺度信息，用单目采集的图像特征提高传感器定位中的准确率。这个思路，一方面丰富了定位中的场景特征；另一方面提高了处理运动数据的效率，有助于实现实时性、可靠性更强的室内定位系统。本专利技术采用通用性良好的定位模型，为用户输出其相对单个或多个物体的位置，为深度提取以及场景重建等应用领域提供了新的可能性。
技术实现思路
[专利技术目的]：本专利技术主要解决利用手机单目摄像头及其内置传感器对用户进行室内测距及定位的问题。[技术方案]：本专利技术的解决方案主要包括以下内容：(1)图像数据处理：图像数据模块是整个系统处理过程的重要分支之一，为后续的定位模型提供了基本信息，主要包含以下步骤：特征匹配、变换矩阵计算以及目标的分类及检测。1)特征匹配：特征匹配的目的在于为下一步的变换矩阵提供计算依据，为目标分类提供数据集训练的信息来源。主要包含：划分目标检测范围、检测并匹配图像特征点和去除错误匹配点的三项步骤。其中，划分目标检测范围是为了在结合传感器补充移动数据的前提下，计算两幅图像之间的距离，交换重叠区域信息，降低特征匹配的算法复杂度；特征点检测及匹配部分运用改进的SIFT算法对目标区域进行应用，获取对应的矩阵信息；去除错误匹配点有助于降低错误特征点的干扰，提高匹配模块的检测精度。2)变换矩阵计算：利用图像进行定位需要通过改变摄像机的位置获取两幅图像，然后利用提取的图像匹配特征点对并依据空间物点与所成像点的投影几何关系得到摄像机坐标系和物体坐标系的空间位姿参数。在这个过程中，需要根据两次拍摄过程中手机所在的位置来确定两处摄像机坐标系的关系，即计算两幅图像之间的相对变换矩阵，来调整各幅图像的方位与用户拍摄朝向的一致性。3)目标的分类及检测：这里，结合前两步的结果，采用基于深度学习的目标分类与检测方法，识别用户拍摄图像中的单个或多个目标物体，获取每个目标物体到其检测框的几何距离。计算各物体的中心检测点在图像坐标系中的坐标。进一步地，输出各物体在每幅图像中相对于两条拍摄的视觉边界的距离比例。(2)传感器数据对图像的校正机制：传感器数据模块是整个系统处理过程中的另一重要分支，为矫正图像数据中的某些误差和信息缺失提供了保障，也为后续的模型求解提供了部分基本数据来源。处理过程主要包含以下两个方面：1)首先，通过手机内置的加速度计和陀螺仪可以获取用户在两个拍摄点之间的移动距离和转动方向，为图像的各类计算提供现实参考。2)其次，一方面，在无线环境下，通过手机在移动过程中穿过的菲涅尔区域边界数量确定用户的运动数据；另一方面，通过手机超声波测量在移动过程中，每个频率在固定长度呈现的峰值的数目来获得手机运动的绝对距离。参考这两方面的数据，为图像数据的处理提供补充和校正机制。(3)定位模型求解：本专利技术提出一种用户到场景中目标物体的距离和方位测量的定位模型。在以上步骤已知图像空间中物体的对应距离及其比例、物理空间中两次拍摄点的真实移动距离以及物点在图像坐标系和物理坐标系的对应关系的基础上，通过几何运算可以进一步地求解用户到室内场景中的某个目标物体的距离和角度，从而实现用户的位置估计。[有益效果]：本专利技术使用智能手机的单目摄像头和内置传感器进行用户到室内场景中的目标物体的距离和位置测量，相较于传统的室内定位方法有着易于部署、成本低以及预测精度高的优点。在室内用户定位的基础上，为进一步的场景重建和单目深度估计应用提出了新的可能性。最后，本专利技术的设计保证了整个机制的真实性。附图说明图1系统流程图图2基于两幅图像的目标定位模型图3传感器数据处理流程图4测距及定位模型具体实施方式以下结合附图和具体实施案例对本专利技术做具体的介绍。如附图1所示，本专利技术为一种基于手机单目摄像头和传感器的多模态室内定位方法，分为三个阶段，图像数据处理、传感器数据校正机制和定位模型求解。1.图像数据处理1.1图像的特征点检测和匹配：利用用户从两个定点由手机单目摄像头采集的图像数据，提取场景特征，并寻求两幅图像之间的坐标对应关系。其具体过程如下：1)由传感器数据计算图像间的移动距离，检索场景的重叠信息，去除无关背景噪声，划分特征匹配的目标区域；2)采用局部特征检测算法(SIFT)，分别对两幅拍摄图像进行特征点提取，根据其有关尺度和方位的描述子得到特征，并进行图像间的特征点匹配。其中，一幅二维图像的尺度空间定义为：L(x，y，σ)＝G(x，y，σ)*I(x，y)其中，G(x，y，σ)为尺度可变高斯函数，(x，y)用来描述空间的尺度坐标，σ表示图像的平滑程度；3)通过随机抽样一致(RANSAC)算法在一组图像特征本文档来自技高网...

【技术保护点】
1.基于手机摄像头和传感器的多模态室内测距及定位系统，其特征在于：(1)特征匹配阶段，检测相同的点在两幅图像中的不同位置，通过尺度不变特征变化(SIFT)算法进行特征点的提取和自动匹配；(2)目标检测阶段，在获取各目标物体在图像空间到视觉边界的距离基础上，分割并识别多个物体，提供更丰富的检测数据和空间信息；(3)多模态数据融合阶段，在特征点检测之前，首先由手机内置传感器补充检测区域信息，减小匹配模块的复杂度；利用传感器数据解决单目测距中的尺度和距离缺失问题，与图像数据进行补充以及校正；(4)定位模型求解阶段，通过用户拍摄的两张及以上的照片，结合图像数据和传感器数据，获取在物理空间上用户到图像中各物体的方位和距离；(5)单目测距及定位阶段，根据模型求解的结果测算用户到场景中某个物体的距离和角度，进而确定用户位置。结合图像中物体的识别结果，最终输出用户到多个物体的相对位置。

【技术特征摘要】
1.基于手机摄像头和传感器的多模态室内测距及定位系统，其特征在于：(1)特征匹配阶段，检测相同的点在两幅图像中的不同位置，通过尺度不变特征变化(SIFT)算法进行特征点的提取和自动匹配；(2)目标检测阶段，在获取各目标物体在图像空间到视觉边界的距离基础上，分割并识别多个物体，提供更丰富的检测数据和空间信息；(3)多模态数据融合阶段，在特征点检测之前，首先由手机内置传感器补充检测区域信息，减小匹配模块的复杂度；利用传感器数据解决单目测距中的尺度和距离缺失问题，与图像数据进行补充以及校正；(4)定位模型求解阶段，通过用户拍摄的两张及以上的照片，结合图像数据和传感器数据，获取在物理空间上用户到图像中各物体的方位和距离；(5)单目测距及定位阶段，根据模型求解的结果测算用户到场景中某个物体的距离和角度，进而确定用户位置。结合图像中物体的识别结果，最终输出用户到多个物体的相对位置。2.根据权利1要求，本发明中的特征检测及匹配方法，所述步骤(1)对图像的处理，分为以下步骤：(1)由手机内置加速度计和陀螺仪的测量数据，确定图像间距离，划分目标物体在照片中的区域；(2)SIFT特征匹配算法包括两个步骤，首先是SIFT特征的生成，即从两幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；其次，对尺度特征不变的点进行匹配；(3)通过Ransac算法去除错误匹配点，在特征匹配结果里，找到一个变换矩阵使目标区域内尽量多的特征点都符合这个变换关系，保留这部分检测结果作为匹配特征。3.根据权利1要求，本发明中的目标检测方法，所述步骤(2)的算法，主要包括以下步骤：(1)采用一种基于深度学习的目标分类与检测方法，识别图像拍摄的室内场景里的单个或多个目标物体；(2)获取每个目标物体到其检测框...

【专利技术属性】
技术研发人员：赵彦超，徐婧，钱红燕，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32