基于双目相机的空间定位方法及装置制造方法及图纸

本发明专利技术公开了基于双目相机的空间定位方法及装置。该方法包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。本发明专利技术实施例能够降低造价成本、增大可支持的移动范围。

Space positioning method and device based on binocular camera

The invention discloses a space positioning method and a device based on a binocular camera. The method includes: obtaining the binocular camera in the first frame image collected for the first time; the 3D point reconstruction on the first feature points extracted from the first image frame, in order to get the first feature points in the reference coordinate system of the first to obtain 3D coordinates; second frame image of the binocular camera in second when collected, the first time in the second time; extract second feature points matching with the first feature points from the second images, and get the second points in the first two dimensional coordinates of image plane coordinates; according to the first two-dimensional coordinates of the first three-dimensional coordinates the first feature and the second feature points, calculate the changes in position of the binocular camera from the first time to the second time. The embodiment of the invention can reduce cost cost and increase the mobile range that can be supported.

【技术实现步骤摘要】
基于双目相机的空间定位方法及装置
本专利技术涉及定位
，尤其涉及一种基于双目相机的空间定位方法及装置。
技术介绍
目前，虚拟现实(VirtualReality，缩写为VR)技术越来越被应用于现实生活中，使用户能够身临其境地融入到虚拟世界之中。现有的VR空间定位技术主要是依靠外部的激光塔扫射虚拟现实设备上的标定点以实现空间定位。但是，由于其需要外部的定位设备(激光塔)导致虚拟现实设备中有效使用空间有限(通常5m×5m)且造价高昂。同时，在使用中意外触碰定位设备使其位置发生改变时，还需要根据新的位置对整个定位系统重新进行初始化。可见，现有技术中的VR空间定位技术存在成本高、可支持的移动范围小、系统稳定性差等问题。
技术实现思路
为了解决上述问题，本专利技术提供一种基于双目相机的空间定位方法及装置，不仅造价成本低、可支持的移动范围大，还具有较强的系统稳定性。本专利技术提供一种基于双目相机的空间定位方法，该方法，包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。可选地，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像；以及所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，包括：根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。可选地，所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，还包括：根据所述第二三维坐标，确定所述第一特征点的深度信息；若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；并且，基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标，包括：基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。可选地，所述根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化，包括：采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第一误差大于所述第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。可选地，所述方法，还包括：获取所述第二帧图像的属性信息；基于所述属性信息，判断所述第二帧图像是否为关键帧图像；若为关键帧图像，则采用非线性图优化规则对基于采集时刻早于所述第二时刻的前帧图像计算得到的特征点三维坐标及位姿变化进行误差修正。可选地，所述方法，还包括：启动多线程；由所述多线程中的第一线程执行所述三维空间点重建；由所述多线程中的第二线程执行所述位姿变化计算，在所述第二线程执行所述位姿变化计算的同时，由所述第一线程对从采集时刻晚于所述第一时刻的图像中提取出的特征点进行三维空间点重建。本专利技术提供一种基于双目相机的空间定位装置，该装置，包括：第一获取模块，用于获取双目相机在第一时刻采集到的第一帧图像；重建模块，用于对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；第二获取模块，用于获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；提取模块，用于从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；计算模块，用于根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。本专利技术实施例提供的技术方案中，通过设置在虚拟设备上的双目相机对周围环境进行拍摄，并对双目相机前后时刻拍摄的图片进行特征点提取和匹配，对前一时刻拍摄的图片中的特征点进行三维空间点重建以得到三维空间点坐标，根据该三维空间点坐标以及后一时刻拍摄的图片中相匹配特征点的二维坐标，计算得到双目相机在前后时刻之间的位姿变化，从而实现对虚拟设备的空间定位。与现有技术相比，本专利技术只需在虚拟设备上设置双目相机即可，无需在空间设置昂贵的激光塔，不仅降低了成本，还避免了因激光塔的扫射范围的局限导致可支持的移动范围小以及因难以避免的对激光塔的意外碰撞导致的系统稳定性差等问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的基于双目相机的空间定位方法的流程示意图；图2为本专利技术一实施例提供的三角化原理示意图；图3为本专利技术又一实施例提供的基于双目相机的空间定位方法的流程示意图；图4为本专利技术一实施例提供的基于双目相机的空间定位装置的结构示意图；图5为本专利技术又一实施例提供的基于双目相机的空间定位装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。应当理解，尽管在本专利技术实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本专利技术实施例范围的情况下，第一XXX也可以被本文档来自技高网...

【技术保护点】
一种基于双目相机的空间定位方法，其特征在于，包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。

【技术特征摘要】
1.一种基于双目相机的空间定位方法，其特征在于，包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。2.根据权利要求1所述的方法，其特征在于，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像；以及所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，包括：根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。3.根据权利要求2所述的方法，其特征在于，所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，还包括：根据所述第二三维坐标，确定所述第一特征点的深度信息；若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；并且，基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标，包括：基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化，包括：采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第一误差大于所述第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。5.根据权利要求1-...

【专利技术属性】
技术研发人员：李舜铭，戴天荣，任玉川，曹进喜，宋浩冉，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东,37