一种视觉定位方法及装置制造方法及图纸

本说明书公开了一种视觉定位方法及装置，可先确定图像传感器采集的连续两帧图像，并根据该两帧图像以及惯性数据，确定该图像传感器的位姿变化数据，之后确定该两帧图像的本质矩阵，再分别确定该两帧图像中的各特征点，并进行特征点匹配得到各特征点对，然后针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度，最后根据预设阈值区间，从各特征点对中确定匹配度落入该预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。通过本质矩阵确定各特征点对的匹配度，以筛选出匹配度较高的特征点发送至后端，则后端根据匹配度高的特征点对进行视觉定位，定位更准，构建地图的精度更高。

A visual positioning method and device

【技术实现步骤摘要】
一种视觉定位方法及装置
本申请涉及计算机
，尤其涉及一种视觉定位方法及装置。
技术介绍
目前，视觉定位系统通常由前端和后端组成，其中，前端为采集图像数据、进行特征点提取及特征点匹配的终端，例如，机器人、车辆等，后端为根据前端匹配到的特征点进行优化处理、定位以及构建地图的设备，通常为服务器。其中，前端确定出的特征点匹配的准确度，直接影响后端定位以及构建地图的精度，特征点匹配的准确度越高，视觉定位系统的精度越高。一般地，在现有技术中为了提高特征点匹配的准确度，前端还可以对匹配后得到的特征点对进行筛选。首先前端可对采集连续两帧图像(即，第一图像以及第二图像)分别进行特征点提取，确定第一图像包含的各第一特征点以及第二图像包含的各第二特征点。之后通过光流跟踪确定第一特征点与第二特征点之间的匹配关系，将匹配的第一特征点以及第二特征点作为特征点对。最后对各特征点对进行筛选。具体的，在对特征点对进行筛选时，前端可根据各特征点对中各特征点的位置坐标，确定对应于两帧图像的基本矩阵。根据确定出的基本矩阵，通过随机抽样一致(Randomsampleconsensus，RANSAC)算法剔除外点(即，第一特征点与第二特征点匹配度较低的点)，并将确定出的内点(即，第一特征点与第二特征点匹配度较高的点)发送至后端进行定位。但是，当通过RANSAC剔除的外点占比较大时，说明光流跟踪确定出的特征点对并不准确，使得根据基本矩阵不能准确剔除外点。或者当确定出的特征点对数量较少时，也会导致确定出的基本矩阵的准确度降低，进一步导致RANSAC算法剔除外点不够准确，影响后端定位以及构建地图的精度。
技术实现思路
本说明书实施例提供一种视觉定位方法及装置，用于部分解决现有技术中存在的上述问题。本说明书实施例采用下述技术方案：本说明书提供的一种视觉定位方法，包括：确定图像传感器采集的连续两帧图像，并根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据；根据所述位姿变化数据，确定所述两帧图像的本质矩阵；分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，所述特征点对中的两个特征点分别位于不同的图像；针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度；根据预设阈值区间，从各特征点对中确定匹配度落入所述预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。可选地，根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据，具体包括：确定采集所述两帧图像期间，惯性测量单元采集到的惯性数据；根据所述两帧图像以及所述惯性数据，确定所述图像传感器的运动轨迹；根据确定出的运动轨迹，确定所述图像传感器的位姿变化数据。可选地，根据所述位姿变化数据，确定所述两帧图像的本质矩阵，具体包括：根据所述位姿变化数据，确定所述图像传感器的位移以及旋转矩阵；根据确定出的位移以及旋转矩阵，确定所述两帧图像的本质矩阵。可选地，所述连续两帧图像按照采集先后顺序分为第一图像以及第二图像；分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，具体包括：确定两帧图像中第一图像的特征点作为第一特征点，确定第二图像的特征点作为第二特征点；通过光流跟踪对各第一特征点与各第二特征点进行特征点匹配，确定各特征点对。可选地，针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度，具体包括：针对确定出的每个特征点对，确定该特征点对中第一特征点的位置坐标以及第二特征点的位置坐标；根据确定出的第一特征点的位置坐标、第二特征点的位置坐标以及本质矩阵，确定该特征点对中两个特征点的第一匹配度；其中，所述位置坐标为在所述图像传感器坐标系下的位置坐标。可选地，确定该特征点对中第一特征点的位置坐标以及第二特征点的位置坐标，具体包括：分别将该特征点对中的第一特征点的位置坐标以及第二特征点的位置坐标进行归一化处理，确定归一化后第一特征点的位置坐标以及第二特征点的位置坐标。可选地，所述方法还包括：确定所述本质矩阵对应的位移和旋转矩阵；当确定出的位移小于第一预设阈值时，针对确定出的每个特征点对，确定该特征点对中第一特征点的位置坐标以及第二特征点的位置坐标；根据确定出的第一特征点的位置坐标、第二特征点的位置坐标以及旋转矩阵，确定该特征点对中两个特征点的第二匹配度。可选地，所述预设阈值区间包含第一子区间以及第二子区间；根据预设阈值区间，从各特征点对中确定匹配度落入所述预设阈值区间内的特征点对，具体包括：当所述位移大于所述第一预设阈值时，确定所述第一匹配度落入第一子区间的特征点对；当所述位移小于所述第一预设阈值时，确定所述第二匹配度落入第二子区间的特征点对。本说明书提供一种视觉定位装置，包括：位姿变化数据确定模块，确定图像传感器采集的连续两帧图像，并根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据；本质矩阵确定模块，根据所述位姿变化数据，确定所述两帧图像的本质矩阵；匹配模块，分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，所述特征点对中的两个特征点分别位于不同的图像；匹配度确定模块，针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度；视觉定位模块，根据预设阈值区间，从各特征点对中确定匹配度落入所述预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述视觉定位方法。本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述视觉定位方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：在进行视觉定位时，可先确定图像传感器采集的连续两帧图像，并根据该两帧图像以及惯性测量单元采集到的惯性数据，确定该图像传感器的位姿变化数据，之后根据该位姿变化数据，确定该两帧图像的本质矩阵，再分别确定该两帧图像中的特征点进行匹配，得到各特征点对，其中，特征点对中的两个特征点分别位于不同的图像，然后针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度，最后根据预设阈值区间，从各特征点对中确定匹配度落入该预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。通过本质矩阵确定各特征点对的匹配度，以筛选出匹配度较高的特征点发送至后端，则后端根据匹配度高的特征点对进行视觉定位，定位更准，构建地图的精度更高。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例本文档来自技高网...

【技术保护点】
1.一种视觉定位方法，其特征在于，包括：/n确定图像传感器采集的连续两帧图像，并根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据；/n根据所述位姿变化数据，确定所述两帧图像的本质矩阵；/n分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，所述特征点对中的两个特征点分别位于不同的图像；/n针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度；/n根据预设阈值区间，从各特征点对中确定匹配度落入所述预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。/n

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：
确定图像传感器采集的连续两帧图像，并根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据；
根据所述位姿变化数据，确定所述两帧图像的本质矩阵；
分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，所述特征点对中的两个特征点分别位于不同的图像；
针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度；
根据预设阈值区间，从各特征点对中确定匹配度落入所述预设阈值区间内的特征点对，并根据筛选出的各特征点对，进行视觉定位。


2.如权利要求1所述的方法，其特征在于，根据所述两帧图像以及惯性测量单元采集到的惯性数据，确定所述图像传感器的位姿变化数据，具体包括：
确定采集所述两帧图像期间，惯性测量单元采集到的惯性数据；
根据所述两帧图像以及所述惯性数据，确定所述图像传感器的运动轨迹；
根据确定出的运动轨迹，确定所述图像传感器的位姿变化数据。


3.如权利要求1所述的方法，其特征在于，根据所述位姿变化数据，确定所述两帧图像的本质矩阵，具体包括：
根据所述位姿变化数据，确定所述图像传感器的位移以及旋转矩阵；
根据确定出的位移以及旋转矩阵，确定所述两帧图像的本质矩阵。


4.如权利要求1所述的方法，其特征在于，所述连续两帧图像按照采集先后顺序分为第一图像以及第二图像；
分别确定所述两帧图像中的各特征点，并进行特征点匹配，得到各特征点对，具体包括：
确定两帧图像中第一图像的特征点作为第一特征点，确定第二图像的特征点作为第二特征点；
通过光流跟踪对各第一特征点与各第二特征点进行特征点匹配，确定各特征点对。


5.如权利要求4所述的方法，其特征在于，针对每个特征点对，根据确定出的本质矩阵，确定该特征点对中两个特征点的匹配度，具体包括：
针对确定出的每个特征点对，确定该特征点对中第一特征点的位置坐标以及第二特征点的位置坐标；
根据确定出的第一特征点的位置坐标、第二特征点的位置坐标以及本质矩阵，确定该特征点对中两个特征点的第一匹配度；
其中，所述位置坐标为在所述图像传感器坐标系下的位置坐标。


6.如...

【专利技术属性】
技术研发人员：郎小明，刘新民，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11