一种相机位姿确定方法和装置制造方法及图纸

本发明专利技术实施例提供了一种相机位姿确定方法和装置，所述方法包括：获取相机采集的多个图像帧；将非关键帧划分为多个图像块，从多个图像块中提取满足预设特征点条件的角点作为特征点，以及根据相邻的非关键帧之间匹配的特征点采用光流法确定第一相机相对位姿；从关键帧中提取特征点，根据相邻关键帧之间匹配的特征点采用特征点匹配法确定第二相机相对位姿；根据多个相邻非关键帧之间的第一相机相对位姿和相邻关键帧之间的第二相机相对位姿，确定当前关键帧对应的优化相机位姿。本发明专利技术实施例可以提高位姿精度，在位姿精度和处理效率上达到平衡。到平衡。到平衡。

【技术实现步骤摘要】
一种相机位姿确定方法和装置


[0001]本专利技术涉及图像处理
，特别是涉及一种相机位姿确定方法和一种相机位姿确定装置。

技术介绍

[0002]视觉里程计基于视觉图像对里程进行估计，被广泛应用于移动设备在未知环境的定位实现。视觉里程计架构通常分为前端和后端两大部分，前端负责构建多视角几何约束，后端基于前端的重投影误差做非线性最小二乘优化。
[0003]常用的前端分为特征点匹配法和光流法两种视觉方法。特征点匹配法采用匹配的特征点构建多个图像帧之间的共视约束，其特点是精度高，但是由于涉及到特征点提取以及特征描述子计算和匹配，所以存在计算量大，容易无匹配的缺点。光流法不做描述子的计算和匹配，直接通过光流来跟踪特征点，大大的减少了计算开销，但也存在精度相对较低和跟踪容易跟丢的问题。本质上，无论特征点法还是光流法，都需要依赖与场景中的特征点的稳定性。所以在一些特征点比较稀疏的弱纹理场景下，两种前端约束方法或多或少都存在稳定性问题。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种相机位姿确定方法和相应的一种相机位姿确定装置。
[0005]为了解决上述问题，本专利技术实施例公开了一种相机位姿确定方法，包括：
[0006]获取相机采集的多个图像帧；所述多个图像帧包括关键帧和非关键帧；
[0007]将所述非关键帧划分为多个图像块，从所述多个图像块中提取满足预设特征点条件的角点作为特征点，以及根据相邻的非关键帧之间匹配的特征点采用光流法确定第一相机相对位姿；
[0008]从所述关键帧中提取特征点，根据相邻关键帧之间匹配的特征点采用特征点匹配法确定第二相机相对位姿；
[0009]根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿，确定当前关键帧对应的优化相机位姿。
[0010]可选地，所述方法还包括：
[0011]从所述关键帧提取满足预设特征线条件的线段作为特征线；
[0012]根据相邻关键帧之间匹配的特征线，确定相邻关键帧之间的第三相机位姿；
[0013]所述根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿，确定当前关键帧对应的优化相机位姿，包括：
[0014]根据多个所述相邻非关键帧之间的第一相机相对位姿、所述相邻关键帧之间的第二相机相对位姿和相邻关键帧之间的第三相机位姿，确定当前关键帧对应的优化相机位姿。
[0015]可选地，所述根据多个所述相邻非关键帧之间的第一相机相对位姿、所述相邻关键帧之间的第二相机相对位姿和相邻关键帧之间的第三相机位姿，确定当前关键帧对应的优化相机位姿，包括：
[0016]根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿进行卡尔曼滤波融合，确定当前关键帧对应的估计相机位姿；
[0017]根据所述当前关键帧对应的估计相机位姿，确定针对所述当前关键帧的特征点重投影误差；
[0018]根据所述相邻关键帧之间的第三相机位姿，确定针对所述当前关键帧的特征线重投影误差；
[0019]基于针对所述当前关键帧的特征点重投影误差和特征线重投影误差，确定所述当前关键帧对应的优化相机位姿。
[0020]可选地，所述从所述多个图像块中提取满足预设特征点条件的角点作为特征点，包括：
[0021]对所述多个图像块进行低通滤波处理；
[0022]分别对经过低通滤波处理的各个图像块中的像素点，计算角点化响应值；
[0023]分别对各个图像块中各个像素点对应的角点化响应值进行排序，根据排序结果选取预设个数的像素点作为初始角点；
[0024]确定各个图像块中初始角点的分散程度；
[0025]根据各个图像块中初始角点的分散程度和角点化响应值，为各个图像块设置对应的筛选比例；
[0026]根据各个图像块的筛选比例，从对应的初始角点中筛选候选角点；
[0027]随机采样一致性算法，从所述候选角点中筛选目标角点。
[0028]可选地，所述确定各个图像块中初始角点的分散程度，包括：
[0029]对所述图像块的初始角点进行聚类，得到聚类中心；
[0030]确定各个初始角点到所述聚类中心的像素距离，并根据各个初始角点到所述聚类中心的像素距离确定分散程度。
[0031]可选地，所述分散程度为图像块中各个初始角点的像素距离和值，所述根据各个图像块中初始角点的分散程度和角点化响应值，为各个图像块设置对应的筛选比例，包括：
[0032]对所述图像块的初始角点的角点化响应值，求均方误差和值；
[0033]根据所述图像块中各个初始角点的像素距离和值以及角点化响应值的均方误差和值，计算评价参数；
[0034]根据各个图像块的评价参数，确定各个图像块的筛选比例。
[0035]可选地，所述从所述关键帧中提取特征点，根据相邻关键帧之间匹配的特征点确定第二相机相对位姿，包括：
[0036]以关键帧中的特征点为中心设置预设像素大小的窗口；
[0037]确定所述特征点的灰度值与窗口中其他像素点的灰度值的差值的绝对值；
[0038]根据所述特征点与窗口中的其他像素点之间的灰度差值的绝对值，生成邻接矩阵；
[0039]根据所述邻接矩阵，生成描述向量作为特征点的描述子；
[0040]根据相邻关键帧的特征点的位置信息和描述子，确定相邻关键帧之间匹配的特征点；
[0041]根据所述相邻关键帧之间匹配的特征点确定相邻关键帧之间的第二相机相对位姿。
[0042]可选地，所述从所述关键帧提取满足预设特征线条件的线段作为特征线，包括：
[0043]检测所述关键帧中的线段，以不平行的两线段作为线段对；
[0044]对所述线段对，筛选出满足预设特征线条件的线段对作为特征线；所述预设特征线条件包括：线段长度大于或等于预设长度阈值，线段对的交点相对线段对的距离小于或等于预设距离阈值，线段对的交点在图像之内。
[0045]可选地，所述根据相邻关键帧之间匹配的特征线，确定相邻关键帧之间的第三相机位姿，包括：
[0046]以关键帧中不平行的两特征线作为特征线段对；
[0047]以特征线段对的交点的锐角角平分线为描述子的方向量，以交点中心像素块的像素大下作为描述子的尺度量，确定所述特征线段对的特征线的描述子；
[0048]根据相邻关键帧的特征线的位置信息和描述子，确定相邻关键帧之间匹配的特征线；
[0049]根据相邻关键帧之间匹配的特征线，确定相邻关键帧之间的第三相机位姿。
[0050]本专利技术实施例还公开了一种相机位姿确定装置，包括：
[0051]图像获取模块，用于获取相机采集的多个图像帧；所述多个图像帧包括关键帧和非关键帧；
[0052]第一位姿确定模块，用于将所述非关键帧划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机位姿确定方法，其特征在于，包括：获取相机采集的多个图像帧；所述多个图像帧包括关键帧和非关键帧；将所述非关键帧划分为多个图像块，从所述多个图像块中提取满足预设特征点条件的角点作为特征点，以及根据相邻的非关键帧之间匹配的特征点采用光流法确定第一相机相对位姿；从所述关键帧中提取特征点，根据相邻关键帧之间匹配的特征点采用特征点匹配法确定第二相机相对位姿；根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿，确定当前关键帧对应的优化相机位姿。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述关键帧提取满足预设特征线条件的线段作为特征线；根据相邻关键帧之间匹配的特征线，确定相邻关键帧之间的第三相机位姿；所述根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿，确定当前关键帧对应的优化相机位姿，包括：根据多个所述相邻非关键帧之间的第一相机相对位姿、所述相邻关键帧之间的第二相机相对位姿和相邻关键帧之间的第三相机位姿，确定当前关键帧对应的优化相机位姿。3.根据权利要求2所述的方法，其特征在于，所述根据多个所述相邻非关键帧之间的第一相机相对位姿、所述相邻关键帧之间的第二相机相对位姿和相邻关键帧之间的第三相机位姿，确定当前关键帧对应的优化相机位姿，包括：根据多个所述相邻非关键帧之间的第一相机相对位姿和所述相邻关键帧之间的第二相机相对位姿进行卡尔曼滤波融合，确定当前关键帧对应的估计相机位姿；根据所述当前关键帧对应的估计相机位姿，确定针对所述当前关键帧的特征点重投影误差；根据所述相邻关键帧之间的第三相机位姿，确定针对所述当前关键帧的特征线重投影误差；基于针对所述当前关键帧的特征点重投影误差和特征线重投影误差，确定所述当前关键帧对应的优化相机位姿。4.根据权利要求1所述的方法，其特征在于，所述从所述多个图像块中提取满足预设特征点条件的角点作为特征点，包括：对所述多个图像块进行低通滤波处理；分别对经过低通滤波处理的各个图像块中的像素点，计算角点化响应值；分别对各个图像块中各个像素点对应的角点化响应值进行排序，根据排序结果选取预设个数的像素点作为初始角点；确定各个图像块中初始角点的分散程度；根据各个图像块中初始角点的分散程度和角点化响应值，为各个图像块设置对应的筛选比例；根据各个图像块的筛选比例，从对应的初始角点中筛选候选角点；随机采样一致性算法，从所述候选角点中筛选目标角点。5.根据权利要求4所述的方法，其特征在于，所述确定各个图像块中初始角点的分散程
度，包括：对所述图像块的初始角点进行聚类，得到聚类中心；确定各个初始角点到所述聚类中心的像素距离，并根据各个初始角点到所述聚类中心的像素距离确定分散程度。6.根据权利要求5所述的方法，其特征在于，所述分散程度为图像块中各个初始角点的像素距离和值，所述根据各个图像块中初始角点的分散程度和角点化响应值，为各个图像块设置对应的筛选比例，包括：...

【专利技术属性】
技术研发人员：赵德力，彭登，陶永康，傅志刚，曾阳露，
申请(专利权)人：广东汇天航空航天科技有限公司，
类型：发明
国别省市：