一种定位方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种定位方法、装置及设备，应用于电子设备，其中，所述方法包括：分别获取惯性传感器在图像采集器采集当前帧与参考帧时检测到的电子设备的位姿；确定使得参考帧和当前帧之间光度误差与惯性传感器检测的相对运动误差之和最小的相对位姿；利用参考帧对应的位姿和相对位姿得到当前帧时电子设备位姿；并且能够获得当前帧的光流，在光流大于预设阈值的情况下，将当前帧作为新关键帧并利用之前保存的关键帧，通过最小化相邻两帧关键帧之间光度误差与相对运动误差之和的方式，来对各个关键帧的位姿进行优化，将位姿优化后的新关键帧作为新参考帧。应用本发明专利技术实施例提供的方案能够提高在极端环境下定位结果的鲁棒性。

【技术实现步骤摘要】
一种定位方法、装置及设备
本专利技术涉及定位导航
，特别是涉及一种定位方法、装置及设备。
技术介绍
自主定位是机器人自主导航系统的核心组成部分，机器人能够在自主定位的基础上实现障碍物规避、自主导航等功能。现有技术中，机器人可以利用视觉里程计来进行自主定位，具体包括：利用安装在机器人上的相机实时拍摄图像通过视觉里程计(包括直接法里程计和特征点法里程计)来估计自身的位姿，也就是得到自身的位置和姿态，从而完成自主定位。虽然，现有技术中机器人能够利用视觉里程计来进行自主定位，但是，由于相机在拍摄图像时容易受到光照变化、运动物体、相机遮挡和少纹理场景等因素的影响，使得通过视觉里程计估计自身的位姿时出现偏差甚至完全丢失。也就是说机器人应用上述方式进行自主定位时，定位结果受上述环境中的各种极端因素的影响，鲁棒性差。
技术实现思路
本专利技术实施例的目的在于提供一种定位方法、装置及设备，以实现提高定位结果的鲁棒性。具体技术方案如下：本专利技术实施的一方面，提供了一种定位方法，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备惯性运动信息的惯性传感器，所述方法包括：获取所述图像采集器采集的当前帧；获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；获取所述惯性传感器在所述图像采集器采集参考帧时检测到的所述电子设各的参考帧位姿；确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。可选的，在所述确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿的步骤之前，还包括：获得所述当前帧的图像质量因子，其中，所述图像质量因子用于表示所述参考帧中各个像素点灰度值的梯度变化；根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef；相应地，所述确定使得所述参考帧和当前帧之间光度误差与相对运动误差之和最小的相对位姿的步骤，包括：确定使得L_E+λef*MV_E的结果最小的相对位姿，其中，MV_E表示当前帧与参考帧之间相对运动误差，L_E表示当前帧与参考帧之间光度误差。可选的，所述根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef的步骤，包括：根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef。可选的，所述根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef的步骤，包括：根据所述当前帧位姿表征的运动参数，计算第一权值；根据所述图像质量因子，计算第二权值；根据所述第一权值和所述第二权值，确定所述相对运动误差的权值λef。可选的，所述根据所述当前帧位姿表征的运动参数，计算第一权值的步骤，包括：获得所述图像采集器采集所述当前帧时所述电子设备的线加速度、向心加速度以及速度；利用所获得的线加速度、向心加速度以及速度计算第一权值。可选的，所述利用所获得的线加速度、向心加速度以及速度计算第一权值，包括：利用以下表达式计算第一权值：λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))其中，λe表示所述第一权值，al表示所述图像采集器采集所述当前帧时所述电子设备的线加速度，ar表示所述图像采集器采集所述当前帧时所述电子设备的向心加速度，v表示所述图像采集器采集所述当前帧时所述电子设备的速度，α、w、β1、β2、β3为预设的系数。可选的，所述根据所述图像质量因子，计算第二权值的步骤，包括：获得利用滑动窗口选择出的目标像素点的质量因子，其中，所述目标像素点为：所述当前帧中与相邻像素点的灰度差值大于预设数值的像素点；确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，其中，所述成熟点为：已知深度信息的像素点；根据所获得的质量因子和所确定的比例，计算第二权值。可选的，所述根据所获得的质量因子和所确定的比例，计算第二权值，包括：利用以下表达式计算第二权值：λc＝f1(qimage_quality)，其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示所述图像质量因子，ppix_quality表示所述质量因子，pph_ratio表示所述比例，σg表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的标准差，表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的均值，nph表示利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的数量，ndesired表示利用滑动窗口选择出所述目标像素点后预期的滑动窗口中成熟点的数量。可选的，所述根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位的步骤之后，还包括：获得所述当前帧的光流；在所述光流大于预设阈值的情况下，将所述当前帧作为新关键帧；将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿；对各个初始位姿进行调整，确定使第一残差能量、第二残差能量与第三残差能量之和最小的调整后的各个初始位姿，其中，所述第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，所述第二光度误差因变于与调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，所述第二残差能量表示：所述图像采集器采集每一关键帧时检测到的所述电子设备的位姿转化至平面坐标系后的位姿所表征的运动信息的和，所述第三残差能量表示：各个相对运动约束的和值，所述相对运动约束表示：针对相邻两帧关键帧，根据所述图像采集器采集该相邻两帧关键帧时所述电子设备的位姿与惯性传感器分别检测到的该相邻两帧关键帧对应的所述电子设备的位姿计算得到的约束；将新关键帧作为新的参考帧。可选的，利用以下步骤获得所述第二残差能量：确定图像采集器在世界坐标系下的位姿；根据所确定的位姿计算平面运动约束的误差；根据所计算的平面运动约束的误差计算第二残差能量。可选的，利用以下表达式分别计算平面运动约束的误差和第二残差能量：其中，Eg表示第二残差能量，Ωg表示权重矩阵，n表示关键帧数量，eg_i表示平面运动约束的误本文档来自技高网...

【技术保护点】
1.一种定位方法，其特征在于，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备惯性运动信息的惯性传感器，所述方法包括：/n获取所述图像采集器采集的当前帧；/n获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；/n获取所述惯性传感器在所述图像采集器采集参考帧时检测到的所述电子设备的参考帧位姿；/n确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；/n根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。/n

【技术特征摘要】
1.一种定位方法，其特征在于，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备惯性运动信息的惯性传感器，所述方法包括：
获取所述图像采集器采集的当前帧；
获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
获取所述惯性传感器在所述图像采集器采集参考帧时检测到的所述电子设备的参考帧位姿；
确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。


2.如权利要求1所述的方法，其特征在于，在所述确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿的步骤之前，还包括：
获得所述当前帧的图像质量因子，其中，所述图像质量因子用于表示所述参考帧中各个像素点灰度值的梯度变化；
根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef；
相应地，所述确定使得所述参考帧和当前帧之间光度误差与相对运动误差之和最小的相对位姿的步骤，包括：
确定使得L_E+λef*MV_E的结果最小的相对位姿，其中，MV_E表示当前帧与参考帧之间相对运动误差，L_E表示当前帧与参考帧之间第一光度误差。


3.如权利要求2所述的方法，其特征在于，所述根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef的步骤，包括：
根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef。


4.如权利要求3所述的方法，其特征在于，所述根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef的步骤，包括：
根据所述当前帧位姿表征的运动参数，计算第一权值；
根据所述图像质量因子，计算第二权值；
根据所述第一权值和所述第二权值，确定所述相对运动误差的权值λef。


5.如权利要求4所述的方法，其特征在于，所述根据所述当前帧位姿表征的运动参数，计算第一权值的步骤，包括：
获得所述图像采集器采集所述当前帧时所述电子设备的线加速度、向心加速度以及速度；
利用所获得的线加速度、向心加速度以及速度计算第一权值。


6.如权利要求5所述的方法，其特征在于，所述利用所获得的线加速度、向心加速度以及速度计算第一权值，包括：
利用以下表达式计算第一权值：
λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))
其中，λe表示所述第一权值，al表示所述图像采集器采集所述当前帧时所述电子设备的线加速度，ar表示所述图像采集器采集所述当前帧时所述电子设备的向心加速度，v表示所述图像采集器采集所述当前帧时所述电子设备的速度，α、w、β1、β2、β3为预设的系数。


7.如权利要求4所述的方法，其特征在于，所述根据所述图像质量因子，计算第二权值的步骤，包括：
获得利用滑动窗口选择出的目标像素点的质量因子，其中，所述目标像素点为：所述当前帧中与相邻像素点的灰度差值大于预设数值的像素点；
确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，其中，所述成熟点为：已知深度信息的像素点；
根据所获得的质量因子和所确定的比例，计算第二权值。


8.如权利要求7所述的方法，其特征在于，所述根据所获得的质量因子和所确定的比例，计算第二权值，包括：
利用以下表达式计算第二权值：
λc＝f1(qimage_quality)，



其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示所述图像质量因子，ppix_quality表示所述质量因子，pph_ratio表示所述比例，σg表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的标准差，表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的均值，nph表示利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的数量，ndesired表示利用滑动窗口选择出所述目标像素点后预期的滑动窗口中成熟点的数量。


9.如权利要求1所述的方法，其特征在于，所述根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位的步骤之后，还包括：
获得所述当前帧的光流；
在所述光流大于预设阈值的情况下，将所述当前帧作为新关键帧；
将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿；
对各个初始位姿进行调整，确定使第一残差能量、第二残差能量与第三残差能量之和最小的调整后的各个初始位姿，其中，所述第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，所述第二光度误差因变于调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，所述第二残差能量表示：所述图像采集器采集每一关键帧时检测到的所述电子设备的位姿转化至平面坐标系后的位姿所表征的运动信息的和，所述第三残差能量表示：各个相对运动约束的和值，所述相对运动约束表示：针...

【专利技术属性】
技术研发人员：龙学雄，
申请(专利权)人：杭州海康机器人技术有限公司，
类型：发明
国别省市：浙江;33