一种基于物理模型成像仿真的视觉定位方法及系统技术方案

本发明专利技术涉及视觉定位导航、光线追踪、成像仿真技术领域，特别涉及一种基于物理模型成像仿真的视觉定位方法及系统。所述方法包括：步骤1）获取当前时刻未优化的位姿状态量估计值；步骤2）实时生成所述目标在当前时刻的仿真渲染图像；步骤3）获取当前时刻位姿状态量观测值；步骤4）利用所述当前时刻未优化的位姿状态量估计值和所述当前时刻位姿状态量观测值，计算并输出当前时刻位姿状态量的最优估计值。本发明专利技术避免了传统视觉里程计前端的漂移误差随运行距离累计问题，极大提升了不具备回环检测情况下的定位定姿精度，缓解了后端优化的不确定性，且有助于目标检测、语义构建等相关研究方向的发展。方向的发展。方向的发展。

【技术实现步骤摘要】
一种基于物理模型成像仿真的视觉定位方法及系统


[0001]本专利技术涉及视觉定位导航、光线追踪、成像仿真
，特别涉及一种基于物理模型成像仿真的视觉定位方法及系统。

技术介绍

[0002]随着科技进步，机器人技术被广泛应用于人类生产生活中，例如：工业机器人、服务型机器人、智能交通与自动驾驶领域、无人机在非合作场景下的自主降落等典型应用场景。机器人若完成指定任务，其必须具备自主定位与导航能力，即对周围环境能够实时进行探测，精确计算自身位置和姿态。
[0003]视觉里程计(Visual Odometry, VO)作为视觉实时定位与建图(Visual Simultaneous Localization and Mapping，V
‑
SLAM)算法的前端部分，通常分为直接法和特征点法两类，主要用于估计相机在相邻图像之间的运动信息，给后端提供较好的初始值。直接法一般为根据像素亮度信息计算光流，进而估计相机运动，在弱纹理条件具有优势；特征点法一般通过提取场景中目标特征并计算描述子，进而估计帧间运动信息，其由于对光照变换、动态物体不敏感等优势，成为视觉里程计的主流方法。与其他方式相比，基于视觉的定位定姿方案与人类感知环境方式最为接近，具有信息量丰富、设备简单、成本低廉、应用范围广泛等优势，在诸多位姿估计方案中脱颖而出。
[0004]虽然视觉定位技术在理论方法及工程应用方面均取得长足进步，但由于实际应用场景错综复杂，目前视觉定位技术仍然有一些关键问题亟待解决，主要表现为：视觉定位系统的前端是通过帧间匹配算法恢复出两帧图像之间的运动信息，进而增量式地估计出连续位姿信息，因此不可避免的具有累计漂移误差，目前主要通过后端部分的回环检测环节进行矫正。但由于自动驾驶、无人机降落、非合作目标接近等诸多典型场景一般不具备往复运动条件，因此回环检测算法难以有效运行，导致后端优化不确定性较大，无法有效的对累计误差进行矫正，制约了视觉定位技术的精度性能。因此，如何在视觉里程计前端阶段降低位姿估计的误差，成为了相关领域学者研究的热点问题。
[0005]目前，对于视觉定位算法前端误差的优化方案主要集中于多源数据融合方向。多源数据融合是使用多重传感器，并利用各传感器探测数据相结合，以优化前端误差。基于多源数据融合的视觉里程计目前主要包括：融合单目视觉与惯导数据的VINS系列和融合激光雷达点云数据的方案，例如：利用视觉惯性里程计的输出作为当前位姿的先验信息，并融合激光雷达数据进行优化；近年来也有研究者通过融合图像数据提升视觉里程计性能，例如将单目视觉方法中的离焦法和聚焦法结合起来，提高弱纹理条件下定位的稳定性与可靠性等。
[0006]基于多源数据融合的视觉里程计，虽然通过多源数据融合的方式在一定程度上校正了前端部分累计漂移误差，降低了位姿估计的误差，但是其结合多重传感器的方式，使视觉定位系统在引入其他组件的同时，增加了系统复杂性，带来了系统成本上升、体积增大和应用领域受限问题。

技术实现思路

[0007]本专利技术的目的在于，克服现有具有传统视觉里程计的视觉定位系统由于累计漂移误差导致前端部分位姿估计不准确的问题以及具有基于多源数据融合的视觉里程计的视觉定位系统成本高、系统复杂、体积大和应用领域受限的问题，从而提出一种基于物理模型成像仿真的视觉定位方法与系统。
[0008]为解决上述技术问题，本专利技术的技术方案所提供的基于物理模型成像仿真的视觉定位方法，包括以下步骤：步骤1）通过图像校正预处理模块，对光学系统采集的目标的实际拍摄图像帧序列进行预处理；通过实拍图像特征模块，对预处理后的所述实际拍摄图像帧序列中的当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行特征提取和特征匹配操作；通过实拍图像帧间位姿估计模块对匹配成功的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行帧间相机运动估计操作，以获取当前时刻未优化的位姿状态量估计值；步骤2）通过基于物理模型的成像仿真引擎，基于光线追踪理论，对所述目标的三维模型进行成像仿真，以实时生成所述目标在当前时刻的仿真渲染图像；步骤3）通过虚实图像特征模块，对所述目标在当前时刻的所述仿真渲染图像和所述当前时刻实际拍摄图像帧进行特征提取与特征匹配操作；通过虚实图像帧间位姿估计模块对匹配成功的所述目标在当前时刻的仿真渲染图像与所述当前时刻实际拍摄图像帧进行帧间相机运动估计操作，以获取当前时刻位姿状态量观测值；步骤4）通过计算模块，利用所述当前时刻未优化的位姿状态量估计值和所述当前时刻位姿状态量观测值，计算并输出当前时刻位姿状态量的最优估计值。
[0009]作为上述方法的一种改进，所述步骤1）具体包括：步骤1
‑
1）通过所述图像校正预处理模块，对光学系统采集的目标的实际拍摄图像帧序列进行畸变矫正；步骤1
‑
2）通过所述实拍图像特征模块，按照时序提取预处理后的所述实际拍摄图像帧序列中的当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧；步骤1
‑
3）通过所述实拍图像特征模块，提取所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧的特征点，并基于预设的第一汉明距离范围，获取所述当前时刻实际拍摄图像帧和与前一时刻实际拍摄图像帧之间的匹配特征点对，当最大汉明距离与最小汉明距离区间内的匹配特征点对的数量大于第一预设值时，认为匹配成功；其中，所述第一预设值大于8；步骤1
‑
4）通过所述实拍图像帧间位姿估计模块，基于随机采样一致性算法，对所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧之间的匹配成功的匹配特征点对进行匹配筛选，以排除其中的外点；步骤1
‑
5）通过所述实拍图像帧间位姿估计模块，基于对极几何原理，对匹配筛选后的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行帧间相机运动估计操作,以获得匹配筛选后的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧之间的当前时刻未优化的位姿状态量估计值，其中，所述当前时刻未优化的位姿状态量估计值为：
；其中，为估计独立高斯噪声，其服从参数为的高斯分布，为状态转移函数，为前一时刻位姿状态量估计值；其中，，为目标在前一时刻的位置信息，为目标在前一时刻的姿态信息；所述当前时刻未优化的位姿状态量估计值包括：目标在当前时刻未优化的估计位置信息和目标在当前时刻的未优化的估计姿态信息。
[0010]作为上述方法的一种改进，所述步骤2）具体包括：步骤2
‑
1）探测所述目标，形成目标的三维点云文件，并进行三角化面片处理，以得到目标的数字化三维模型；步骤2
‑
2）对所述目标的数字化三维模型的表面进行处理，通过三维建模软件，对所述目标的数字化三维模型的表面材质的物理属性进行编辑，使目标的数字化三维模型的表面具有真实物理信息；步骤2
‑
3）针对已经编辑好表面材质的物理属性的目标的数字化三维模型，运行基于物理模型成像仿真的渲染算法，以得到目标在当前时刻的仿真渲染图像。本步骤所述成像仿真算法，依据相机传感器光谱响应曲线和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理模型成像仿真的视觉定位方法，包括以下步骤：步骤1）通过图像校正预处理模块，对光学系统采集的目标的实际拍摄图像帧序列进行预处理；通过实拍图像特征模块，对预处理后的所述实际拍摄图像帧序列中的当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行特征提取和特征匹配操作；通过实拍图像帧间位姿估计模块对匹配成功的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行帧间相机运动估计操作，以获取当前时刻未优化的位姿状态量估计值；步骤2）通过基于物理模型的成像仿真引擎，基于光线追踪理论，对所述目标的三维模型进行成像仿真，以实时生成所述目标在当前时刻的仿真渲染图像；步骤3）通过虚实图像特征模块，对所述目标在当前时刻的所述仿真渲染图像和所述当前时刻实际拍摄图像帧进行特征提取与特征匹配操作；通过虚实图像帧间位姿估计模块对匹配成功的所述目标在当前时刻的仿真渲染图像与所述当前时刻实际拍摄图像帧进行帧间相机运动估计操作，以获取当前时刻位姿状态量观测值；步骤4）通过计算模块，利用所述当前时刻未优化的位姿状态量估计值和所述当前时刻位姿状态量观测值，计算并输出当前时刻位姿状态量的最优估计值。2.根据权利要求1所述的基于物理模型成像仿真的视觉定位方法，其特征在于，所述步骤1）具体包括：步骤1
‑
1）通过所述图像校正预处理模块，对光学系统采集的目标的实际拍摄图像帧序列进行畸变矫正；步骤1
‑
2）通过所述实拍图像特征模块，按照时序提取预处理后的所述实际拍摄图像帧序列中的当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧；步骤1
‑
3）通过所述实拍图像特征模块，提取所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧的特征点，并基于预设的第一汉明距离范围，获取所述当前时刻实际拍摄图像帧和与前一时刻实际拍摄图像帧之间的匹配特征点对，当最大汉明距离与最小汉明距离区间内的匹配特征点对的数量大于第一预设值时，认为匹配成功；其中，所述第一预设值大于8；步骤1
‑
4）通过所述实拍图像帧间位姿估计模块，基于随机采样一致性算法，对所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧之间的匹配成功的匹配特征点对进行匹配筛选，以排除其中的外点；步骤1
‑
5）通过所述实拍图像帧间位姿估计模块，基于对极几何原理，对匹配筛选后的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧进行帧间相机运动估计操作,以获得匹配筛选后的所述当前时刻实际拍摄图像帧和前一时刻实际拍摄图像帧之间的当前时刻未优化的位姿状态量估计值，其中，所述当前时刻未优化的位姿状态量估计值为：；其中，为估计独立高斯噪声，其服从参数为的高斯分布，为状态转移函数，为前一时刻位姿状态量估计值；其中，，为目标在前一时刻的位置信息，为目标在前一时刻的姿态信息；
所述当前时刻未优化的位姿状态量估计值包括：目标在当前时刻未优化的估计位置信息和目标在当前时刻的未优化的估计姿态信息。3.根据权利要求1所述的基于物理模型成像仿真的视觉定位方法，其特征在于，所述步骤2）具体包括：步骤2
‑
1）探测所述目标，形成目标的三维点云文件，并进行三角化面片处理，以得到目标的数字化三维模型；步骤2
‑
2）对所述目标的数字化三维模型的表面进行处理，通过三维建模软件，对所述目标的数字化三维模型的表面材质的物理属性进行编辑，使目标的数字化三维模型的表面具有真实物理信息；步骤2
‑
3）针对已经编辑好表面材质的物理属性的目标的数字化三维模型，运行基于物理模型成像仿真的渲染算法，以得到目标在当前时刻的仿真渲染图像。4.根据权利要求1所述的基于物理模型成像仿真的视觉定位方法，其特征在于，所述步骤3）具体包括：步骤3
‑
1）通过所述虚实图像特征模块，提取所述目标在当前时刻的仿真渲染图像和所述当前时刻实际拍摄图像帧的特征点，并基于预设的第二汉明距离，获取所述仿真渲染图像与所述当前时刻实际拍摄图像帧之间的匹配特征点对，当最大汉明距离与最小汉明距离区间内的匹配特征点对的数量大于第二预设值时，认为匹配成功；其中，第二预设值大于8；步骤3
‑
2）通过所述虚实图像帧间位姿估计模块，基于随机采样一致性算法，对所述仿真渲染图像与所述当前时刻实际拍摄图像帧之间的匹配成功的匹配特征点对进...

【专利技术属性】
技术研发人员：祁航，彭晓东，马晓珊，李运，樊铭瑞，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：