位姿跟踪方法、位姿跟踪装置及电子设备制造方法及图纸

本发明专利技术公开了一种位姿跟踪方法、位姿跟踪装置及电子设备。一种位姿跟踪方法通过获取扫描对象的连续多帧图像和图像捕获单元的初始位姿；以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿；以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿；根据所述第二计算位姿更新所述图像捕获单元的初始位姿，并重复上述步骤以实现对所述图像捕获单元的位姿跟踪。不仅可以对图像捕获单元的位姿实现准确估计，并且在扫描对象偏离视野范围时也能提供大致准确的位姿，提高对图像捕获单元位姿跟踪的鲁棒性。

【技术实现步骤摘要】
位姿跟踪方法、位姿跟踪装置及电子设备
本专利技术涉及计算机视觉处理技术，具体而言，涉及一种位姿跟踪方法、位姿跟踪装置及电子设备。
技术介绍
三维重建是指通过获取真实物体的几何形状和材质，构建真实物体的数字化三维模型，以真实还原物体的外形。其输入可以是利用各个类型的摄像头实时摄取的图像、视频流、三维点云，也可以是摄取好的图像、视频、三维点云。三维重建在计算机辅助几何设计、计算机动画、计算机视觉、医学图像、虚拟现实、增强现实、数字媒体等领域有非常广泛的应用。相机跟踪是三维重建中最核心、最关键的算法模块，其用于估计拍摄过程中任一时刻的相机位姿，包括空间三维位置和朝向。精确的相机跟踪结果是三维重建成功的前提。现有的实时相机跟踪方法的鲁棒性不够好，对输入数据的质量有较高的要求，对用户拍摄手法有较多的限制，不利于普通用户使用。
技术实现思路
本专利技术实施例提供了一种位姿跟踪方法、位姿跟踪装置及电子设备，以至少解决现有技术中位姿跟踪鲁棒性较差，容易出现跟踪丢失的问题。根据本专利技术实施例的一个方面，提供了一种位姿跟踪方法，该方法包括以下步骤：获取扫描对象的连续多帧图像和图像捕获单元的初始位姿；以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿；以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿；根据所述第二计算位姿更新所述图像捕获单元的初始位姿，并重复上述步骤以实现对所述图像捕获单元的位姿跟踪。进一步地，所述图像捕获单元的初始位姿设置为单位矩阵或者随机设定为任意值。进一步地，所述连续多帧图像为连续的RGB-D图像。进一步地，以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿包括：以所述初始位姿作为初值，使用所述第一算法对所述前一帧图像和所述当前帧图像进行逐像素的颜色对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取所述当前帧的第一计算位姿。进一步地，以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿包括：以所述第一计算位姿为初值，使用所述第二算法将所述当前帧图像与所述当前帧重建模型对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取当前帧的第二计算位姿。进一步地，所述第一算法在低分辨率图像上计算，所述第二算法在高分辨率图像上计算。进一步地，通过惯性导航模块获取所述图像捕获单元的初始位姿。进一步地，根据所述第二计算位姿更新惯性导航模块的状态量，从而更新所述图像捕获单元的初始位姿。进一步地，通过所述惯性导航模块使用多传感器融合的方法获取所述图像捕获单元的初始位姿。进一步地，所述惯性导航模块为基于扩展卡尔曼滤波的状态估计系统。进一步地，该方法还包括：对所述第二计算位姿进行验证，在验证通过时，使用所述第二计算位姿、所述当前帧图像更新所述当前帧重建模型。进一步地，对所述第二计算位姿进行验证包括：通过在所述当前帧重建模型中获取对比图像，将所述对比图像与所述当前帧图像进行比较，实现对所述第二计算位姿的验证。进一步地，该方法还包括：在验证通过时，从验证通过的图像帧中，选取关键帧；基于选取的所述关键帧，构建词袋数据库。进一步地，该方法还包括：在验证不通过时，使用重定位方法恢复对所述图像捕获单元的位姿跟踪。进一步地，在验证不通过时，将所述当前帧图像标记为跟踪失败，当连续跟踪失败的帧数超过第二阈值时，表明对所述图像捕获单元的位姿跟踪丢失，使用所述重定位方法恢复对所述图像捕获单元的跟踪。进一步地，所述重定位方法包括：在位姿跟踪丢失时，计算所述当前帧图像的词袋向量；根据所构建的词袋数据库和所述当前帧图像的词袋向量，选取候选关键帧；根据所述候选关键帧和所述当前帧图像之间的相对位姿，使用第三算法获取当前帧的第三计算位姿；根据所述第三计算位姿更新所述图像捕获单元的初始位姿，以恢复对所述图像捕获单元的位姿跟踪。进一步地，该方法还包括：在恢复对所述图像捕获单元的位姿跟踪后，将所述惯性导航模块初始化。根据本专利技术实施例的另一个方面，提供了一种位姿跟踪装置，该装置包括：图像捕获单元，用于获取扫描对象的连续多帧图像；初始位姿确定单元，用于确定所述图像捕获单元的初始位姿；第一位姿获取单元，用于以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿；第二位姿获取单元，用于以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿；位姿更新单元，用于根据所述第二计算位姿更新所述图像捕获单元的初始位姿，以实现对所述图像捕获单元的位姿跟踪。进一步地，所述初始位姿确定单元将所述图像捕获单元的初始位姿设置为单位矩阵或者随机设定为任意值。进一步地，所述连续多帧图像为连续的RGB-D图像。进一步地，以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿包括：以所述初始位姿作为初值，使用所述第一算法对所述前一帧图像和所述当前帧图像进行逐像素的颜色对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取所述当前帧的第一计算位姿。进一步地，以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿包括：以所述第一计算位姿为初值，使用所述第二算法将所述当前帧图像与所述当前帧重建模型对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取当前帧的第二计算位姿。进一步地，所述第一算法在低分辨率图像上计算，所述第二算法在高分辨率图像上计算。进一步地，所述初始位姿确定单元为惯性导航模块。进一步地，所述位姿更新单元还包括根据所述第二计算位姿更新惯性导航模块的状态量，从而更新所述图像捕获单元的初始位姿。进一步地，所述惯性导航模块使用多传感器融合的方法获取所述图像捕获单元的初始位姿。进一步地，所述惯性导航模块为基于扩展卡尔曼滤波的状态估计系统。进一步地，所述位姿跟踪装置还包括：位姿验证单元，用于对所述第二计算位姿进行验证，在验证通过时，使用所述第二计算位姿、所述当前帧图像更新所述当前帧重建模型。进一步地，对所述第二计算位姿进行验证包括：通过在所述当前帧重建模型中获取对比图像，将所述对比图像与所述当前帧图像进行比较，实现对所述第二计算位姿的验证。进一步地，该装置还包括：在验证通过时，从验证通过的图像帧中，选取关键帧；基于选取的所述关键帧，构建词袋数据库。进一步地，该装置还包括：在验证不通过时，使用重定位方法恢复对所述图像捕获单元的位姿跟踪。进一步地，在验证不通过时，将所述当前帧图像标记为跟踪失败，当连续跟踪失败的帧数超过第二阈值本文档来自技高网...

【技术保护点】
1.一种位姿跟踪方法，其特征在于，所述方法包括以下步骤：/n获取扫描对象的连续多帧图像和图像捕获单元的初始位姿；/n以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿；/n以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿；/n根据所述第二计算位姿更新所述图像捕获单元的初始位姿，并重复上述步骤以实现对所述图像捕获单元的位姿跟踪。/n

【技术特征摘要】
1.一种位姿跟踪方法，其特征在于，所述方法包括以下步骤：
获取扫描对象的连续多帧图像和图像捕获单元的初始位姿；
以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿；
以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿；
根据所述第二计算位姿更新所述图像捕获单元的初始位姿，并重复上述步骤以实现对所述图像捕获单元的位姿跟踪。


2.根据权利要求1所述的方法，其特征在于，所述图像捕获单元的初始位姿设置为单位矩阵或者随机设定为任意值。


3.根据权利要求1所述的方法，其特征在于，所述连续多帧图像为连续的RGB-D图像。


4.根据权利要求1所述的方法，其特征在于，以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的第一计算位姿包括：以所述初始位姿作为初值，使用所述第一算法对所述前一帧图像和所述当前帧图像进行逐像素的颜色对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取所述当前帧的第一计算位姿。


5.根据权利要求1所述的方法，其特征在于，以所述第一计算位姿为初值，基于所述当前帧图像和当前帧重建模型，使用第二算法获取当前帧的第二计算位姿包括：以所述第一计算位姿为初值，使用所述第二算法对所述当前帧图像与所述当前帧重建模型进行三维点云对齐，得到所述前一帧图像和所述当前帧图像之间的相对坐标变换，从而获取当前帧的第二计算位姿。


6.根据权利要求1所述的方法，其特征在于，所述第一算法在低分辨率图像上计算，所述第二算法在高分辨率图像上计算。


7.根据权利要求1所述的方法，其特征在于，通过惯性导航模块获取所述图像捕获单元的初始位姿。


8.根据权利要求7所述的方法，其特征在于，根据所述第二计算位姿更新惯性导航模块的状态量，从而更新所述图像捕获单元的初始位姿。


9.根据权利要求7所述的方法，其特征在于，通过所述惯性导航模块使用多传感器融合的方法获取所述图像捕获单元的初始位姿。


10.根据权利要求7所述的方法，其特征在于，所述惯性导航模块为基于扩展卡尔曼滤波的状态估计系统。


11.根据权利要求1或7所述的方法，还包括：对所述第二计算位姿进行验证，在验证通过时，使用所述第二计算位姿、所述当前帧图像更新所述当前帧重建模型。


12.根据权利要求11所述的方法，其特征在于，对所述第二计算位姿进行验证包括：通过在所述当前帧重建模型中获取对比图像，将所述对比图像与所述当前帧图像进行比较，实现对所述第二计算位姿的验证。


13.根据权利要求11所述的方法，还包括：
在验证通过时，从验证通过的图像帧中，选取关键帧；
基于选取的所述关键帧，构建词袋数据库。


14.根据权利要求13所述的方法，还包括：在验证不通过时，判断对所述图像捕获单元的位姿跟踪是否丢失，并使用重定位方法恢复对所述图像捕获单元的位姿跟踪。


15.根据权利要求14所述的方法，其特征在于，判断对所述图像捕获单元的位姿跟踪是否丢失包括：将所述当前帧图像标记为跟踪失败，当连续跟踪失败的帧数超过第二阈值时，表明对所述图像捕获单元的位姿跟踪丢失，使用所述重定位方法恢复对所述图像捕获单元的位姿跟踪。


16.根据权利要求14所述的方法，其特征在于，所述重定位方法包括：
在位姿跟踪丢失时，计算所述当前帧图像的词袋向量；
根据所构建的词袋数据库和所述当前帧图像的词袋向量，选取候选关键帧；
计算所述候选关键帧和所述当前帧图像之间的相对位姿，获取当前帧的第三计算位姿；
根据所述第三计算位姿更新所述图像捕获单元的初始位姿，以恢复对所述图像捕获单元的位姿跟踪。


17.根据权利要求14所述的方法，还包括：在恢复对所述图像捕获单元的位姿跟踪后，将所述惯性导航模块初始化。


18.一种位姿跟踪装置，其特征在于，所述装置包括：
图像捕获单元，用于获取扫描对象的连续多帧图像；
初始位姿确定单元，用于确定所述图像捕获单元的初始位姿；
第一位姿获取单元，用于以所述初始位姿作为初值，基于所述连续多帧图像中的前一帧图像和当前帧图像，使用第一算法获取当前帧的...

【专利技术属性】
技术研发人员：张龙，张超，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：浙江;33