相机姿态确定方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种相机姿态确定方法、装置、存储介质及电子设备，该相机姿态确定方法包括：获取当前帧图像、前一帧图像以及上一关键帧图像；确定该上一关键帧图像的特征点集、该当前帧图像的第一缩略图以及该前一帧图像的第二缩略图；根据该第一缩略图和第二缩略图，确定该当前帧图像与该上一关键帧图像对应的初始全局单应矩阵；根据该初始全局单应矩阵、当前帧图像和特征点集确定初始姿态参数；根据该初始姿态参数、当前帧图像和特征点集确定该当前帧图像的相机姿态参数，以确定相机姿态，从而能尽量避免细节噪声和光照对相机姿态定位的影响，提高相机姿态的定位精准性和可靠性。

Camera attitude determination method, device, storage medium and electronic equipment

【技术实现步骤摘要】
相机姿态确定方法、装置、存储介质及电子设备
本申请涉及网络安全领域，尤其涉及一种相机姿态确定方法、装置、存储介质及电子设备。
技术介绍
计算机视觉是当前工业和科研的热点领域，视觉SLAM(simultaneousLocalizationandmapping，同时定位与地图构建)是指搭载相机的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动的技术。增强现实(AugmentedReality，AR)是虚拟现实(VirtualReality，VR)的一种变化形式，能够让用户看到真实世界，并且将虚拟的物体叠加或者组合到真实世界中，因此是一种可以将虚拟世界和真实世界融合在一起的技术。在增强现实领域内，需要对相机的姿态进行实时估计，确保实时性、稳定性和鲁棒性。目前，现有的视觉SLAM系统可以采用DSO(DirectSparseOdometry，直接稀疏里程计)方法来确定相机姿态，这类方法不需要提取图像的特征点，直接通过联合优化所有像素来确定当前相机的姿态，并构建出所看到的地图，优化时的目标函数是最小化光度误差(photometricerror)。但是，由于DSO需要对成像时的光照模型进行精细的物理建模，其是直接在图像原图中进行光度优化，不仅容易受到模糊图像的细节噪声的影响，而且如果光照违反了光照模型的建模，其优化的目标函数则会失效，影响系统的稳定性与精度，可靠性差。
技术实现思路
本申请实施例提供一种相机姿态确定方法、装置、存储介质及电子设备，能尽量避免细节噪声和光照对相机姿态定位的影响，提高相机姿态的定位精准性和可靠性。本申请实施例提供了一种相机姿态确定方法，包括：获取当前帧图像、前一帧图像以及上一关键帧图像；确定所述上一关键帧图像的特征点集、所述当前帧图像的第一缩略图以及所述前一帧图像的第二缩略图；根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵；根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数；根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，以确定相机姿态。本申请实施例还提供了一种相机姿态确定方法，包括：获取当前帧图像、前一帧图像以及上一关键帧图像；确定所述上一关键帧图像的特征点集、所述当前帧图像的第一缩略图以及所述前一帧图像的第二缩略图；根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵；根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数；根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，以确定相机姿态；根据所述当前帧图像的相机姿态参数生成场景更新指令；根据所述场景更新指令和所述当前帧图像的相机姿态参数在已生成的全局场景中确定新增平面；根据所述新增平面更新所述已生成的全局场景。本申请实施例还提供了一种相机姿态确定装置，包括：获取模块，用于获取当前帧图像、前一帧图像以及上一关键帧图像；第一确定模块，用于确定所述上一关键帧图像的特征点集、所述当前帧图像的第一缩略图以及所述前一帧图像的第二缩略图；第二确定模块，用于根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵；第三确定模块，用于根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数；第四确定模块，用于根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，以确定相机姿态。其中，所述第二确定模块具体包括：第一获取单元，用于获取所述前一帧图像和所述上一关键帧图像对应的第一全局单应矩阵；第一确定单元，用于根据所述第一缩略图和第二缩略图，确定所述当前帧图像和所述前一帧图像对应的第二全局单应矩阵；第二确定单元，用于根据所述第一全局单应矩阵和第二全局单应矩阵，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵。其中，所述第一确定单元具体用于：确定所述第一缩略图的第一图像梯度以及第一像素值矩阵；确定所述第二缩略图的的第二图像梯度以及第二像素值矩阵；根据所述第一图像梯度、第二图像梯度、第一像素值矩阵和第二像素值矩阵，确定所述当前帧图像和所述前一帧图像对应的第二全局单应矩阵。其中，所述第三确定模块具体用于：根据所述初始全局单应矩阵，将所述特征点集中的特征点投影到所述当前帧图像上，以得到第一投影点集；根据所述第一投影点集和特征点集确定第一重投影误差函数；根据所述第一重投影误差函数确定初始姿态参数。其中，所述第四确定模块具体包括：投影单元，用于根据所述初始姿态参数，将所述特征点集中的特征点投影到所述当前帧图像上，以得到第二投影点集；第三确定单元，用于从所述特征点集中确定与所述第二投影点集匹配成功的第一匹配点；第四确定单元，用于确定所述第一匹配点的数量，并从所述第二投影点集中获取与所述第一匹配点对应的第一目标投影点；第五确定单元，用于根据所述第一匹配点的数量、第一目标投影点和第一匹配点确定所述当前帧图像的相机姿态参数。其中，所述第五确定单元具体用于：根据所述第一匹配点和第一目标投影点，确定所述当前帧图像与所述关键帧图像对应的第一局部单应矩阵；判断所述第一匹配点的数量是否大于预设数量；若是，则根据所述第一局部单应矩阵、第一缩略图和第二缩略图对所述初始全局单应矩阵进行修正，以得到修正全局单应矩阵；根据所述修正全局单应矩阵、当前帧图像和上一关键帧图像确定所述当前帧图像的相机姿态参数。其中，在判断所述第一匹配点的数量是否大于预设数量之后，所述第五确定单元还用于：若否，则根据所述第一局部单应矩阵，将所述特征点集中除所述第一匹配点之外的剩余特征点投影到所述当前帧图像上，以得到第三投影点集；从所述特征点集中确定与所述第三投影点集匹配成功的第二匹配点；确定所述第二匹配点的数量，并从所述第三投影点集中获取与所述第二匹配点对应的第二目标投影点；确定所述第二匹配点的数量和所述第一匹配点的数量之间的和值；根据所述和值、第一目标投影点、第一匹配点、第二目标投影点和第二匹配点确定所述当前帧图像的相机姿态参数。其中，所述第五确定单元具体用于：当所述和值大于预设数量时，根据所述第一匹配点、第一目标投影点、第二匹配点和第二目标投影点确定第二局部单应矩阵；根据所述第二局部单应矩阵、第一缩略图和第二缩略图对所述初始全局单应矩阵进行修正，以得到修正全局单应矩阵；根据所述修正全局单应矩阵、当前帧图像和上一关键帧图像确定所述当前帧图像的相机姿态参数。其中，所述第五确定单元本文档来自技高网...

【技术保护点】
1.一种相机姿态确定方法，其特征在于，包括：/n获取当前帧图像、前一帧图像以及上一关键帧图像；/n确定所述上一关键帧图像的特征点集、所述当前帧图像的第一缩略图以及所述前一帧图像的第二缩略图；/n根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵；/n根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数；/n根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，以确定相机姿态。/n

【技术特征摘要】
1.一种相机姿态确定方法，其特征在于，包括：
获取当前帧图像、前一帧图像以及上一关键帧图像；
确定所述上一关键帧图像的特征点集、所述当前帧图像的第一缩略图以及所述前一帧图像的第二缩略图；
根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵；
根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数；
根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，以确定相机姿态。


2.根据权利要求1所述的相机姿态确定方法，其特征在于，所述根据所述第一缩略图和第二缩略图，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵，包括：
获取所述前一帧图像和所述上一关键帧图像对应的第一全局单应矩阵；
根据所述第一缩略图和所述第二缩略图，确定所述当前帧图像和所述前一帧图像对应的第二全局单应矩阵；
根据所述第一全局单应矩阵和所述第二全局单应矩阵，确定所述当前帧图像与所述上一关键帧图像对应的初始全局单应矩阵。


3.根据权利要求2所述的相机姿态确定方法，其特征在于，所述根据所述第一缩略图和第二缩略图，确定所述当前帧图像和所述前一帧图像对应的第二全局单应矩阵，包括：
确定所述第一缩略图的第一图像梯度以及第一像素值矩阵；
确定所述第二缩略图的的第二图像梯度以及第二像素值矩阵；
根据所述第一图像梯度、所述第二图像梯度、所述第一像素值矩阵和所述第二像素值矩阵，确定所述当前帧图像和所述前一帧图像对应的第二全局单应矩阵。


4.根据权利要求1所述的相机姿态确定方法，其特征在于，所述根据所述初始全局单应矩阵、所述当前帧图像和所述特征点集确定初始姿态参数，包括：
根据所述初始全局单应矩阵，将所述特征点集中的特征点投影到所述当前帧图像上，以得到第一投影点集；
根据所述第一投影点集和所述特征点集确定第一重投影误差函数；
根据所述第一重投影误差函数确定初始姿态参数。


5.根据权利要求1所述的相机姿态确定方法，其特征在于，所述根据所述初始姿态参数、所述当前帧图像和所述特征点集确定所述当前帧图像的相机姿态参数，包括:
根据所述初始姿态参数，将所述特征点集中的特征点投影到所述当前帧图像上，以得到第二投影点集；
从所述特征点集中确定与所述第二投影点集匹配成功的第一匹配点；
确定所述第一匹配点的数量，并从所述第二投影点集中获取与所述第一匹配点对应的第一目标投影点；
根据所述第一匹配点的数量、所述第一目标投影点和所述第一匹配点确定所述当前帧图像的相机姿态参数。


6.根据权利要求5所述的相机姿态确定方法，其特征在于，所述根据所述第一匹配点的数量、所述第一目标投影点和所述第一匹配点确定所述当前帧图像的相机姿态参数，包括：
根据所述第一匹配点和所述第一目标投影点，确定所述当前帧图像与所述关键帧图像对应的第一局部单应矩阵；
判断所述第一匹配点的数量是否大于预设数量；
若是，则根据所述第一局部单应矩阵、所述第一缩略图和所述第二缩略图对所述初始全局单应矩阵进行修正，以得到修正全局单应矩阵；
根据所述修正全局单应矩阵、所述当前帧图像和所述上一关键帧图像确定所述当前帧图像的相机姿态参数。


7.根据权利要求6所述的相机姿态确定方法，其特征在于，在判断所述第一匹配点的数量是否大于预设数量之后，还包括：
若否，则根据所述第一局部单应矩阵，将所述特征点集中除所述第一匹配点之外的剩余特征点投影到所述当前帧图像上，以得到第三投影点集；
从所述特征点集中确定与所述第三投影点集匹配成功的第二匹配点；
确定所述第二匹配点的数量，并从所述第三投影点集中获取与所述第二匹配点对应的第二目标投影点；
确定所述第二匹配点的数量和所述第一匹配点的数量之间的和值；
根据所述和值、所述第一目标投影点、所述第一匹配点、所述第二目标投影点和所述第二匹配点确定所述当前帧图像的相机姿态参数。


8.根据权利要求7所述的相机姿态确定方法，其特征在于，所述根据所述和值、所述第一目标投影点、所述第一匹配点、所述第二目标投影点和所述第...

【专利技术属性】
技术研发人员：张润泽，賈佳亞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44