一种基于深度神经网络的位姿估计方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于深度神经网络的位姿估计方法及装置，方法包括：获取目标图像序列，所述目标图像序列是相机在移动中连续拍摄的；将所述目标图像序列输入位姿估计网络模型，得到所述相机拍摄所述目标图像序列中每张图像时的位姿信息；所述位姿估计网络模型是根据训练集预先训练完成的，所述训练集包括：样本图像序列，以及样本位姿信息。由于采用深度神经网络模型进行相机的位姿信息估计，不需要进行关键点的提取和描述子计算过程，降低了计算复杂度，此外，对被测对象的无严格要求，可以适用于被测对象的位移较大的场景。

A method and device of pose estimation based on depth neural network

The embodiment of the invention provides a pose estimation method and device based on the depth neural network, the method includes: acquiring a target image sequence, the target image sequence is continuously photographed by the camera in motion; inputting the target image sequence into the pose estimation network model, obtaining the pose information when the camera takes each image in the target image sequence; and The pose estimation network model is pre trained according to the training set, which includes: sample image sequence, and sample pose information. Because of using the depth neural network model to estimate the camera pose information, it does not need to extract the key points and describe the sub calculation process, which reduces the calculation complexity. In addition, there is no strict requirement for the measured object, which can be applied to the scene with large displacement of the measured object.

【技术实现步骤摘要】
一种基于深度神经网络的位姿估计方法及装置
本专利技术涉及人工智能
，特别是涉及一种基于深度神经网络的位姿估计方法及装置。
技术介绍
随着人工智能的发展，视觉里程计也被广泛应用于机器人技术，自动驾驶技术等。通俗来讲，将相机刚性连接到一个移动的物体上，例如机器人，通过相机拍摄的一系列连续图像序列来推断相机的位姿信息即为视觉里程计。容易理解的，由于相机和机器人刚性连接，因此相机的位姿信息也可以反映机器人的位姿信息。若仅使用一个相机，则称为单目视觉里程计，若使用多个相机，则称为立体视觉里程计。目前，在视觉里程计领域中，针对视觉里程计任务，主要存在两种方法，一种是特征点法，另一种是直接法。第一种特征点法，是通过提取图像的SIFT(ScaleInvariantFeatureTransform，尺度不变特征)，SURF(SpeededUpRobustFeatures，加速稳健特征)等图像特征，进行相邻图像帧的匹配，进而通过最小化重投影误差计算出相邻图像帧的相对位姿。然而这种方法在关键点的提取和描述子计算过程计算复杂度较高，相应的本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的位姿估计方法，其特征在于，所述方法包括：/n获取目标图像序列，所述目标图像序列是相机在移动中连续拍摄的；/n将所述目标图像序列输入位姿估计网络模型，得到所述相机拍摄所述目标图像序列中每张图像时的位姿信息；所述位姿估计网络模型是根据训练集预先训练完成的，所述训练集包括：样本图像序列，以及样本位姿信息。/n

【技术特征摘要】
1.一种基于深度神经网络的位姿估计方法，其特征在于，所述方法包括：
获取目标图像序列，所述目标图像序列是相机在移动中连续拍摄的；
将所述目标图像序列输入位姿估计网络模型，得到所述相机拍摄所述目标图像序列中每张图像时的位姿信息；所述位姿估计网络模型是根据训练集预先训练完成的，所述训练集包括：样本图像序列，以及样本位姿信息。


2.根据权利要求1所述的方法，其特征在于，所述位姿估计网络模型采用以下步骤训练获得：
获取预设的深度神经网络模型和所述训练集；
将所述训练集中的样本图像序列输入所述深度神经网络模型，得到位姿信息估计集合；
将所述位姿信息估计集合的估计值和所述样本位姿信息的真实值输入预设的损失函数，确定损失值；
根据所述损失值确定所述深度神经网络模型是否收敛；
若否，则调整所述深度神经网络模型中的参数值，并返回所述将所述训练集中的样本图像序列输入所述深度神经网络模型，得到位姿信息估计集合的步骤；
若是，则将当前的深度神经网络模型确定为位姿估计网络模型。


3.根据权利要求2所述的方法，其特征在于，所述深度神经网络模型包括第一子网络和第二子网络，所述第一子网络为卷积神经网络CNN，所述第二子网络为双向长短期记忆网络BI-LSTM。


4.根据权利要求2所述的方法，其特征在于，所述损失函数为：



其中，loss表示损失值，N表示每次训练采用的样本图像序列中的图像数量，i表示样本图像的序号，k表示位姿信息中平移量和旋转量的状态序号，pk表示所述样本位姿信息中平移量的第k个状态的真实值，表示所述位姿信息估计集合中平移量的第k个状态的估计值，表示所述样本位姿信息中旋转量的第k个状态的真实值，表示所述位姿信息估计集合中旋转量的第k个状态的估计值，w表示平衡权重。


5.一种基于深度神经网络的位姿估计装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像序列，所述目标图像序列是相机在移动中连续拍摄的；
位姿估计模块，用于将所述目标图像序列输入位姿估计网络模型，得到所述相机拍摄所述目标图像序列中每...

【专利技术属性】
技术研发人员：焦继超，焦剑，邓中亮，莫耀凯，刘炜伦，袁华宇，邱德武，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11