神经网络训练及运动轨迹确定方法、装置、设备和介质制造方法及图纸

本申请的公开一种神经网络训练及运动轨迹确定方法、装置、设备和介质。该方法可以包括，获取至少两个图像序列，上述至少两个图像序列可以包括第一图像序列，以及与上述第一图像序列相邻的第二图像序列。根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行训练，以得到目标网络参数。

【技术实现步骤摘要】
神经网络训练及运动轨迹确定方法、装置、设备和介质
本申请涉及计算机视觉技术，具体涉及一种神经网络训练及运动轨迹确定方法、装置、设备和介质。
技术介绍
在相关技术中，在进行神经网络训练时通常运用单一场景下的样本进行预训练。然而，由于实际场景和预训练时使用的场景往往有较大的区别，进行过预训练的神经网络在实际使用时，其性能往往会大幅下降。因此，在实际使用中，当针对不同场景时，上述神经网络的泛化性将变得较差。
技术实现思路
有鉴于此，本申请至少公开一种神经网络训练及运动轨迹确定方法、装置、设备和介质。根据本申请实施例的第一方面，本申请提出一种神经网络训练方法，上述方法可以包括：获取至少两个图像序列，上述至少两个图像序列可以包括第一图像序列，以及与上述第一图像序列相邻的第二图像序列；根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行训练，以得到目标网络参数；采用上述目标网络参数配置上述神经网络。在示出的一实施例中，上述根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行训练，以得到目标网络参数，可以包括：根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行迭代训练，直至上述神经网络收敛，得到上述目标网络参数；其中，在一次迭代训练中，通过上述神经网络，获取上述第一图像序列中相邻两帧图像之间的相对位姿，上述相邻两帧图像可以包括第一图像以及采集时刻位于上述第一图像之后的第二图像；根据上述第一图像序列中上述第一图像对应的深度图像，以及上述第一图像与上述第二图像之间的相对位姿，得到上述第二图像对应的合成图像；根据上述第一图像序列中多帧上述第二图像以及与多帧上述第二图像对应的上述合成图像，确定第一训练误差；基于上述第一训练误差，得到第一中间网络参数。在示出的一实施例中，在上述得到第一中间网络参数后，上述方法还可以包括：通过采用上述第一中间网络参数配置的上述神经网络，获取上述第二图像序列中相邻两帧图像之间的相对位姿，上述相邻两帧图像可以包括第三图像以及采集时刻位于上述第三图像之后的第四图像；根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与上述第四图像之间的相对位姿，得到上述第四图像对应的合成图像；根据上述第二图像序列中多帧上述第四图像以及与多帧上述第四图像对应的上述合成图像，确定第二训练误差；基于上述第二训练误差，得到第二中间网络参数。在示出的一实施例中，上述基于上述第一训练误差，得到第一中间网络参数，可以包括：基于梯度下降法，以及上述第一训练误差，对上述神经网络进行一次梯度下降，得到第一中间网络参数；和/或，上述基于上述第二训练误差，得到第二中间网络参数，可以包括：基于梯度下降法，以及上述第二训练误差，对上述神经网络进行一次梯度下降，得到第二中间网络参数。在示出的一实施例中，上述神经网络可以包括深度神经网络，上述深度神经网络，可以包括卷积神经网络、以及卷积长短时序记忆网络；其中，上述卷积神经网络的输出为上述卷积长短时序记忆网络的输入。在示出的一实施例中，上述根据上述神经网络，获取上述第一图像序列中相邻两帧图像之间的相对位姿，可以包括：将上述第一图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输入上述神经网络，确定上述相对位姿；其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上述相邻两帧图像之前的至少部分图像的图像特征；和/或，上述根据采用上述第一中间网络参数配置的神经网络，获取上述第二图像序列中相邻两帧图像之间的相对位姿，可以包括：将上述第二图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输入采用上述第一中间网络参数配置的神经网络，确定上述相对位姿；其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上述相邻两帧图像之前的至少部分图像的图像特征。在示出的一实施例中，在根据上述第一图像序列中上述第一图像对应的深度图像，以及上述第一图像与上述第二图像之间的相对位姿，得到上述第二图像对应的合成图像之前，上述方法还可以包括：将上述第一图像序列中上述第一图像，输入上述神经网络，确定第一图像序列中上述第一图像的深度图像；其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上述第一图像之前至少部分图像的图像特征；和/或，在根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与上述第四图像之间的相对位姿，得到上述第四图像对应的合成图像之前，上述方法还可以包括：将上述第二图像序列中上述第三图像，输入采用上述第一中间网络参数配置的神经网络，确定上述第三图像的深度图像；其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上述第三图像之前至少部分图像的图像特征。在示出的一实施例中，上述神经网络可以包括若干卷积层；上述方法还可以包括：在一次迭代训练中，在将上述第一图像序列中的多帧图像作为训练样本，输入上述神经网络后，通过上述神经网络可以包括的各卷积层输出的特征图，得到上述各卷积层输出的特征图对应的分布情况；在将上述第二图像序列中的多帧图像作为训练样本，输入采用上述第一中间网络参数配置的神经网络的情况下，基于得到的上述分布情况，对上述第一中间网络参数配置的上述神经网络的各卷积层输出的特征图进行特征对齐处理；通过采用上述第一中间网络参数配置的上述神经网络，基于特征对齐后的各特征图，输出上述第二图像序列中相邻两帧图像之间的相对位姿，和/或上述第二图像序列中图像的深度图像。在示出的一实施例中，在确定第一估计训练误差之前，上述方法还可以包括：根据上述第二图像以及与上述第二图像对应的上述合成图像，构建残差图；基于上述残差图，确定上述第二图像对应的掩膜区域；和/或，在确定第二估计训练误差之前，上述方法还可以包括：根据上述第四图像以及与上述第四图像对应的上述合成图像，构建残差图；基于上述残差图，确定上述第四图像对应的掩膜区域。在示出的一实施例中，上述第一图像序列与上述第二图像序列在时序上相邻，且上述第一图像序列的最后一帧图像的拍摄时间，在上述第二图像序列的第一帧图像的拍摄时间之前。在示出的一实施例中，上述第一图像序列可以包括训练样本，上述第二图像序列可以包括测试样本。在示出的一实施例中，上述神经网络用于构建视觉里程计。根据本申请实施例的第二方面，本申请公开一种运动轨迹确定方法，上述方法可以包括：获取移动设备采集的待处理连续图像序列；将上述待处理连续图像序列输入神经网络，以得到上述移动设备的运动轨迹；其中，上述神经网络为根据上述第一方面中任意一项进行训练得到的神经网络。在示出的一实施例中，上述将上述待处理连续图像序列本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，其特征在于，所述方法包括：/n获取至少两个图像序列，所述至少两个图像序列包括第一图像序列，以及与所述第一图像序列相邻的第二图像序列；/n根据所述第一图像序列以及所述第二图像序列，对所述神经网络进行训练，以得到目标网络参数；/n采用所述目标网络参数配置所述神经网络。/n

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述方法包括：
获取至少两个图像序列，所述至少两个图像序列包括第一图像序列，以及与所述第一图像序列相邻的第二图像序列；
根据所述第一图像序列以及所述第二图像序列，对所述神经网络进行训练，以得到目标网络参数；
采用所述目标网络参数配置所述神经网络。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像序列以及所述第二图像序列，对所述神经网络进行训练，以得到目标网络参数，包括：
根据所述第一图像序列以及所述第二图像序列，对所述神经网络进行迭代训练，直至所述神经网络收敛，得到所述目标网络参数；
其中，在一次迭代训练中，通过所述神经网络，获取所述第一图像序列中相邻两帧图像之间的相对位姿，所述相邻两帧图像包括第一图像以及采集时刻位于所述第一图像之后的第二图像；
根据所述第一图像序列中所述第一图像对应的深度图像，以及所述第一图像与所述第二图像之间的相对位姿，得到所述第二图像对应的合成图像；
根据所述第一图像序列中多帧所述第二图像以及与多帧所述第二图像对应的所述合成图像，确定第一训练误差；
基于所述第一训练误差，得到第一中间网络参数。


3.根据权利要求2所述的方法，其特征在于，在所述得到第一中间网络参数后，所述方法还包括：
通过采用所述第一中间网络参数配置的所述神经网络，获取所述第二图像序列中相邻两帧图像之间的相对位姿，所述相邻两帧图像包括第三图像以及采集时刻位于所述第三图像之后的第四图像；
根据所述第二图像序列中所述第三图像对应的深度图像，以及所述第三图像与所述第四图像之间的相对位姿，得到所述第四图像对应的合成图像；
根据所述第二图像序列中多帧所述第四图像以及与多帧所述第四图像对应的所述合成图像，确定第二训练误差；
基于所述第二训练误差，得到第二中间网络参数。


4.根据3所述的方法，其特征在于，所述基于所述第一训练误差，得到第一中间网络参数，包括：
基于梯度下降法，以及所述第一训练误差，对所述神经网络进行一次梯度下降，得到第一中间网络参数；
和/或，
所述基于所述第二训练误差，得到第二中间网络参数，包括：
基于梯度下降法，以及所述第二训练误差，对所述神经网络进行一次梯度下降，得到第二中间网络参数。


5.根据权利要求3或4所述的方法，其特征在于，所述神经网络包括深度神经网络，所述深度神经网络，包括卷积神经网络、以及卷积长短时序记忆网络；其中，所述卷积神经网络的输出为所述卷积长短时序记忆网络的输入。


6.根据权利要求5所述的方法，其特征在于，所述根据所述神经网络，获取所述第一图像序列中相邻两帧图像之间的相对位姿，包括：
将所述第一图像序列中的相邻两帧图像的深度图像，以及所述相邻两帧图像，输入所述神经网络，确定所述相对位姿；
其中，在确定所述相对位姿的过程中，输入所述卷积长短时序记忆网络记忆的所述相邻两帧图像之前的至少部分图像的图像特征；
和/或，
所述根据采用所述第一中间网络参数配置的神经网络，获取所述第二图像序列中相邻两帧图像之间的相对位姿，包括：
将所述第二图像序列中的相邻两帧图像的深度图像，以及所述相邻两帧图像，输入采用所述第一中间网络参数配置的神经网络，确定所述相对位姿；
其中，在确定所述相对位姿的过程中，输入所述卷积长短时序记忆网络记忆的所述相邻两帧图像之前的至少部分图像的图像特征。


7.根据权利要求6所述的方法，其特征在于，在根据所述第一图像序列中所述第一图像对应的深度图像，以及所述第一图像与所述第二图像之间的相对位姿，得到所述第二图像对应的合成图像之前，所述方法还包括：
将所述第一图像序列中所述第一图像，输入所述神经网络，确定第一图像序列中所述第一图像的深度图像；
其中，在确定所述深度图像的过程中，输入所述卷积长短时序记忆网络记忆的所述第一图像之前至少部分图像的图像特征；
和/或，
在根据所述第二图像序列中所述第三图像对应的深度图像，以及所述第三图像与所述第四图像之间的相对位姿，得到所述第四图像对应的合成图像之前，所述方法还包括：
将所述第二图像序列中所述第三图像，输入采用所述第一中间网络参数配置的神经网络，确定所述第三图像的深度图像；
其中，在确定所述深度图像的过程中，输入所述卷积长短时序记忆网络记忆的所...

【专利技术属性】
技术研发人员：李顺恺，查红彬，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11