一种图像自适应运动估计方法及应用技术

目前已有算法不考虑图像序列之间的时间间隔，假设所有图像为同一时刻获取，由此导致计算存在一定误差。本申请提供了一种图像自适应运动估计方法，包括构造第一深度卷积神经网络、第二深度卷积神经网络；根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；将单目图像输入第一深度卷积神经网络输出单目图像对应的视差图像，将图像序列输入所述第二深度卷积神经网络输出相机空间位姿变换矩阵。避免了图像之间的非重叠区域对图像重建造成的不利影响。不利影响。不利影响。

【技术实现步骤摘要】
一种图像自适应运动估计方法及应用


[0001]本申请属于人工智能
，特别是涉及一种图像自适应运动估计方法及应用。

技术介绍

[0002]视觉和听觉是人类感知外界环境的主要途径，其中80％以上的外界信息是通过视觉获取的。基于视觉途径的场景感知是人工智能领域所面临的一大挑战，也是无人驾驶汽车视觉导航系统的重要组成部分。在无人驾驶汽车视觉导航系统中，场景的三维信息(场景与摄像头之间的相对距离、摄像头的空间位置及姿态等参数)发挥着重要作用。同时，由于单目相机具有体积小、设备简单、成本低廉及易于部署等优点，相对于其他传感器更具有应用优势。因此，开展针对无人驾驶场景的单目图像运动估计算法研究对无人驾驶汽车视觉导航系统的开发具有重要意义。
[0003]目前，基于深度学习的单目图像运动估计算法分为有监督学习算法和无监督学习算法两种。有监督学习算法的训练数据集由输入图像序列和每一幅图像对应的标签集组成。然而，此类标签集多由人工标记完成，极大限制的算法的应用范围，已逐渐被淘汰。无监督学习算法利用图像之间的空间几何关系设计监督信号，用于取代有监督算法中的标签集，仅使用图像即可完成深度学习模型的训练与测试，日益成为主流的研究方向。
[0004]现有方法在目标函数的设计过程中，将所有图像默认为同一时刻采集的静态图像，忽略了图像序列之间的采集时间间隔，从而不可避免地会产生一定误差，从而降低算法精度。通过对以上问题的分析发现：现有的基于无监督深度学习的单目图像运动估计方法仅从图像之间的几何关系考虑问题，忽略了时间维度。尽管较短的时间间隔不会导致算法失败，但是此类将动态场景图像默认为静态场景图像的处理方法降低了算法的精度和鲁棒性。

技术实现思路

[0005]1.要解决的技术问题
[0006]基于无监督深度学习的单目图像景深估计及相机空间位姿计算方法在模型训练过程中，需要使用单目图像序列作为训练样本。目前已有算法不考虑图像序列之间的时间间隔，假设所有图像为同一时刻获取，由此导致计算存在一定误差的问题，本申请提供了一种图像自适应运动估计方法及应用。
[0007]2.技术方案
[0008]为了达到上述的目的，本申请提供了一种图像自适应运动估计方法，所述方法包括如下步骤：步骤1：构造第一深度卷积神经网络、第二深度卷积神经网络；步骤2：根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；步骤3：将单目图像输入所述
第一深度卷积神经网络输出单目图像对应的视差图像，将所述图像序列输入所述第二深度卷积神经网络输出相机空间位姿变换矩阵。
[0009]本申请提供的另一种实施方式为：所述第一深度卷积神经网络为单目图像景深估计网络，用于估计单目相机与场景之间相对距离；所述第二深度卷积神经网络为单目相机空间位姿估计网络，用于估计单目相机空间位置与姿态。
[0010]本申请提供的另一种实施方式为：所述单目图像景深估计网络基于深度残差网络，所述单目图像景深估计网络为“编码
‑
解码”结构。
[0011]本申请提供的另一种实施方式为：在所述“编码”过程中，网络通过卷积层、激活层和池化层不断提取想高维特征并降采样；在所述“解码”过程中，网络通过反卷积对图像做上采样处理，输出多尺度视差图像。
[0012]本申请提供的另一种实施方式为：所述单目相机空间位姿估计网络为“编码”结构。
[0013]本申请提供的另一种实施方式为：对所述第一深度卷积神经网络和所述第二深度卷积神经网络进行训练为采用梯度下降法对目标函数进行迭代计算，直到达到指定计算次数为止，得到所述参数固定的第一深度卷积神经网络和所述参数固定的第二深度卷积神经网络。
[0014]本申请提供的另一种实施方式为：所述目标函数包括基于图像全局亮度差异和局部亮度差异构造的自适应函数；单目图像序列之间的图像重建，并结合自适应函数构造重建图像的自适应误差损失函数和结合自适应函数构造的关于图像深度边缘的自适应损失函数。
[0015]本申请提供的另一种实施方式为：所述自适应误差损失函数基于输入图像、视差图像和相机位姿变换矩阵构，所述自适应损失函数基于输入图像、视差图像和相机位姿变换矩阵构。本申请提供的另一种实施方式为：所述图像包括目标图像和参考图像，所述参考图像包括第一参考图像和第二参考图像。
[0016]本申请还提供一种图像自适应运动估计方法的应用，将所述的图像自适应运动估计方法应用于室外无人驾驶汽车或无人自主导航机器人中。
[0017]3.有益效果
[0018]与现有技术相比，本申请提供的一种图像自适应运动估计方法及应用的有益效果在于：
[0019]本申请提供的图像自适应运动估计方法，为基于无监督深度学习的单目图像自适应运动估计方法。
[0020]本申请提供的图像自适应运动估计方法，该方法利用图像全局亮度差异和局部亮度差异设计了一种自适应函数，用于区别处理图像序列之间的重叠和非重叠区域，从而应用于单目图像景深估计及相机姿态估计方法，有效解决了图像序列之间的时间间隔问题带来的不利影响。
[0021]本申请提供的图像自适应运动估计方法，在目标函数的构造过程中，基于图像全局亮度和局部亮度设计了自适应函数，用于区别处理图像序列中的重叠和非重叠区域，从而避免了图像之间的非重叠区域对图像重建造成的不利影响。
[0022]本申请提供的图像自适应运动估计方法的应用，针对室外无人驾驶汽车或无人自
主导航机器人中的车辆运动估计(单目相机与场景之间的相对距离估计及单目相机的空间位置与姿态估计)问题，提出一种自适应运动估计方法。
附图说明
[0023]图1是本申请的图像自适应运动估计方法原理示意图；
[0024]图2是本申请的KITTI数据集上的对比实验结果示意图；
[0025]图3是本申请的Cityscapes数据集上的对比实验结果示意图。
具体实施方式
[0026]在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
[0027]参见图1～3，本申请提供一种图像自适应运动估计方法，所述方法包括如下步骤：步骤1：构造第一深度卷积神经网络、第二深度卷积神经网络；步骤2：根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；步骤3：将单目图像输入所述第一深度卷积神经网络输出单目图像对应的视差图像，将图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像自适应运动估计方法，其特征在于：所述方法包括如下步骤：步骤1：构造第一深度卷积神经网络、第二深度卷积神经网络；步骤2：根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；步骤3：将单目图像输入所述第一深度卷积神经网络输出单目图像对应的视差图像，将所述图像序列输入所述第二深度卷积神经网络输出相机空间位姿变换矩阵。2.如权利要求1所述的图像自适应运动估计方法，其特征在于：所述第一深度卷积神经网络为单目图像景深估计网络，用于估计单目相机与场景之间相对距离；所述第二深度卷积神经网络为单目相机空间位姿估计网络，用于估计单目相机空间位置与姿态。3.如权利要求2所述的图像自适应运动估计方法，其特征在于：所述单目图像景深估计网络基于深度残差网络，所述单目图像景深估计网络为“编码
‑
解码”结构。4.如权利要求3所述的图像自适应运动估计方法，其特征在于：在所述“编码”过程中，网络通过卷积层、激活层和池化层不断提取想高维特征并降采样；在所述“解码”过程中，网络通过反卷积对图像做上采样处理，输出多尺度视差图像。5.如...

【专利技术属性】
技术研发人员：杨德龙，尚鹏，侯增涛，王博，付威廉，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：