一种基于历史信息的场景深度推理方法、装置及电子设备制造方法及图纸

本申请提供一种基于历史信息的场景深度推理方法、装置及电子设备，该方法包括：获取第一图像帧和第二图像帧；获取深度估计网络的第一深度权重及相机运动网络的第一运动权重；第一图像帧、第二图像帧、第一深度权重和第一运动权重，采用误差计算模块，计算第一误差；将第一误差作为指导信号联合更新深度估计网络的第一深度权重和相机运动网络的第一运动权重，得到第二深度权重和第二运动权重；采用误差计算模块，计算第二误差；根据第一误差和第二误差，确定第二图像帧的场景深度及第一图像帧与第二图像帧之间的相对位姿。该方案可以降低因姿态不准确而产生的错误仿射变换的影响。姿态不准确而产生的错误仿射变换的影响。姿态不准确而产生的错误仿射变换的影响。

【技术实现步骤摘要】
一种基于历史信息的场景深度推理方法、装置及电子设备


[0001]本申请属于计算机视觉与图像处理
，特别涉及一种基于历史信息的 场景深度推理方法、装置及电子设备。

技术介绍

[0002]从二维图像中准确的恢复出场景深度有助于更好的理解场景的三维结构，从 而更好的完成各种视觉任务。然而，普通的相机在拍摄时获取的都是二维图像， 丢失了场景的深度信息，因此如何从二维图像或者视频序列中恢复出场景深度成 为了计算机视觉领域基础且极具挑战的任务。虽然目前已能从二维图像中恢复出 有竞争的场景深度，但是需要大量的人工标注的数据去训练神经网络，耗时费力， 且一旦完成模型的训练，模型的权重即被冻结，降低了算法对未知场景的泛化能 力。此外，基于全无监督学习的方案从二维图像中恢复场景深度，需要同时从相 邻帧中预测出相机姿态，而不准确的姿态会产生错误的仿射变换结果，直接影响 合成图像的质量，从而影响到恢复的场景深度质量。

技术实现思路

[0003]本说明书实施例的目的是提供一种基于历史信息的场景深度推理方法、装置 及电子设备。r/>[0004]为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于历史信息的场景深度推理方法，其特征在于，所述方法包括：获取待测图像的第一图像帧和第二图像帧，所述第一图像帧为所述第二图像帧前一时刻的图像帧；获取预先构建的深度估计网络的第一深度权重及预先构建的相机运动网络的第一运动权重；所述第一图像帧、所述第二图像帧、所述第一深度权重和所述第一运动权重，采用误差计算模块，计算第一误差；将所述第一误差作为指导信号联合更新所述深度估计网络的第一深度权重和所述相机运动网络的第一运动权重，得到第二深度权重和第二运动权重；所述第一图像帧、所述第二图像帧、所述第二深度权重和所述第二运动权重，采用所述误差计算模块，计算第二误差；根据所述第一误差和所述第二误差，确定所述第二图像帧的场景深度及所述第一图像帧与所述第二图像帧之间的相对位姿。2.根据权利要求1所述的方法，其特征在于，所述相机运动网络包括编码器、时间注意力模块和时空相关性模块；所述编码器用于提取所述堆叠图像帧的特征，得到堆叠特征图；所述堆叠图像帧为所述第一图像帧和所述第二图像帧按通道维度堆叠得到的；所述时间注意力模块用于将历史记忆单元的信息与当前输入单元的信息建立全局依赖关系，并通过更新单元，将全局相关的所述历史记忆单元中的信息注入到所述当前输入单元，同时将所述当前输入单元中的全局相关信息储存到所述历史记忆单元，作为下一时刻的历史记忆单元；所述当前输入单元包括所述堆叠特征图，所述堆叠特征图通过所述更新单元更新为更新后特征图，所述历史记忆单元包括第一记忆特征图和第一时间特征图，所述下一时刻的历史记忆单元包括第二记忆特征图和第二时间特征图；所述时空相关性模块用于将所述更新后特征图/所述第二记忆特征图分别建模成为具有空间相关性的第一/第二时空特征图。3.根据权利要求2所述的方法，其特征在于，所述将历史记忆单元的信息与当前输入单元的信息建立全局依赖关系，并通过更新单元，将全局相关的所述历史记忆单元中的信息注入到所述当前输入单元，同时将所述当前输入单元中的全局相关信息储存到所述历史记忆单元，作为下一时刻的历史记忆单元，包括：将所述堆叠特征图中的特征信息和所述第一记忆特征图的特征信息注入到所述第一时间特征图，得到第三时间特征图；根据所述第三时间特征图，确定时间注意力特征向量；根据所述堆叠特征图，确定第一特征向量；根据所述第一记忆特征图；确定第二特征向量根据所述第一特征向量和所述时间注意力特征向量，确定基于时间注意力的输入特征向量；根据所述第二特征向量和所述时间注意力特征向量，确定基于时间注意力的记忆特征向量；分别将所述基于时间注意力的输入特征向量和所述基于时间注意力的记忆特征向量，
调整成对应的第一特征图和第二特征图；根据所述第一特征图和所述第二特征图，确定所述更新后特征图和所述第二记忆特征图；根据所述更新后特征图和所述第二记忆特征图，将所述第三时间特征图更新为所述第二时间特征图。4.根据权利要求2所述的方法，其特征在于，将所述更新后特征图建模成具有空间相关性的第一时空特征图，包括：将所述更新后特征图在通道维度进行切片，得到第一子特征图、第二子特征图和第三子特征图；分别将所述更新后特征图、所述第一子特征图、所述第二子特征图和所述第三子特征图调整成为第三特征向量、第一子特征向量、第二子特征向量和第三子特征向量；根据所述第一子特征向量和所述第二子特征向量，计算所述第一子特征图和所述第二子特征图之间的第一空间相关性矩阵；利用所述第一空间相关性矩阵对所述第三子特征向量进行加权处理，得到第一空间相关特征向量；根据所述第一空间相关特征向量和所述第三特征向量，确定第一时空特征向量；将所述第一时空特征向量调整为具有空间相关性的所述第一时空特征图；将所述第二记忆特征图建模成具有空间相关性的第二时空特征图，包括：将所述第二记忆特征图在通道维度进行切片，得到第四子特征图、第五子特征图和第六子特征图；分别将所述第二记忆特征图、所述第四子特征图、所述第五子特征图和所述第六子特征图调整为第四特征向量、第四子特征向量、第五子特征向量和第六子特征向量；根据所述第四子特征向量和所述第五子特征向量，计算所述第四子特征图和所述第五子特征图之间的第二空间相关性矩阵；利用所述第二空间相关性矩阵对所述第六子特征向量进行加权处理，得到第二空间相关特征向量；根据所述第二空间相关特征向量和所述第四特征向量，确定第二时空特征向量；将所述第二时空特征向量调整为具有空间相关性的所述第二时空特征图。5.根据权利要求1项所述的方法，其特征在于，所述第一图像帧、所述第二图像帧、所述第一深度权重和所述第一运动权重，采用误差计算模块，计算第一误差，包括：将所述第一图像帧和所述第二图像帧输入预先构建的深度估计网络，根据所述第一图像帧和所述第一深度权重，得到所述第一图像帧的第一场景深度和所述第一图像帧的第一编码器特征图，根据所述第二图像帧和所述第一深度权重，得到所述第二图像帧的第二场景深度和所述第二图像帧的第二编码器特征图；将所述第一图像帧和所述第二图像帧输入预先构建的相机运动网络，根...

【专利技术属性】
技术研发人员：王飞，程俊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：