基于焦距等效和帧流同步的双摄像头深度估计方法和装置制造方法及图纸

本发明专利技术涉及一种基于焦距等效和帧流同步的双摄像头深度估计方法和装置，包括：根据迭代FoV裁剪技术，对所述双摄像头进行焦距等效；基于预设丢帧阈值，对所述异构摄像头进行帧流同步；利用焦距等效和帧流同步后的双摄像头，对目标图像进行深度估计。本发明专利技术采用迭代视场裁剪方式，同步移动设备上两个摄像头的焦距，以实现精确的极线矫正。同时，对移动设备上两个摄像头捕捉的帧流进行同步，避免移动物体于同一时刻在两个摄像头上的帧间位移。在此基础上，利用焦距等效和帧流同步后的双摄像头对目标图像进行深度估计，可降低深度估计的误差。可降低深度估计的误差。可降低深度估计的误差。

【技术实现步骤摘要】
基于焦距等效和帧流同步的双摄像头深度估计方法和装置


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于焦距等效和帧流同步的双摄像头深度估计方法和装置。

技术介绍

[0002]近年来，移动设备上增强现实(AR)应用和虚拟现实(VR)应用日益流行，在移动设备上实现增强现实(AR)和虚拟现实(VR)的实时深度估计技术也越发受到重视。在双目深度估计技术已被研发以及移动设备上普遍安装后置双摄像头的背景下，研究人员期望利用移动设备上后置双摄像头实现深度估计。
[0003]然而，经过深度的调研分析发现，利用移动设备上后置双摄像头实现深度估计面临以下几个挑战：
[0004](1)：后置双摄像头焦距不同导致极线校正不准确。即移动设备上后置双摄像头的设计初衷是为了满足微距拍摄、广角拍摄等应用场景，它们具有非常不同的焦距。如果直接对双摄像头拍摄图像进行极线校正，极有可能使校正后的图像扭曲变形，影响深度估计效果。
[0005](2)：后置双摄像头捕捉的帧流不同步导致视差计算精度差。即由于后置双摄像头的帧周期会有稍许差异，因此后置双摄像头在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于焦距等效和帧流同步的双摄像头深度估计方法，其特征在于，所述双摄像头为置于移动设备上的异构摄像头，所述方法包括：根据迭代FoV裁剪技术，对所述双摄像头进行焦距等效；基于预设丢帧阈值，对所述异构摄像头进行帧流同步；利用焦距等效和帧流同步后的双摄像头，对目标图像进行深度估计。2.根据权利要求1所述的基于焦距等效和帧流同步的双摄像头深度估计方法，其特征在于，所述根据迭代FoV裁剪技术，对所述双摄像头进行焦距等效，包括：利用所述双摄像头，采集K对棋盘格图像；滤除所述K对棋盘格图像中重投影误差大于预设重投影误差阈值的图像对，并将剩余的图像对作为原始图像对；根据迭代FoV裁剪技术以及所述原始图像对，确定裁剪因子；利用所述裁剪因子，对所述双摄像头中宽视场摄像头进行数字变焦，以使所述双摄像头的焦距等效；其中，所述K为第一预设值。3.根据权利要求2所述的基于焦距等效和帧流同步的双摄像头深度估计方法，其特征在于，所述根据迭代FoV裁剪技术以及所述原始图像对，确定裁剪因子，包括：步骤A：初始化裁剪因子；步骤B：利用张正友标定法标定所述原始图像对中具有窄视场的图像，得到所述双摄像头中窄视场摄像头对应的焦距；步骤C：在每一次迭代中，以视场中心为基点，按照所述裁剪因子对所述原始图像对中具有宽视场的图像进行全方位裁剪；步骤D：利用张正友标定法标定裁剪后的图像，得到本次迭代所述双摄像头中宽视场摄像头对应的焦距；步骤E：将所述窄视场摄像头对应的焦距和本次迭代所述宽视场摄像头对应的焦距输入到预设焦距差损失函数中，得到本次迭代的焦距差损失函数值；步骤F：若连续G轮迭代的焦距差损失函数值均小于预设损失函数值，则输出当前裁剪因子；否则，更新裁减因子并返回步骤C；其中，G为第二预设值。4.根据权利要求3所述的基于焦距等效和帧流同步的双摄像头深度估计方法，其特征在于，所述焦距差损失函数的表达式如下：上式中，J(α
i
)为第i次迭代的焦距差损失函数值，α
i
为第i次迭代时的裁减因子，为第i次迭代所述宽视场摄像头对应的焦距，f
T
为所述窄视场摄像头对应的焦距。5.根据权利要求3所述的基于焦距等效和帧流同步的双摄像头深度估计方法，其特征在...

【专利技术属性】
技术研发人员：刘云新，李元春，
申请(专利权)人：清华大学，
类型：发明
国别省市：