基于多目全景图像的模型生成方法及装置制造方法及图纸

本发明专利技术提供一种基于多目全景图像的模型生成方法，其包括：获取参考图像以及对应的多个源图像；计算源图像和参考图像的图像矫正旋转矩阵；提取参考图像的参考图像特征以及源图像的源图像特征，并基于参考图像特征以及源图像特征计算参考图像与所述源图像的代价体；得到源图像与参考图像的矫正代价体；对参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体；基于最终代价体，计算参考图像在设定分辨率下的相差分布估计，并计算设定分辨率下的估计相差；对参考图像在每一层分辨率下的估计相差进行融合，得到参考图像的最终相差；基于参考图像的最终相差生成参考图像的深度图，并根据深度图构建对应的立体视觉模型。

【技术实现步骤摘要】
基于多目全景图像的模型生成方法及装置
本专利技术涉及图像处理
，特别是涉及一种基于多目全景图像的模型生成方法及装置。
技术介绍
传统的多视角立体视觉，通常采用单目相机在多个预先调校的空间位置进行图像采样。设某参考视角产生的图片为参考图片，所有与该视角有重合的视角产生的图片为源图片。传统MVS（Mult-viewStereo，多视点三维重建）算法通常通过寻找参考图片中的像素点/特征点在所有源图片中的匹配点，来确定点之间联系，通常使用相差标示。基于该联系，通过三角化关系，可以进一步计算得出参考图片中每一像素点的深度数值。该深度数值通过传统多视角融合算法融合，最终可产生该场景的立体视觉模型。但是上述方法中寻找匹配点的操作对计算资源消耗较大，且如果匹配点准确度较低可能导致后续生成的立体视觉模型的精准度较差。故，有必要提供一种基于多目全景图像的模型生成方法及装置，以解决现有技术所存在的问题。
技术实现思路
本专利技术实施例提供一种对计算资源消耗较低且生成模型的精准度较高的模型生成方法及模型生成装置；以解决现有的模本文档来自技高网...

【技术保护点】
1.一种基于多目全景图像的模型生成方法，其特征在于，包括：/n获取参考图像以及对应的多个源图像，其中所述源图像与所述参考图像具有重合视角；/n获取所述源图像的源相机参数以及所述参考图像的参考相机参数，并基于所述源相机参数以及所述参考相机参数，计算所述源图像和所述参考图像的图像矫正旋转矩阵；/n提取所述参考图像的参考图像特征以及所述源图像的源图像特征，并基于所述参考图像特征以及所述源图像特征计算所述参考图像与所述源图像的代价体；/n使用所述图像矫正旋转矩阵对所述代价体进行坐标系转换，得到所述源图像与所述参考图像的矫正代价体；/n对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价...

【技术特征摘要】
1.一种基于多目全景图像的模型生成方法，其特征在于，包括：
获取参考图像以及对应的多个源图像，其中所述源图像与所述参考图像具有重合视角；
获取所述源图像的源相机参数以及所述参考图像的参考相机参数，并基于所述源相机参数以及所述参考相机参数，计算所述源图像和所述参考图像的图像矫正旋转矩阵；
提取所述参考图像的参考图像特征以及所述源图像的源图像特征，并基于所述参考图像特征以及所述源图像特征计算所述参考图像与所述源图像的代价体；
使用所述图像矫正旋转矩阵对所述代价体进行坐标系转换，得到所述源图像与所述参考图像的矫正代价体；
对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体；
基于所述最终代价体，计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差；
对所述参考图像在每一层分辨率下的估计相差进行融合，得到所述参考图像的最终相差；
基于所述参考图像的最终相差生成所述参考图像的深度图，并根据所述深度图构建对应的立体视觉模型。


2.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，基于以下公式计算所述源图像和所述参考图像的图像矫正旋转矩阵：



其中R0为所述参考图像的旋转矩阵，t0为所述参考图像的平移矩阵，R1为对应的源图像的旋转矩阵，t1为对应的源图像的旋转矩阵，R为所述源图像和所述参考图像的图像矫正旋转矩阵。


3.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，基于以下公式计算所述参考图像与所述源图像的代价体：



其中c表示特征图的特征度信道数量，h代表特征图宽度，w代表特征图高度，F0为参考图像的特征图，F1为所述源图像的特征图，为参考图像与源图像的代价体，其中i为所述代价体的行位置，j为所述代价体的列位置，q为一设定相差值，代表特征图F1整体延w方向平移q和像素。


4.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，通过以下公式计算所述源图像和所述参考图像的矫正代价体：



其中R0为所述参考图像的旋转矩阵，R为所述源图像和所述参考图像的图像矫正旋转矩阵，为所述源图像和所述参考图像的矫正代价体。


5.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，所述对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体的步骤为：
使用逐元素最大池化操作对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体。


6.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，所述基于所述最终代价体，计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差的步骤为：
基于最终代价体，使用预设神经网络计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差；
其中在所述设定分辨率下，所述参考图像中检测物体的尺寸为所述参考图像的尺寸的0.3%至10%。


7.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，通过以下公式生成所述参考图像的深度图：



其中f为所述参考图像对应相机的焦距，b为多目全景图像立体系统中的基线长度，d为估计相差。


8.一种基于多目全景图像的模型生成方法，其特征在于，包括：
获取参考图像以及对应的多个源图像，其中所述源图像与所述参考图像具有重合视角；
对第一级参考图像进行折叠降维操作，获取所述第一级参考图像对应的至少一个下级参考图像；对第一级源图像进行折叠降维操作，获取所述第一级源图像对应的至少一个下级源图像；
使用第一预设残差卷积网络，对所述下级参考图像进行特征提取，以得到下级参考图像特征；使用第一预设残差卷积网络，对所述下级源图像进行特征提取，以得到下级源图像特征；
基于设定层级的下级参考图像特征以及设定层级的源图像特征，得到对应的设定层级的下级参考图像的最终代价体，并基于所述最终代价体，计算所述参考图像在设定分辨率下的下级参考图像...

【专利技术属性】
技术研发人员：陈丹，张誉耀，谭志刚，
申请(专利权)人：深圳看到科技有限公司，
类型：发明
国别省市：广东;44