图像处理方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了图像处理方法、装置、存储介质及电子设备。该方法引入了计算机视觉技术，包括：根据目标图像和多张相邻图像的图像特征、及目标图像中像素点的位置构建三维特征卷，其中，三维特征卷由多个代价匹配图沿深度假设方向堆叠而成；按照深度假设方向依次计算目标图像中像素点映射在不同深度假设上的概率，其中，像素点位于当前层深度假设上的概率基于当前层深度假设上的代价匹配图和历史代价匹配图确定；根据目标图像中像素点在不同深度假设上的概率生成深度图。本方案可处理高分辨率的图像获得高分辨率的深度图，在降低内存占用的同时保证了构建的深度图的精准性。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备
本申请涉及深度图生成
，具体涉及一种图像处理方法、装置、存储介质及电子设备。
技术介绍
从应用中引入3D(ThreeDimensional，三维)几何是数十年来经典的计算机视觉问题。相关技术中采用手工制作相似性指标和工程标准化进行传播点并优化相关几何，但是仍然存在解决匹配模糊的限制，尤其是在无纹理的表面。而基于深度学习的多视图立体几何方法，从训练数据中学习知识可以推断出从立体匹配算法中难以获得的信息去解决匹配模糊性。然而大部分基于神经网络的方法都采用了非常大的降采样模块来完成特征的提取，导致内存消耗较大，且信息也在降采样的过程中丢失，导致3D重建的效果较差。
技术实现思路
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以减少内存占用、提升深度图的精准性。本申请实施例提供了一种图像处理方法，包括：对目标图像、及所述目标图像的多张相邻图像提取图像特征，其中，所述目标图像和所述相邻图像为一确定场景在不同视角下的图像；<br>根据所述图像特本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对目标图像、及所述目标图像的多张相邻图像提取图像特征，其中，所述目标图像和所述相邻图像为一确定场景在不同视角下的图像；/n根据所述图像特征和所述目标图像中像素点的位置构建三维特征卷，所述三维特征卷由多个代价匹配图沿深度假设方向堆叠而成，每一代价匹配图映射在不同的深度假设上，所述代价匹配图包括多个像素点；/n按照所述深度假设方向依次计算所述目标图像中像素点映射在不同深度假设上的概率，其中，所述像素点位于当前层深度假设上的概率基于所述当前层深度假设上的代价匹配图和历史代价匹配图确定，所述历史代价匹配图为位于所述当前层之前所有深度假设上的代价匹配图；/n基...

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对目标图像、及所述目标图像的多张相邻图像提取图像特征，其中，所述目标图像和所述相邻图像为一确定场景在不同视角下的图像；
根据所述图像特征和所述目标图像中像素点的位置构建三维特征卷，所述三维特征卷由多个代价匹配图沿深度假设方向堆叠而成，每一代价匹配图映射在不同的深度假设上，所述代价匹配图包括多个像素点；
按照所述深度假设方向依次计算所述目标图像中像素点映射在不同深度假设上的概率，其中，所述像素点位于当前层深度假设上的概率基于所述当前层深度假设上的代价匹配图和历史代价匹配图确定，所述历史代价匹配图为位于所述当前层之前所有深度假设上的代价匹配图；
基于所述目标图像中像素点映射在不同深度假设上的概率生成所述目标图像的深度图。


2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述图像特征和所述目标图像中像素点的位置构建三维特征卷，包括：
获取所述目标图像的图像特征与每一所述相邻图像的图像特征的差异特征；
将获取的所述目标图像与每一所述相邻图像的差异特征进行融合，得到融合特征后的特征图；
根据所述特征图和所述目标图像中像素点的位置构建三维特征卷。


3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述特征图和所述目标图像中像素点的位置构建三维特征卷，包括：
对所述目标图像中每一像素点的位置进行单应性变换；
根据单应性变换结果，将所述特征图中位于相应像素点所在位置上的特征映射到对应的深度假设位置上，以构建三维特征卷。


4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述目标图像中像素点的位置进行单应性变换，包括：
确定拍摄所述目标图像时的相机内部参数和相机外部参数；
至少根据所述相机内部参数和所述相机外部参数，确定单应性变换矩阵；
根据所述单应性变换矩阵求取所述目标图像中每一像素点的单应性。


5.根据权利要求1所述的图像处理方法，其特征在于，基于所述当前层深度假设上的代价匹配图和历史代价匹配图，确定所述目标图像中像素点位于当前层深度假设上的概率，包括：
对所述当前层深度假设上的代价匹配图提取多个不同尺度的特征，其中，提取的当前尺度的特征基于前一尺度的特征、以及从所述历史代价匹配图中提取的相同尺度的历史特征确定；
根据所述多个不同尺寸的特征，计算所述目标图像中像素点位于当前层深度假设上的概率。


6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述多个不同尺寸的特征，计算所述目标图像中像素点位于当前层深度假设上的概率，包括：
将所述多个尺度的特征进行融合，得到融合特征；
根据所述融合特征计算所述目标图像中像素点位于当前层深度假设上的概率。


7.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述目标图像中像素点映射在不同深度假设上的概率生成所述目标图像的深度图，包括：
确定出所述目标图像中每一像素点最大概率的深度假设；
基于所述最大概率的深度假设确定所述目标图像中每一像素点的三维空间位置；
基于每一像素点的三维空间位置构建所述目标图像的深度图。

【专利技术属性】
技术研发人员：张润泽，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44