图像处理方法和设备技术

本申请提供了一种图像处理方法和设备，有利于提高三维重建结果的精确性。该方法包括：基于多张原始图像得到多组匹配特征点，并基于多组匹配特征点在原始图像中的像素坐标，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，基于多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，确定每张原始图像上对应的匹配特征点的深度信息，并结合多张原始图像，确定每张原始图像对应的环境光照图，基于环境光照图和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于虚拟光源三维坐标和多张环境光照图，得到多张光照补偿图像；基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型。型。型。

【技术实现步骤摘要】
图像处理方法和设备


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法和设备。

技术介绍

[0002]三维重建技术是指利用计算机技术将现实世界场景或物体重建为计算机能够表达和处理的数据模型。基于图像的三维重建技术由于其对于图像采集设备的低要求以及重建过程的低成本特点，应用越来越广泛。
[0003]目前基于图像的三维重建技术主要包括：提取多视角图像中的特征点、完成特征点匹配、基于运动恢复结构技术进行稀疏点云重建以及基于多视图立体技术进行稠密重建。通常在稀疏点云重建后，取匹配特征点在不同视角下的图像中的颜色的均值作为对应的三维点颜色，为稀疏点云进行着色处理。基于着色后的稀疏点云，通过多视图立体技术进行稠密重建，来提高三维重建结果的精确性。
[0004]然而，由于目标对象的表面材质、采集目标对象的图像时的环境光位置或颜色，使不同视角下的图像可能出现目标对象纹理不清晰、颜色不真实、多视角下纹理不一致等现象，匹配特征点在不同视角下的图像中的颜色的均值并不代表目标对象的真实颜色，因此，上述方法的三维重建结果的精确性较差。

技术实现思路

[0005]本申请提供了一种图像处理方法和设备，能够考虑到环境光照对目标对象的影响，有利于提高三维重建结果的精确性。
[0006]第一方面，提供了一种图像处理方法，包括：获取目标对象的多张原始图像，多张原始图像分别是在不同视角下对所述目标对象进行拍摄得到的；基于多张原始图像得到多组匹配特征点，并基于多组匹配特征点在对应的原始图像中的像素坐标，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿；基于多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，确定每张原始图像上对应的匹配特征点的深度信息；基于每张原始图像上对应的匹配特征点的深度信息和多张原始图像，确定每张原始图像对应的环境光照图；基于每张原始图像对应的环境光照图和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿，得到多张光照补偿图像；基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型。
[0007]本申请实施例的图像处理方法，通过考虑环境光照对目标对象的影响，在三维重建时，引入环境光照图，利用环境光照图，确定虚拟光源三维坐标，基于虚拟光源三维坐标和环境光照图对原始图像进行光照补偿，得到多张光照补偿图像，由于光照补偿图像包含了环境光照对目标对象的影响，利用多张光照补偿图像对目标对象进行三维重建，可以使得三维重建后得到的三维模型的颜色更接近于目标物体在实际环境光照场景下的真实颜色，有利于提高三维重建结果的精确性，从而提高用户体验。
feature transform，SIFT)、加速稳健特征算法(speeded up robust features，SURF)、角点检测算法(features from accelerated segment test，FAST)或快速特征点提取和描述算法(oriented fast and rotated brief，ORB)算法等特征点提取算法提取多张原始图像中每张原始图像的特征点，本申请实施例对此不做限定。
[0019]还应理解，图像处理设备可以通过特征匹配策略对多张原始图像上分别提取多个特征点进行特征点匹配，获得多组匹配特征点。示例性地，特征匹配策略可以是暴力匹配策略、K最邻近法(k
‑
nearest neighbor，KNN)匹配策略等，本申请实施例对此不做限定。
[0020]通过合适的特征提取算法和特征匹配策略，图像处理设备可以更加准确地提取到特征点，且可以获得更加准确的特征匹配结果，即上述多组匹配特征点，这样，有利于提高后续三维重建结果的准确性。
[0021]结合第一方面，在第一方面的某些实现方式中，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，包括：基于多组匹配特征点在对应的原始图像中的像素坐标和多张原始图像对应的相机内参，利用三角化方法，确定每张原始图像对应的相机相对位姿；基于多组匹配特征点在对应的原始图像中的像素坐标和每张原始图像对应的相机相对位姿，利用三角化方法，确定多组匹配特征点的三维坐标。
[0022]结合第一方面，在第一方面的某些实现方式中，确定每张原始图像上对应的匹配特征点的深度信息，包括：将多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿输入至深度估计网络模型，得到每张原始图像上对应的匹配特征点的深度信息。
[0023]示例性地，深度估计网络模型可以是卷积神经网络(convolutional neural networks，CNN)。
[0024]结合第一方面，在第一方面的某些实现方式中，确定每张原始图像对应的环境光照图，包括：将每张原始图像上对应的匹配特征点的深度信息和多张原始图像输入至光照估计网络模型，得到每张原始图像对应的环境光照图。
[0025]示例性地，光照估计网络模型可以是Gardner
’
s光照估计网络模型。
[0026]结合第一方面，在第一方面的某些实现方式中，确定虚拟光源三维坐标，包括：将每张原始图像对应的环境光照图中像素幅值最小的像素坐标确定为虚拟光源在每张原始图像中对应的像素坐标；基于虚拟光源在每张原始图像对应的像素坐标和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标。
[0027]第二方面，提供了一种图像处理设备，包括：获取模块，用于获取目标对象的多张原始图像，多张原始图像分别是在不同视角下对所述目标对象进行拍摄得到的；处理模块，用于基于多张原始图像得到多组匹配特征点，并基于多组匹配特征点在对应的原始图像中的像素坐标，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿；基于多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，确定每张原始图像上对应的匹配特征点的深度信息；基于每张原始图像上对应的匹配特征点的深度信息和多张原始图像，确定每张原始图像对应的环境光照图；基于每张原始图像对应的环境光照图和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿，得到多张光照补偿图像；以及，基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型。
[0028]结合第二方面，在第二方面的某些实现方式中，处理模块还用于：基于每张原始图
像对应的相机相对位姿、虚拟光源三维坐标和多组匹配特征点的三维坐标，确定更新虚拟光源三维坐标和多组匹配特征点的更新三维坐标；基于更新虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿；以及，基于多张光照补偿图像和多组匹配特征点的更新三维坐标，确定所述目标对象的三维模型。
[0029]结合第二方面，在第二方面的某些实现方式中，处理模块还用于：基于更新虚拟光源三维坐标，确定虚拟光源在每张原始图像中的更新像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标对象的多张原始图像，所述多张原始图像分别是在不同视角下对所述目标对象进行拍摄得到的；基于所述多张原始图像得到多组匹配特征点，并基于所述多组匹配特征点在对应的原始图像中的像素坐标，确定所述多组匹配特征点的三维坐标和所述每张原始图像对应的相机相对位姿；基于所述多组匹配特征点的三维坐标和所述每张原始图像对应的相机相对位姿，确定所述每张原始图像上对应的匹配特征点的深度信息；基于所述每张原始图像上对应的匹配特征点的深度信息和所述多张原始图像，确定所述每张原始图像对应的环境光照图；基于所述每张原始图像对应的环境光照图和所述每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于所述虚拟光源三维坐标和所述每张原始图像对应的环境光照图，对所述每张原始图像进行光照补偿，得到多张光照补偿图像；基于所述多张光照补偿图像和所述多组匹配特征点的三维坐标，确定所述目标对象的三维模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述每张原始图像对应的相机相对位姿、所述虚拟光源三维坐标和所述多组匹配特征点的三维坐标，确定更新虚拟光源三维坐标和所述多组匹配特征点的更新三维坐标；所述基于所述虚拟光源三维坐标和所述每张原始图像对应的环境光照图，对所述每张原始图像进行光照补偿，包括：基于所述更新虚拟光源三维坐标和所述每张原始图像对应的环境光照图，对所述每张原始图像进行光照补偿；所述基于所述多张光照补偿图像和所述多组匹配特征点的三维坐标，确定所述目标对象的三维模型，包括：基于所述多张光照补偿图像和所述多组匹配特征点的更新三维坐标，确定所述目标对象的三维模型。3.根据权利要求2所述的方法，其特征在于，所述对所述每张原始图像进行光照补偿，得到多张光照补偿图像，包括：基于所述更新虚拟光源三维坐标，确定所述虚拟光源在所述每张原始图像中的更新像素坐标；基于所述虚拟光源在所述每张原始图像中的更新像素坐标与所述虚拟光源在所述每张原始图像中对应的像素坐标之间的差值，对所述每张原始图像对应的环境光照图中的像素点进行位移，得到所述每张原始图像对应的环境光照补偿图；基于所述每张原始图像对应的环境光照补偿图，分别对所述每张原始图像进行光照补偿，得到所述多张光照补偿图像。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述多张光照补偿图像和所述多组匹配特征点的更新三维坐标，确定所述目标对象的三维模型，包括：将所述多组匹配特征点的更新三维坐标确定为无色稀疏三维点云；
获取所述多组匹配特征点在对应的多张光照补偿图像中的像素坐标；利用所述多组匹配特征点在对应的多张光照补偿图像中的像素坐标，对所述无色稀疏三维点云进行着色，得到着色稀疏三维点云；基于所述着色稀疏三维点云和所述多张光照补偿图像，确定所述目标对象的三维模型。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述多张原始图像得到多组匹配特征点，包括：提取所述多张原始图像中每张原始图像的特征点；对所述多张原始图像进行特征点匹配，获得所述多组匹配特征点。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述确定所述多组匹配特征点的三维坐标和所述每张原始图像对应的相机相对位姿，包括：基于所述多组匹配特征点在对应的原始图像中的像素坐标和所述多张原始图像对应的相机内参，利用三角化方法，确定所述每张原始图像对应的相机相对位姿；基于所述多组匹配特征点在对应的原始图像中的像素坐标和所述每张原始图像对应的相机相对位姿，利用三角化方法，确定所述多组匹配特征点的三维坐标。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述确定所述每张原始图像上对应的匹配特征点的深度信息，包括：将所述多组匹配特征点的三维坐标和所述每张原始图像对应的相机相对位姿输入至深度估计网络模型，得到所述每张原始图像上对应的匹配特征点的深度信息。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述确定所述每张原始图像对应的环境光照图，包括：将所述每张原始图像上对应的匹配特征点的深度信息和所述多张原始图像输入至光照估计网络模型，得到所述每张原始图像对应的环境光照图。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述确定虚拟光源三维坐标，包括：将所述每张原始图像对应的环境光照图中像素幅值最小的像素坐标确定为虚拟光源在所述每张原始图像中对应的像素坐标；基于所述虚拟光源在所述每张原始图像对应的像素坐标和所述每张原始图像对应的相机相对位姿，确定所述虚拟光源三维坐标。10.一种图像处理设备，其特征在于，包括：获取模块，用于获取目标对象的多张原始图像，所述多...

【专利技术属性】
技术研发人员：刘小伟，周俊伟，王国毅，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：