图像处理方法、图像处理装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法及装置、电子设备和存储介质。图像处理方法包括：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，处理图像包括具有色彩信息和深度信息的第一像素点和具有色彩信息的第二像素点；根据第一像素点的深度信息、待求解的具有第二分辨率的输出深度图像、第一权重和第二权重形成目标函数的数据项、邻域平滑项和非局部平均正则项，第一权重根据第一像素点的色彩信息确定；对目标函数求解以得到输出深度图像。本发明专利技术的图像处理方法及装置、电子设备和存储介质对具有第一分辨率的深度图像进行升采样处理以获得具有第二分辨率的输出深度图像，从而提高输出深度图像的分辨率以满足用户的使用需求。

Image processing method, image processing device, electronic equipment and readable storage medium

【技术实现步骤摘要】
图像处理方法、图像处理装置、电子设备及可读存储介质
本专利技术涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
技术介绍
在相关技术中，受芯片面积和功耗指标的影响，深度获取模组形成的深度图像存在分辨率较低的问题。利用分辨率较低的深度图像难以满足用户的使用需求，例如会使得生成的三维模型的表面纹理细节缺失、降低人脸识别的准确率等。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。本专利技术实施方式的图像处理方法包括：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；根据第一权重、所述第一像素点的深度信息和所述输本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：/n将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；/n根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；/n根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点...

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；
根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；
根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；
根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；
对所述目标函数求解以得到所述输出深度图像。


2.根据权利要求1所述的图像处理方法，其特征在于，在所述根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项之前，所述图像处理方法还包括：
根据置信度图获取所述深度图像边缘处的低置信度像素点；
去除所述低置信度像素点的深度信息。


3.根据权利要求2所述的图像处理方法，其特征在于，所述深度图像由飞行时间摄像模组获得，所述飞行时间摄像模组用于进行多次采样以获得多帧相位图，所述深度图像通过处理多帧所述相位图获得，所述图像处理方法包括：
获取多帧所述相位图的对应像素点的平均像素值；
根据多个所述平均像素值获得幅度图；
对所述幅度图滤波以获得所述置信度图。


4.根据权利要求2所述的图像处理方法，其特征在于，所述深度图像由结构光摄像模组获得，所述结构光摄像模组用于获取结构光图像，所述深度图像通过处理所述结构光图像获得，所述图像处理方法包括：
获取所述结构光图像中最大像素值；
比较所述结构光图像中的每个像素值与所述最大像素值以获得所述置信度图。


5.根据权利要求1所述的图像处理方法，其特征在于，所述目标函数为E(D)＝Ed(D)+λsEs(D)+λNENLM(D)，其中E(D)为所述目标函数，Ed(D)为所述数据项，Es(D)为所述邻域平滑项，ENLM(D)为所述非局部平均正则项，λs为预设的第三权重，λN为预设的第四权重。


6.根据权利要求5所述的图像处理方法，其特征在于，所述数据项为Ed(D)＝∑p∈P(D(p)-G(p))2，其中，p为当前像素点，Ρ为所述第一像素点，D(p)为p点的深度信息，G(p)为所述输出深度图像中与p点对应的像素点的深度信息。


7.根据权利要求5所述的图像处理方法，其特征在于，所述邻域平滑项为Es(D)＝∑p∈P∑q∈N(p)wpq(D(p)-D(q))2，其中，p为当前像素点，Ρ为所述第一像素点，D(p)为p点的深度信息，N(p)为所述输出深度图像中与p点对应的像素点的第一邻域，q为第一邻域中的像素点，wpq为所述第一权重，D(q)为q点的深度信息。


8.根据权利要求7所述的图像处理方法，其特征在于，所述第一权重为wpq＝wcwswewd，其中wc为颜色相似度，ws为分隔权重，we为显著边缘权重，wd为高阶线性差值权重；
所述颜色相似度为其中，I为YUV空间的明亮度、色度或浓度，I(p)为p点的色彩信息，I(q)为所述处理图像中与q点对应的像素点的色彩信息，σI为预设常数；

【专利技术属性】
技术研发人员：陈岩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44