图像处理方法及装置制造方法及图纸

本公开提供一种图像处理方法及装置。所述方法包括：获取通过预测网络获得的第一图像对应的第一初始深度图像，预测网络用于预测输入图像对应的深度图像，根据第一图像和第二图像中拍摄对象的位姿变化信息，获取第一图像对应的第二初始深度图像，第一图像和第二图像相邻拍摄，根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络的参数进行调整，通过调整后的预测网络获得第一图像对应的目标深度图像。本方法利用预测网络获得深度图像，省去了深度相机模组的使用，降低了电子设备的成本，并且在执行本方法时对电子设备的工作环境的要求较低，因此将本方法应用在电子设备中，有利于电子设备的使用和推广。有利于电子设备的使用和推广。有利于电子设备的使用和推广。

【技术实现步骤摘要】
图像处理方法及装置


[0001]本公开涉及计算机通信
，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]电子设备使用拍摄对象的深度信息对图像进行处理，实现背景虚化、对运动对象进行锁定和对焦、AR(Augmented Reality，增强现实)尺子、AR特效等功能。
[0003]目前电子设备安装有深度相机模组，使用深度相机模组直接获取包括深度信息的深度图像。然而，深度相机模组的高成本和工作环境的局限，影响了电子设备的使用和推广。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供了一种图像处理方法及装置。
[0005]根据本公开实施例的第一方面，提供了一种图像处理方法，应用于电子设备，所述方法包括：
[0006]获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；
[0007]根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；
[0008]根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；
[0009]通过调整后的预测网络获得所述第一图像对应的目标深度图像。
[0010]可选地，所述方法还包括：
[0011]获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；
[0012]根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。
[0013]可选地，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，包括：
[0014]根据所述位姿变化信息，获取所述第一图像对应的深度图像；
[0015]根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；
[0016]确定去除所述第一异常像素点之后的第一图像是否满足预设条件；
[0017]若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。
[0018]可选地，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所
述第一图像对应的第二初始深度图像，还包括：
[0019]若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；
[0020]根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。
[0021]可选地，所述确定去除所述第一异常像素点之后的第一图像是否满足预设条件，包括：
[0022]确定所述去除后的第一图像中的像素点的数量是否满足预设范围。
[0023]可选地，所述根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，包括：
[0024]确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；
[0025]若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。
[0026]可选地，所述方法还包括：
[0027]在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。
[0028]根据本公开实施例的第二方面，提供了一种图像处理装置，所述装置包括：
[0029]第一深度图获取模块，被配置为获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；
[0030]第二深度图获取模块，被配置为根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；
[0031]网络调整模块，被配置为根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；
[0032]目标深度图获取模块，被配置为通过调整后的预测网络获得所述第一图像对应的目标深度图像。
[0033]可选地，所述装置还包括：
[0034]坐标集合获取模块，被配置为获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；
[0035]位姿变化信息确定模块，被配置为根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。
[0036]可选地，所述第二深度图获取模块，包括：
[0037]深度图像获取子模块，被配置为根据所述位姿变化信息，获取所述第一图像对应的深度图像；
[0038]异常像素点确定子模块，被配置为根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；
[0039]图像判断子模块，被配置为确定去除所述第一异常像素点之后的第一图像是否满足预设条件；
[0040]图像确定子模块，被配置为若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。
[0041]可选地，所述第二深度图获取模块，还包括：
[0042]异常像素点去除子模块，被配置为若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；
[0043]第二初始深度图像获取子模块，被配置为根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。
[0044]可选地，所述图像判断子模块，被配置为确定所述去除后的第一图像中的像素点的数量是否满足预设范围。
[0045]可选地，所述异常像素点确定子模块，包括：
[0046]偏差判断单元，被配置为确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；
[0047]异常像素点确定单元，被配置为若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。
[0048]可选地，所述装置还包括：
[0049]异常像素点去除模块，被配置为在获取所述第二初始深度图像之后，利用线性回归方法去除所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；通过调整后的预测网络获得所述第一图像对应的目标深度图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，包括：根据所述位姿变化信息，获取所述第一图像对应的深度图像；根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；确定去除所述第一异常像素点之后的第一图像是否满足预设条件；若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，还包括：若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。5.根据权利要求3或4所述的方法，其特征在于，所述确定去除所述第一异常像素点之后的第一图像是否满足预设条件，包括：确定所述去除后的第一图像中的像素点的数量是否满足预设范围。6.根据权利要求3所述的方法，其特征在于，所述根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，包括：确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中
的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。8.一种图像处理装置，其特征在于，所述装置包括：第一深度图获取模块，被配置为获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；第二深度图获取模块，被配置为根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对...

【专利技术属性】
技术研发人员：余冲，雷磊，王晓涛，李雅楠，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：