图像处理方法和电子设备技术

本申请实施例适用于数据处理领域，提供一种图像处理方法和电子设备，先获取第一图像、第一深度图像与第一掩膜图像，再采用第一预设模板确定第一图像中的第一像素点，同时对第一图像进行超像素分割，得到多个区域，再基于第一深度信息确定多个区域中的第一区域集合，然后基于第一区域集合，得到第二掩膜图像，进而基于第二掩膜图像与第一图像，得到增强现实AR图像，由于基于第一区域集合得到的第二掩膜图像中包括的mask仅单独指示第一对象的图像区域，虚拟形象不会由于第一对象的深度不准确而错位，提高了生成的AR图像的效果。提高了生成的AR图像的效果。提高了生成的AR图像的效果。

【技术实现步骤摘要】
图像处理方法和电子设备


[0001]本申请涉及数据处理领域，并且更具体地，涉及一种图像处理方法和电子设备。

技术介绍

[0002]增强现实（Augmented Reality，AR）技术能够将计算机生成的虚拟对象呈现在现实场景中，以实现虚拟对象和现实场景的融合。通常，可以利用AR技术增强拍摄的趣味性。
[0003]例如，将AR技术生成的虚拟形象与实际拍照得到的真实的人像图像融合，得到趣味性高的AR图像。或者，将AR技术生成的虚拟形象与实际摄像得到的真实的人像视频融合，得到趣味性高的AR视频。为了便于理解，下面以生成AR图像为例进行说明。在将虚拟形象和真实的人像进行融合时，通常需要先确定出人像的深度信息。在确定人像的深度信息时，需要获取人像语义掩膜图，并根据人像语义掩膜图中的掩膜确定出人像的深度信息。然而，在一些可能的情况下，例如，图像中存在多个人像，且人像之间有重叠部分。在这种情况下，所得到的人像语义掩膜图中的一个掩膜包括多个人像，该掩膜中人像的深度是多个人像的平均深度。也即是说，根据人像语义掩膜图得到的人像深度不准确。在这种情况下，导致生成的AR图像中虚拟形象错位，最终导致生成的AR图像的效果较差。
[0004]基于此，如何在多人和虚拟形象合成的场景中提高AR图像的效果成为了一个亟待解决的问题。

技术实现思路

[0005]本申请提供了一种图像处理方法，能够在多人和虚拟形象合成的场景中提高AR图像的效果。
[0006]第一方面，提供了一种图像处理方法，包括：获取第一图像、第一深度图像与第一掩膜图像，其中，第一图像中包括第一对象的图像区域与第二对象的图像区域，第一对象的图像区域与第二对象的图像区域部分重叠，第一对象与第二对象为相同类别的待拍摄对象，第一深度图像用于表征第一对象与第二对象的深度信息，第一掩膜图像标识第一图像中第一对象的图像区域与第二对象的图像区域；采用第一预设模板确定第一图像中的第一像素点，第一像素点为第一对象的图像区域中的像素点，第一预设模板与第一距离相关，第一距离为第一对象与电子设备之间的距离；对第一图像进行超像素分割，得到多个区域，多个区域中包括第一区域，第一区域包括第一像素点；基于第一深度信息确定多个区域中的第一区域集合，第一深度信息用于表征第一区域的深度，第一区域集合中每个区域的深度与第一区域的深度的差值小于第一阈值，第一区域集合包括第一区域；基于第一区域集合，得到第二掩膜图像，第二掩膜图像用于标识第一图像中第一
对象的图像区域；基于第二掩膜图像与第一图像，得到增强现实AR图像。
[0007]本申请的实施例中提供的图像处理方法，先获取第一图像、第一深度图像与第一掩膜图像，再采用第一预设模板确定第一图像中的第一像素点，同时对第一图像进行超像素分割，得到多个区域，再基于第一深度信息确定多个区域中的第一区域集合，然后基于第一区域集合，得到第二掩膜图像，进而基于第二掩膜图像与第一图像，得到增强现实AR图像，其中，第一图像中包括第一对象的图像区域与第二对象的图像区域，第一对象的图像区域与第二对象的图像区域部分重叠，第一对象与第二对象为相同类别的待拍摄对象，第一深度图像用于表征第一对象与第二对象的深度信息，第一掩膜图像标识第一图像中第一对象的图像区域与第二对象的图像区域，第一像素点为第一对象的图像区域中的像素点，第一预设模板与第一距离相关，第一距离为第一对象与电子设备之间的距离，多个区域中包括第一区域，第一区域包括第一像素点，第一深度信息用于表征第一区域的深度，第一区域集合中每个区域的深度与第一区域的深度的差值小于第一阈值，第一区域集合包括第一区域，第二掩膜图像用于标识第一图像中第一对象的图像区域，由于先通过第一预设模板获取了第一图像中第一对象的图像区域的第一像素点，使得基于第一像素点所在的第一区域的深度确定出的第一区域集合为同一个对象的图像区域，不包括其他对象的图像区域，因此基于第一区域集合得到的第二掩膜图像中包括的mask仅单独指示第一对象的图像区域，避免了第一对象的深度是根据至少两个对象的深度均值确定出来的情况，提高了第一对象的深度的准确性，避免了生成的AR图像中虚拟形象错位的问题，提高了生成的AR图像的效果。
[0008]结合第一方面，在第一方面的一个实施例中，若第一对象与第二对象为人，第一预设模板为头部轮廓模板，第一距离与第一预设模板的面积成反比例。
[0009]结合第一方面，在第一方面的一个实施例中，还包括：获取电子设备的位姿信息；基于位姿信息调整头部轮廓模板的形状。
[0010]本申请的实施例中，根据电子设备的位姿信息对第一预设模板进行调整，得到调整后的第一预设模板，这样使得第一预设模板的角度与第一图像的拍摄角度接近，进而使得调整后的第一预设模板和第一图像中人像的头部轮廓更加的匹配，因此基于调整后的第一预设模板能够更加准确的得到第一像素点，进而提高了基于第一像素点得到的第二掩膜图像的准确度，提高了基于第二掩膜图像和第一图像得到的AR图像的准确性。
[0011]结合第一方面，在第一方面的一个实施例中，还包括：按照预设的区间范围将第一深度图像中各个深度值划分为多个深度区间；确定多个深度区间中像素数量最多的目标深度区间；根据目标深度区间的深度范围确定第一预设模板。
[0012]本申请的实施例中，第一预设模板是与第一对象与电子设备之间的距离，也即是第一距离相关的头部轮廓模板，第一距离越大，头部轮廓模板的面积越小，第一距离越小，头部轮廓模板的面积越大，因此，直接根据第一距离选择对应的第一预设模板，能够使得第一预设模板的大小与第一对象的大小更加匹配，提高了根据第一预设模板确定第一像素点的效率，进而提高了根据第一像素点确定第二掩膜图像的效率。
[0013]结合第一方面，在第一方面的一个实施例中，上述采用第一预设模板确定第一图像中的第一像素点，包括：获取第一掩膜图像对应的边缘图，边缘图为第一掩膜图像中掩膜mask的轮廓形成的二值图；对第一预设模板及边缘图进行卷积运算，得到第一像素点。
[0014]其中，边缘图为第一掩膜图像中的mask的轮廓形成的二值图。第一像素点为第一对象的图像区域中的像素点。
[0015]结合第一方面，在第一方面的一个实施例中，该方法还包括：获取第一掩膜图像中同一掩膜mask的深度差值；若深度差值大于第一预设阈值，则确定第一图像中包括第一对象和第二对象。
[0016]本申请的实施例中提供的图像处理方法，获取第一掩膜图像中同一掩膜mask的深度差值，若深度差值大于第一预设阈值，则确定第一图像中包括第一对象和第二对象，相当于确定第一图像中是否同时包括第一对象和第二对象的过程，是根据第一掩膜图像中同一掩膜mask的深度差值确定的，提高了确定第一图像中存在第一对象和第二对象的智能性。
[0017]结合第一方面，在第一方面的一个实施例中，还包括：采用第二预设模板确定第一图像中的第二像素点，第二像素点为第二对象的图像区域中的像素点，第二预设模板与第二距离相关，第二距离为第二对象与电子设备之间的距离；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像、第一深度图像与第一掩膜图像，其中，所述第一图像中包括第一对象的图像区域与第二对象的图像区域，所述第一对象的图像区域与所述第二对象的图像区域部分重叠，所述第一对象与所述第二对象为相同类别的待拍摄对象，所述第一深度图像用于表征所述第一对象与所述第二对象的深度信息，所述第一掩膜图像标识所述第一图像中所述第一对象的图像区域与所述第二对象的图像区域；采用第一预设模板确定所述第一图像中的第一像素点，所述第一像素点为所述第一对象的图像区域中的像素点，所述第一预设模板与第一距离相关，所述第一距离为所述第一对象与电子设备之间的距离；对所述第一图像进行超像素分割，得到多个区域，所述多个区域中包括第一区域，所述第一区域包括所述第一像素点；基于第一深度信息确定所述多个区域中的第一区域集合，所述第一深度信息用于表征所述第一区域的深度，所述第一区域集合中每个区域的深度与所述第一区域的深度的差值小于第一阈值，所述第一区域集合包括所述第一区域；基于所述第一区域集合，得到第二掩膜图像，所述第二掩膜图像用于标识所述第一图像中所述第一对象的图像区域。2.根据权利要求1所述的方法，其特征在于，若所述第一对象与所述第二对象为人，所述第一预设模板为头部轮廓模板，所述第一距离与所述第一预设模板的面积成反比例。3.根据权利要求2所述的方法，其特征在于，还包括：获取所述电子设备的位姿信息；基于所述位姿信息调整所述头部轮廓模板的形状。4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：按照预设的区间范围将所述第一深度图像中各个深度值划分为多个深度区间；确定所述多个深度区间中像素数量最多的目标深度区间；根据所述目标深度区间的深度范围确定所述第一预设模板。5.根据权利要求1至3任一项所述的方法，其特征在于，所述采用第一预设模板确定所述第一图像中的第一像素点，包括：获取所述第一掩膜图像对应的边缘图，所述边缘图为所述第一掩膜图像中掩膜mask的轮廓形成的二值图；对所述第一预设模板及所述边缘图进行卷积运算，得到所述第一像素点。6.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：获取所述第一掩膜图像中同一掩膜mask的深度差值；若所述深度差值大于第一预设阈值，则确定所述第一图像中包括所述第一对象和所述第二对象。7.根据权利要求1至3任一项所述的方法，其特征在于，还包括：采用第二...

【专利技术属性】
技术研发人员：高旭，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：