图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取待处理图像对应的深度图，从深度图中确定出前景对象的第一边缘和背景对象的第二边缘；在深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成的已知背景区域，并基于前景区域确定遮挡区域；其中，遮挡区域表示被前景区域遮挡的背景区域；第一方向与第二方向相反；在深度图中通过已知背景区域对遮挡区域进行深度信息补全和RGB信息补全处理，得到遮挡区域对应的补全背景图像。本方法可准确地对图像的断层区域附近的像素点进行深度信息补全和RGB信息补全，得到更为清晰、合理的补全结果。理的补全结果。理的补全结果。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉
，尤其涉及一种图像处理方法、装置、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]目前，随着摄影技术的发展，人们除了拍摄2D照片外，还可以拍摄3D照片，与2D照片相比，3D照片可以体现物体的深度，从而提供了更多的真实感，但是，在一些拍摄场景中，想要拍摄的对象可能被其他物体所遮挡，或者由于视差导致无法看到该对象的完整图像，因此需要对拍摄的图片进行后期处理，比如补全图片被遮挡的部分等。然而现有技术中的图像补全方法，如基于深度学习的扭曲校正技术等，容易在两个物体的深度断层区域引入扭曲、形变和撕裂等人工痕迹，导致图像的补全结果不理想。

技术实现思路

[0003]本公开提供一种图像处理方法、装置、电子设备、存储介质及计算机程序产品，以至少解决相关技术中的图像补全方法容易在两个物体的深度断层区域引入扭曲、形变和撕裂等人工痕迹的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0005]获取待处理图像对应的深度图，从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘；
[0006]在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，得到所述第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域；其中，所述遮挡区域表示被所述前景区域遮挡的背景区域；所述第一方向与所述第二方向相反；
[0007]在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像。
[0008]在一示例性实施例中，所述从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘，包括：
[0009]获取所述深度图中各像素点之间的连通关系，基于所述连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；
[0010]从所述深度图中确定出目标像素点；所述目标像素点对应的连通像素点数目小于数目阈值；
[0011]基于所述目标像素点的深度值，将所述目标像素点划分为第一边缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到所述第一边缘和所述第二边缘。
[0012]在一示例性实施例中，所述对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，包括：
[0013]确定所述第一边缘趋向前景对象中心点的方向为第一方向，确定所述第二边缘背
向所述前景对象中心点的方向为第二方向；
[0014]基于所述深度图中各像素点之间的连通关系，对所述第一边缘的所述第一方向和所述第二边缘的所述第二方向分别进行第一泛洪处理。
[0015]在一示例性实施例中，所述待处理图像中至少包括第一对象、第二对象和第三对象，其中，所述第一对象为所述第二对象的前景对象，所述第二对象为所述第三对象的前景对象；所述通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像，包括：
[0016]获取所述第一对象的第一边缘与所述第二对象的第二边缘，作为第一对深度边缘，基于所述第一对深度边缘，得到所述第二对象的已知背景区域和被所述第一对象遮挡的遮挡区域；
[0017]获取所述第二对象的第一边缘与所述第三对象的第二边缘，作为第二对深度边缘，基于所述第二对深度边缘，得到所述第三对象的已知背景区域和被所述第二对象遮挡的遮挡区域；
[0018]若确定所述第一对象对所述第二对深度边缘不存在边缘遮挡，通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第二对象对应的补全背景图像；
[0019]通过所述第三对象的已知背景区域，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的补全背景图像。
[0020]在一示例性实施例中，所述通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像，还包括：
[0021]获取所述第一对象的第一边缘与所述第三对象的第二边缘，作为第三对深度边缘，基于所述第二对深度边缘和所述第三对深度边缘，得到所述第三对象的已知背景区域、所述第三对象被所述第一对象遮挡的遮挡区域和所述第三对象被所述第二对象遮挡的遮挡区域；
[0022]若确定所述第一对象对所述第二对深度边缘遮挡了部分，对所述第二对深度边缘中的被遮挡边缘进行边缘补全，得到补全的第二对深度边缘；
[0023]通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第二对象对应的补全背景图像；以及，通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的初始补全图像；
[0024]通过所述第三对象对应的初始补全图像，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的补全背景图像。
[0025]在一示例性实施例中，所述通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的初始补全图像，包括：
[0026]通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区域的局部补全图像；
[0027]基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连
通关系，对所述补全的第二对深度边缘中第二边缘的第二方向进行第二泛洪处理，得到所述第三对象的初始补全图像。
[0028]在一示例性实施例中，所述方法还包括：
[0029]当检测到所述第二对深度边缘不连续时，确定所述第一对象对所述第二对深度边缘存在遮挡。
[0030]在一示例性实施例中，在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理之前，还包括：
[0031]从所述深度图中的背景对象的像素点中，确定出待滤波像素点；
[0032]获取与所述背景对象对应的采样窗口，基于所述采样窗口对所述待滤波像素点进行中值滤波处理，得到滤波后的深度图；
[0033]所述在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，包括：
[0034]在所述滤波后的深度图中，对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理。
[0035]在一示例性实施例中，所述从所述深度图中的背景对象的像素点中确定出待滤波像素点，包括：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像对应的深度图，从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘；在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，得到所述第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域；其中，所述遮挡区域表示被所述前景区域遮挡的背景区域；所述第一方向与所述第二方向相反；在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像。2.根据权利要求1所述的方法，其特征在于，所述从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘，包括：获取所述深度图中各像素点之间的连通关系，基于所述连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；从所述深度图中确定出目标像素点；所述目标像素点对应的连通像素点数目小于数目阈值；基于所述目标像素点的深度值，将所述目标像素点划分为第一边缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到所述第一边缘和所述第二边缘。3.根据权利要求2所述的方法，其特征在于，所述对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，包括：确定所述第一边缘趋向前景对象中心点的方向为第一方向，确定所述第二边缘背向所述前景对象中心点的方向为第二方向；基于所述深度图中各像素点之间的连通关系，对所述第一边缘的所述第一方向和所述第二边缘的所述第二方向分别进行第一泛洪处理。4.根据权利要求1所述的方法，其特征在于，所述待处理图像中至少包括第一对象、第二对象和第三对象，其中，所述第一对象为所述第二对象的前景对象，所述第二对象为所述第三对象的前景对象；所述通过所述已知背景区域对所述遮挡区域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像，包括：获取所述第一对象的第一边缘与所述第二对象的第二边缘，作为第一对深度边缘，基于所述第一对深度边缘，得到所述第二对象的已知背景区域和被所述第一对象遮挡的遮挡区域；获取所述第二对象的第一边缘与所述第三对象的第二边缘，作为第二对深度边缘，基于所述第二对深度边缘，得到所述第三对象的已知背景区域和被所述第二对象遮挡的遮挡区域；若确定所述第一对象对所述第二对深度边缘不存在边缘遮挡，通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第二对象对应的补全背景图像；通过所述第三对象的已知背景区域，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和RGB信息补全，得到所述第三对象对应的补全背景图像。5.根据权利要求4所述的方法，其特征在于，所述通过所述已知背景区域对所述遮挡区
域进行深度信息补全和RGB信息补全处理，得到所述遮挡区域对应的补全背景图像，...

【专利技术属性】
技术研发人员：安世杰，张渊，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：