一种图像处理方法及电子设备技术

本申请公开一种图像处理方法及电子设备，包括：在电子设备显示拍摄预览画面的情况下，响应于用户的第一操作，电子设备获取第一图像和第一拍摄数据，第一拍摄数据包括第一图像各个像素的远景离焦距离、深度和坐标；电子设备对第一图像进行分割，得到目标图像和N个第一背景图像；电子设备基于第一拍摄数据确定第一点扩散函数PSF分布数据，第一PSF分布数据为第一图像各个像素的模糊核数据；电子设备基于第一PSF分布数据对N个第一背景图像进行去模糊处理，得到N个第二背景图像；电子设备将目标图像和N个第二背景图像输入第二神经网络模型进行修复处理，得到第二图像。本申请实施例中，可以提高图像的清晰度。以提高图像的清晰度。以提高图像的清晰度。

【技术实现步骤摘要】
一种图像处理方法及电子设备


[0001]本申请涉及终端
，尤其涉及一种图像处理方法及电子设备。

技术介绍

[0002]在拍摄时，电子设备需要对目标物体进行对焦，对焦的主要原理是调整焦点距离。拍摄时的物距基本是确定的，通过调整相距进行对焦，达到对焦目标清晰的目的。然而，在拍摄画面中，可以包括各种各样的事物，每个事物的物距又不尽相同，这造成画面中如果对一个目标对焦之后，拍摄画面中目标之外的其它事物(与目标物距不同的事物)很可能是模糊的，即对焦之后的目标是清晰的，但背景画面是模糊的。

技术实现思路

[0003]本申请实施例公开了一种图像处理方法及电子设备，可以提高图像的清晰度。
[0004]第一方面，本申请提供了一种图像处理方法，所述方法应用于电子设备，所述方法包括：在所述电子设备显示拍摄预览画面的情况下，响应于用户的第一操作，所述电子设备获取第一图像和第一拍摄数据，所述第一图像是摄像头采集到的拍摄预览画面的图像，所述第一操作是用户点击所述拍摄预览画面中的拍摄控件的操作，所述第一拍摄数据包括所述第一图像各个像素的远景离焦距离、深度和坐标；所述远景离焦距离为焦点与远景之间的距离；所述电子设备对所述第一图像进行分割，得到目标图像和N个第一背景图像，所述N为正整数；所述电子设备基于所述第一拍摄数据确定第一点扩散函数PSF分布数据，所述第一PSF分布数据为第一图像各个像素的模糊核数据；所述电子设备基于所述第一PSF分布数据对所述N个第一背景图像进行去模糊处理，得到N个第二背景图像；所述电子设备将所述目标图像和所述N个第二背景图像输入第二神经网络模型进行修复处理，得到第二图像。
[0005]其中，所述深度为摄像头与各个像素的拍摄事物之间的距离，所述坐标用于表示图像中各个像素的位置。
[0006]在本申请实施例中，电子设备能够通过将图像分割，各自进行去模糊处理，保证去模糊的准确性和效果，再将去模糊的图像整合到一起，能够保证图像处理的后，减少离焦造成的图像模糊的问题。此外，上述过程中，电子设备对图像进行分割，去模糊处理，能够保证分割区域更加清晰，此外，通过第二神经网络模型的融合处理，进一步保证交界处的像素也可以进行“去模糊”，以使得整个第二图像相比于第二图像的图像更清晰，质量更优。
[0007]在一种可能的实施方式中，所述电子设备获取第一图像和第一拍摄数据，具体包括：
[0008]所述电子设备响应于所述第一操作，获取所述第一图像，对焦面和深度图，所述对焦面为过焦点且与光轴垂直的平面，所述深度图用于表示所述第一图像中各个像素对应的事物与所述摄像头之间的距离；所述电子设备基于所述深度图确定所述第一图像中各个像素的深度；所述电子设备基于所述对焦面和所述深度图之间的差值确定所述第一图像中各个像素的远景离焦距离；所述电子设备基于每一个像素在所述第一图像所处的位置确定每
个像素的坐标。这样，电子设备能够通过深度图确定出深度和远景离焦距离，以及确定位置，能够为后续确定模糊核的准确性。
[0009]在一种可能的实施方式中，所述电子设备对所述第一图像进行分割，得到目标图像和N个第一背景图像，具体包括：所述电子设备将所述第一图像输入第一神经网络模型进行处理，得到目标图像和N个第一背景图像，所述第一神经网络模型是用于图像语义分割的网络模型；或，所述电子设备基于所述第一图像的深度进行分割，得到一个目标图像和N个第一背景图像，分割后的所述目标图像和所述N个第一背景图像中各个图像的像素均处于相应的预设深度范围内。这样，电子设备通过图像分割的神经网络模型进行分割，能够将第一图像中的不同事物分割出来。一般而言，同一物体所在像素的景深基本接近，能够保证分割后的图像在进行去模糊处理时的更准确，为后续将第一图像背景区域去模糊处理奠定基础。由于深度L能够区分所拍摄物与摄像头之间的远近，且深度L和景深之间存在特定计算关系，因此上述的分割方式，电子设备可以将不同深度的像素按照一定范围进行分割，分割之后的图像有利于区分提前区分第一PSF分布数据的分布情况，进一步提高分割后图像的去模糊效果。
[0010]在一种可能的实施方式中，所述电子设备基于所述第一拍摄数据确定第一PSF分布数据，具体包括：所述电子设备基于第一映射信息和所述第一拍摄数据确定所述第一图像对应的第一PSF分布数据，所述第一映射信息为远景离焦距离、深度和坐标与模糊核之间的映射关系。这样，上述确定PSF分布数据的时候，PSF的分布数据是经过实际的镜头的FOV以及L和D进行具体实验得出的，因此能够形成准确的L、D、坐标与模糊核之间的映射信息。映射信息提前存储在电子设备，在确定模糊核的时候，既能够保证模糊核的准确性，又能够提高获取模糊核的效率，简化电子设备的计算过程，节约电子设备的处理资源和能耗。此外，每个模糊核均有其位置属性。由于每个电子设备的摄像头对应的视场角不同，因此对于不同的像素，拍摄的效果也不同。例如，在镜头边缘位置的像素，会由于视场角的原因发生一定程度的畸变，导致拍摄的图像边缘位置要比中间位置更模糊。因此，基于像素的位置，上述的映射信息中像素坐标与模糊核之间存在对应的关系，使得像素通过对应位置的模糊核处理之后，图像能够更加清晰。即上述的映射信息确定的模糊核，经过去模糊处理后，能够降低由于镜头原因导致图像畸变的模糊程度。
[0011]在一种可能的实施方式中，所述电子设备基于第一映射信息和所述第一拍摄数据确定所述第一图像对应的第一PSF分布数据，具体包括：所述电子设备确定基于所述第一映射信息和所述第一拍摄数据，确定所述各个像素对应的第一模糊核；或所述电子设备按照特定尺寸划分所述第一图像，形成多个像素矩阵，并确定每个像素矩阵的第二拍摄数据，基于所述第一映射信息确定所述每个像素矩阵的第二拍摄数据对应的第二模糊核；其中，所述第二拍摄数据为所述像素矩阵中每个像素的第一拍摄数据的均值；或所述电子设备基于所述第一拍摄数据确定所述目标图像和所述N个第一背景图像对应的第三拍摄数据，基于所述第一映射信息确定所述目标图像和所述N个第一背景图像的第三拍摄数据对应的第三模糊核；所述第三拍摄数据为所述目标图像或所述第一背景图像中每个像素的第一拍摄数据的均值。这样，如果电子设备可以将第一图像按照特定尺寸划分，获取像素矩阵，像素矩阵由于在图像中的距离较近，每个像素对应的拍摄数据的差距并不大。因此，能够完成特定能够保证拍摄数据以及模糊核的准确度，同时将基于多个像素确定一个模糊核，在卷积计
算中，能够减少计算量。
[0012]在一种可能的实施方式中，所述电子设备基于所述第一PSF分布数据对所述N个第一背景图像进行去模糊处理，得到N个第二背景图像，具体包括：在确定所述第一模糊核的情况下，所述电子设备基于所述第一模糊核对N个第一背景图像的各个像素进行反卷积处理，得到N个第二背景图像；在确定所述第二模糊核的情况下，所述电子设备基于所述第二模糊核对N个第一背景图像的各个像素矩阵进行反卷积处理，得到N个第二背景图像；在确定所述第三模糊核的情况下，所述电子设备基于所述第三模糊核对N个第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于电子设备，所述方法包括：在所述电子设备显示拍摄预览画面的情况下，响应于用户的第一操作，所述电子设备获取第一图像和第一拍摄数据，所述第一图像是摄像头采集到的拍摄预览画面的图像，所述第一操作是用户点击所述拍摄预览画面中的拍摄控件的操作，所述第一拍摄数据包括所述第一图像各个像素的远景离焦距离、深度和坐标；所述远景离焦距离为焦点与远景之间的距离；所述电子设备对所述第一图像进行分割，得到目标图像和N个第一背景图像，所述N为正整数；所述电子设备基于所述第一拍摄数据确定第一点扩散函数PSF分布数据，所述第一PSF分布数据为第一图像各个像素的模糊核数据；所述电子设备基于所述第一PSF分布数据对所述N个第一背景图像进行去模糊处理，得到N个第二背景图像；所述电子设备将所述目标图像和所述N个第二背景图像输入第二神经网络模型进行修复处理，得到第二图像。2.根据权利要求1所述的方法，其特征在于，所述电子设备获取第一图像和第一拍摄数据，具体包括：所述电子设备响应于所述第一操作，获取所述第一图像，对焦面和深度图，所述对焦面为过焦点且与光轴垂直的平面，所述深度图用于表示所述第一图像中各个像素对应的事物与所述摄像头之间的距离；所述电子设备基于所述深度图确定所述第一图像中各个像素的深度；所述电子设备基于所述对焦面和所述深度图之间的差值确定所述第一图像中各个像素的远景离焦距离；所述电子设备基于每一个像素在所述第一图像所处的位置确定每个像素的坐标。3.根据权利要求1或2所述的方法，其特征在于，所述电子设备对所述第一图像进行分割，得到目标图像和N个第一背景图像，具体包括：所述电子设备将所述第一图像输入第一神经网络模型进行处理，得到目标图像和N个第一背景图像，所述第一神经网络模型是用于图像语义分割的网络模型；或，所述电子设备基于所述第一图像的深度进行分割，得到一个目标图像和N个第一背景图像，分割后的所述目标图像和所述N个第一背景图像中各个图像的像素均处于相应的预设深度范围内。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述电子设备基于所述第一拍摄数据确定第一PSF分布数据，具体包括：所述电子设备基于第一映射信息和所述第一拍摄数据确定所述第一图像对应的第一PSF分布数据，所述第一映射信息为远景离焦距离、深度和坐标与模糊核之间的映射关系。5.根据权利要求4所述的方法，其特征在于，所述电子设备基于第一映射信息和所述第一拍摄数据确定所述第一图像对应的第一PSF分布数据，具体包括：所述电子设备确定基于所述第一映射信息和所述第一拍摄数据，确定所述各个像素对应的第一模糊核；或所述电子设备按照特定尺寸划分所述第一图像，形成多个像素矩阵，并确定每个像...

【专利技术属性】
技术研发人员：王宇，陈铎，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：