图像处理的方法和设备技术

本申请提供了一种图像处理的方法和设备，通过利用双摄像头获取的深度数据，确定拍摄的图像中是否存在遮挡物，以及存在遮挡物时恢复被遮挡的信息，提升用户体验。该方法包括：拍摄第一图像，第一图像中包括四边形，该四边形的区域内具有多个采样点；建立基准平面，该基准平面为该四边形所在的平面，该多个采样点在该基准平面上分别具有对应的投影点；计算第一深度数据与第二深度数据的差值，该第一深度数据为该多个采样点中每个采样点与摄像头所在平面之间的距离，该第二深度数据为该每个采样点对应的该投影点与摄像头所在平面之间的距离；根据该差值，判断该四边形的区域内是否存在遮挡物。

Image processing methods and devices

The application provides an image processing method and a device for determining whether there is a occlusion in the photographed image and restoring the occluded information when there is a occlusion by using the depth data acquired by the two cameras, so as to enhance the user experience. The method comprises: taking a first image, including a quadrilateral in the first image, having a plurality of sampling points in the area of the quadrilateral; establishing a reference plane, the reference plane being the plane where the quadrilateral is located, the plurality of sampling points having corresponding projection points on the reference plane, and computing the first depth data and the second depth. The first depth data is the distance between each sampling point in the plurality of sampling points and the plane on which the camera is located. The second depth data is the distance between the projection point corresponding to each sampling point and the plane on which the camera is located.

【技术实现步骤摘要】
【国外来华专利技术】图像处理的方法和设备
本申请涉及通信领域，并且更具体地，涉及一种图像处理的方法和设备。
技术介绍
随着技术的进步，拍照成为人们日常生活中必不可少的信息获取方式，同时，用户对拍照效果的要求也越来越高，对图像的处理也成为了一种常见的手段，比如，拍摄会议正在播放的PPT、海报时，常常会因为自己的位置、角度不佳，不是正对着幕布，使得普通模式下拍照拍出的PPT歪歪斜斜，远端也可能看不清。针对这样的情况，现阶段主要通过文档校正对图像进行处理，将文档修正为规整的矩形。然而，实际使用时发现，对于会议场景播放PPT，经常有主讲人的身体或手臂挡住PPT的情况，或者前排观众头部进入拍照范围，导致在进行文档校正时，遮挡仍然存在，使得校正后的文档并不完整，也不美观。为了在拍摄PPT、海报等文档信息时，克服遮挡物对拍照的影响，提高图像处理能力是亟须解决的问题。
技术实现思路
本申请实施例提供了一种图像处理的方法和设备，能够利用深度数据判断所拍摄的图像中是否存在遮挡物，并在确定存在遮挡物时，清除遮挡物并恢复被遮挡信息。第一方面，本申请实施例提供了一种图像处理的方法，包括：拍摄第一图像，该第一图像中包括四边形，该四边形的区域内具有多个采样点；建立基准平面，该基准平面为该四边形所在的平面，该多个采样点在该基准平面上分别具有对应的投影点；计算第一深度数据与第二深度数据的差值，该第一深度数据为该多个采样点中每个采样点与摄像头所在平面之间的距离，该第二深度数据为该每个采样点对应的该投影点与摄像头所在平面之间的距离；根据该差值，判断该四边形的区域内是否存在遮挡物。因此，在本申请实施例中，在拍摄图像时，根据所拍摄图像建立基准平面，并可以根据所拍摄图像的深度数据与基准平面的深度数据的差值，确定所拍摄图像上是否存在遮挡物，实现了对所拍摄图像的范围内是否存在遮挡物的判断。可选地，在第一方面的一种实现方式中，在建立该基准平面之前，该方法还包括：对该第一图像进行边缘检测，确定至少四条边缘线段；获取该至少四条边缘线段中每一条边缘线段的深度数据；根据该每一条边缘线段的深度数据，选取四条共面的边缘线段构成该四边形。可选地，在第一方面的一种实现方式中，在建立该基准平面后，根据该第一深度数据，在该基准平面上，对该四边形进行边缘检测，获取更加准确的该四边形区域。可选地，在第一方面的一种实现方式中，根据该差值，判断该四边形的区域内是否存在遮挡物，包括：如果该差值大于第一阈值的采样点占该多个采样点总数的百分比大于第二阈值，则确定在该四边形的区域内存在遮挡物；如果该差值大于第一阈值的采样点占该多个采样点总数的百分比小于或者等于第二阈值，或如果该每个采样点的该差值小于或等于第一阈值，则确定在该四边形的区域内不存在遮挡物。可选地，在第一方面的一种实现方式中，该建立基准平面，包括：以拍摄该第一图像的摄像头所在的平面为xy平面，该摄像头到该四边形的距离为z轴，该摄像头所在的平面上的一点为原点，建立空间坐标系；根据该空间坐标系，利用空间平面方程Ax+By+Cz+D＝0建立该基准平面，其中，x、y、z为空间坐标系中的三个变量，A、B、C和D为常数。可选地，在第一方面的一种实现方式中，该根据该空间坐标系，利用空间平面方程Ax+By+Cz+D＝0建立该基准平面，包括：获取该四边形的空间坐标；至少两次选取该四边形的空间坐标，该至少两次中每次选取该四边形的空间坐标中的三点；利用该至少两次中每次选取的该四边形的空间坐标中的三点，求解平面方程的系数A、B、C和D；比较该至少两次中每次求解的平面方程的系数A、B、C和D，如果该至少两次中每次求解的平面方程的系数A、B、C和D的误差小于第三阈值，则根据误差小于第三阈值的系数A、B、C和D确定的平面方程为该基准平面的平面方程。可选地，在第一方面的一种实现方式中，该方法还包括：当该四边形的区域内存在遮挡物时，在该四边形的区域内，获取该差值大于第一阈值的第一采样点；根据该第一采样点的位置，确定第一遮挡物区域；恢复该第一遮挡物区域内的被遮挡信息。因此，在本申请实施例中，在确定所拍摄的图像的某个区域内存在遮挡物时，根据所拍摄图像的深度数据与基准平面的深度数据，确定遮挡物区域，并恢复被遮挡的信息。可选地，在第一方面的一种实现方式中，该恢复该第一遮挡物区域内的被遮挡信息，包括：拍摄第二图像，该第二图像中包括该第一遮挡物区域内的部分或全部被遮挡信息；根据该部分或全部被遮挡信息，恢复该第一遮挡物区域内的被遮挡信息。可选地，在第一方面的一种实现方式中，提取第一图像中的第一特征点，并计算第一特征描述子；提取第二图像中的第二特征点，并计算第二特征描述子；根据该第一特征描述子和该第二特征描述子计算该第一图像与该第二图像之间的变换矩阵；根据该变换矩阵，计算该第二图像中的第二遮挡物区域。可选地，在第一方面的一种实现方式中，该第二遮挡物区域包括该第一遮挡物区域内的部分或全部被遮挡信息。可选地，在第一方面的一种实现方式中，该第二图像中包括该第一遮挡物区域内的全部被遮挡信息时，利用该第二图像中像素的灰度值和该变换矩阵对该第一遮挡区域进行插值运算，以恢复该第一遮挡物区域内的被遮挡信息。可选地，在第一方面的一种实现方式中，该第二图像中包括该第一遮挡物区域内的部分被遮挡信息时，确定该第一遮挡物区域与该第二遮挡物区域存在第一交集区域，计算第三遮挡物区域，该第三遮挡物区域是该第二遮挡物区域中除该第一交集区域外的其它遮挡区域；根据该变换矩阵，计算该第三遮挡物区域对应的该第一图像中的第四遮挡物区域；利用该第二图像中像素的灰度值和该变换矩阵对该第四遮挡物区域进行插值运算，以恢复该第四遮挡物区域内的被遮挡信息。可选地，在第一方面的一种实现方式中，确定该第一遮挡物区域内被遮挡信息是否已经全部恢复；当该第一遮挡物区域内的被遮挡信息全部恢复时，退出程序；当该第一遮挡物区域内的被遮挡信息部分恢复时，且没有新图像时，生成用于指示清除该第五遮挡物区域失败的指示信息；当该第一遮挡物区域内的被遮挡信息部分恢复时，且存在新图像时，拍摄第三图像。可选地，在第一方面的一种实现方式中，该恢复该第一遮挡物区域内的被遮挡信息，还包括：拍摄第三图像，该第三图像中包括该第一遮挡物区域内的部分被遮挡信息；根据该第二图像中包括的该第一遮挡物区域内的部分遮挡信息、以及该第三图像中包括的该第一遮挡物区域内的部分被遮挡信息，恢复该第一遮挡物区域内的被遮挡信息。可选地，在第一方面的一种实现方式中，该方法还包括：生成第一提示信息，该第一提示信息用于提示遮挡物的位置。可选地，在第一方面的一种实现方式中，该方法还包括：生成第二提示信息，该第二提示信息用于提示用户移动摄像头。可选地，在第一方面的一种实现方式中，该方法还包括：在恢复该第一遮挡物区域内的被遮挡信息后，对该四边形进行文档校正。可选地，在第一方面的一种实现方式中，该方法还包括：该四边形的区域内不存在遮挡物时，对该四边形进行文档校正。可选地，在第一方面的一种实现方式中，该第一图像为包括文档信息的图像。第二方面，本申请实施例提供了一种图像处理的设备，用于执行上述第一方面或第一方面的任一种可能的实现方式中的方法。具体地，该设备包括用于执行上述第一方面或第一方面的任一种可能的实现方式中的方法的本文档来自技高网...

【技术保护点】
1.一种图像处理的方法，其特征在于，包括：拍摄第一图像，所述第一图像中包括四边形，所述四边形的区域内具有多个采样点；建立基准平面，所述基准平面为所述四边形所在的平面，所述多个采样点在所述基准平面上分别具有对应的投影点；计算第一深度数据与第二深度数据的差值，所述第一深度数据为所述多个采样点中每个采样点与摄像头所在平面之间的距离，所述第二深度数据为所述每个采样点对应的所述投影点与摄像头所在平面之间的距离；根据所述差值，判断所述四边形的区域内是否存在遮挡物。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理的方法，其特征在于，包括：拍摄第一图像，所述第一图像中包括四边形，所述四边形的区域内具有多个采样点；建立基准平面，所述基准平面为所述四边形所在的平面，所述多个采样点在所述基准平面上分别具有对应的投影点；计算第一深度数据与第二深度数据的差值，所述第一深度数据为所述多个采样点中每个采样点与摄像头所在平面之间的距离，所述第二深度数据为所述每个采样点对应的所述投影点与摄像头所在平面之间的距离；根据所述差值，判断所述四边形的区域内是否存在遮挡物。2.根据权利要求1所述的方法，其特征在于，在建立所述基准平面之前，所述方法还包括：对所述第一图像进行边缘检测，确定至少四条边缘线段；获取所述至少四条边缘线段中每一条边缘线段的深度数据；根据所述每一条边缘线段的深度数据，选取四条共面的边缘线段构成所述四边形。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述差值，判断所述四边形的区域内是否存在遮挡物，包括：如果所述差值大于第一阈值的采样点占所述多个采样点总数的百分比大于第二阈值，则确定在所述四边形的区域内存在遮挡物；如果所述差值大于第一阈值的采样点占所述多个采样点总数的百分比小于或者等于第二阈值，或如果所述每个采样点的所述差值小于或等于第一阈值，则确定在所述四边形的区域内不存在遮挡物。4.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：当所述四边形的区域内存在遮挡物时，在所述四边形的区域内，获取所述差值大于第一阈值的第一采样点；根据所述第一采样点的位置，确定第一遮挡物区域；恢复所述第一遮挡物区域内的被遮挡信息。5.根据权利要求4所述的方法，其特征在于，所述恢复所述第一遮挡物区域内的被遮挡信息，包括：拍摄第二图像，所述第二图像中包括所述第一遮挡物区域内的部分或全部被遮挡信息；根据所述部分或全部被遮挡信息，恢复所述第一遮挡物区域内的被遮挡信息。6.根据权利要求5所述的方法，其特征在于，所述恢复所述第一遮挡物区域内的被遮挡信息，还包括：拍摄第三图像，所述第三图像中包括所述第一遮挡物区域内的部分被遮挡信息；根据所述第二图像中包括的所述第一遮挡物区域内的部分遮挡信息、以及所述第三图像中包括的所述第一遮挡物区域内的部分被遮挡信息，恢复所述第一遮挡物区域内的被遮挡信息。7.根据权利要求1至6中任一所述的方法，其特征在于，所述方法还包括：生成第一提示信息，所述第一提示信息用于提示遮挡物的位置。8.根据权利要求中1至7中任一所述的方法，其特征在于，所述方法还包括：生成第二提示信息，所述第二提示信息用于提示用户移动摄像头。9.根据权利要求4至8中任一所述的方法，其特征在于，所述方法还包括：在恢复所述第一遮挡物区域内的被遮挡信息后，对所述四边形进行文档校正。10.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：所述四边形的区域内不存在遮挡物时，对所述四边形进行文档校正。11.根据权利要求1至10中任一所述的方法，其特征在于，所述第一图像为包括文档信息的图像。12.一种图像处理的设备，其特征在于，包括：摄像头、处理器和存储器，所述摄像头，用于拍摄第一...

【专利技术属性】
技术研发人员：王雅辉，陈心，张运超，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44