图像处理方法和用于目标检测的图像预处理方法技术

提供一种图像处理方法，用于将样本图像处理为需要的大小，包括：将需要的大小的图像等比例放大预定倍数作为中间处理图像；从样本图像在中间处理图像中的可移动范围内随机选择一个位置，其中，根据需要进行处理以使得样本图像的宽和高分别不大于中间处理图像的相应的宽和高；将样本图像定位在中间处理图像上的该位置处；将背景图像填充到中间处理图像上的除样本图像之外的全部区域中；以及将填充后的中间处理图像等比例缩小为需要的大小。还提供一种使用该图像处理方法的用于目标检测的图像预处理方法。本发明专利技术的上述方法，能够在不损失样本图像的目标语义信息的情况下将图像改变为目标检测所需要的大小，提高目标检测的准确率。

【技术实现步骤摘要】
图像处理方法和用于目标检测的图像预处理方法
本专利技术涉及计算机视觉识别领域，尤其涉及一种用于目标检测的图像预处理方法、装置、电子设备以及计算机可读介质。
技术介绍
目标检测是指计算机通过机器学习或者深度学习算法，对图像中的物体和背景进行识别和分隔。目标检测是一种有监督的机器学习，在对目标检测模型进行训练之前需要准备好正样本和负样本，正、负样本对目标检测的准确度起着最基础、最关键的作用。在常见的深度学习网络中，对图像的质量和分辨率都具备较强的泛化能力，然而在图像大小方面却只能接受固定大小的图像输入。目前已有的图像大小处理方法中主要存在图像信息丢失和图像信息改变两方面的问题。现有一种图像大小处理方法是将图像按照某种规则(例如根据图像中心)裁剪成目标检测模型需要的固定大小，正样本为与物体IoU(相交重合度)大于0.7的图像，负样本为IoU小于0.3的图像，如图1(A)所示。还有一种方式是通过调整图像的宽度和高度，将图像调整成目标检测模型所需要的大小，正样本为与物体IoU大于0.7的图像，负样本为IoU小于0.3的图像，如图1(B)所示。另外一种方法首先通过对图像进行等比缩放，然后根据目标检测模型所需要的比例在图像的四周填充灰度，正样本为与物体IoU大于0.7的图像，负样本为IoU小于0.3的图像，如图1(C)所示。
技术实现思路
技术问题在上述第一种图像大小处理方法中，通过某种规则来裁剪图像，有可能导致图像中的目标物体也被裁剪掉，导致物体信息不完整，如图1(A)中的处理之后的图像和正样本的图像所示。这从而增加了目标检测的训练难度，导致目标检测准确率下降。在上述现有的第二种方法中，虽然保留了物体的完整信息，但是改变了物体的宽高比，从而有可能改变物体的语义信息，例如图1(B)中的处理之后和正样本的图像所示，调整图像的宽高比之后，甜瓜看起来与西瓜相似。在上述第三种现有的方法中，虽然保留了图像中目标物体的信息，但是在选取负样本时，导致负样本为灰度图像，如图1(C)所示，使得负样本内容单一，模型无法学习到背景特征。此外，在该方法中，在处理后图像中的目标偏向图像中心的位置，使得网络模型更倾向于偏向图像中心地预测目标，而对于处于图像边缘的目标的检测误差比较大，而现实存在大量目标位于图像边缘的情况(例如自动驾驶中公路上的物体)，因此适用性有限。针对以上问题，本专利技术提供了一种在不损失图像的目标语义信息的前提下可将图像改变成目标检测模型输入的方法，提升了目标检测的准确率。解决问题的方案根据本专利技术的一个方面，提供一种图像处理方法，包括：将大小为所述需要的大小的图像等比例放大预定倍数，作为中间处理图像；从所述样本图像在所述中间处理图像中的可移动范围内随机选择一个位置，其中，如果所述样本图像的宽和高之中的至少一者大于所述中间处理图像的相应的宽和高，则进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高；将所述样本图像定位在所述中间处理图像上的所述位置处；将背景图像填充到所述中间处理图像上的除所述样本图像之外的全部区域中；以及将填充后的所述中间处理图像等比例缩小为所述需要的大小。可选地，根据本专利技术的一个方面的图像处理方法，通过将所述样本图像等比例缩小的处理而使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高。可选地，根据本专利技术的一个方面的图像处理方法，通过将所述中间处理图像等比例放大的处理而使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高。可选地，根据本专利技术的一个方面的图像处理方法，在进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高之后，以所述中间处理图像的宽度值与所述样本图像的宽度值之差作为宽度可移动范围值，以所述中间处理图像的高度值与所述样本图像的高度值之差作为高度可移动范围值，从而得到所述样本图像在所述中间处理图像中的所述可移动范围。可选地，根据本专利技术的一个方面的图像处理方法，在0到所述宽度可移动范围值之间随机生成一个宽度值，并且在0到所述高度可移动范围值之间随机生成一个高度值，分别作为所述样本图像的四个顶点之中的任一顶点距离所述中间处理图像的相应的两条边的距离，从而完成所述样本图像在所述中间处理图像上的位置选择。可选地，根据本专利技术的一个方面的图像处理方法，所述背景图像随机地选自一背景图片，所述背景图片随机地选自由不同分辨率、不同宽高比的多个背景图像组成的背景图片集合。根据本专利技术的另一方面，提供一种用于训练目标检测模型的图像预处理方法，包括：获取由不同分辨率和不同宽高比的多个样本图像组成的样本图像集合；如下处理所述样本图像集合中的每个样本图像，使得处理后的样本图像为所述目标检测模型需要的大小：将大小为所述目标检测模型需要的大小的图像等比例放大预定倍数，作为中间处理图像；从所述样本图像在所述中间处理图像中的可移动范围内随机选择一个位置，其中，如果所述样本图像的宽和高之中的至少一者大于所述中间处理图像的相应的宽和高，则进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高；将所述样本图像定位在所述中间处理图像上的所述位置处；将背景图像填充到所述中间处理图像上的除所述样本图像之外的全部区域中；以及将填充后的所述中间处理图像等比例缩小为所述目标检测模型需要的大小，得到所述处理后的样本图像；以及剪裁所述处理后的样本图像以得到用于训练所述目标检测模型的正负样本。可选地，根据本专利技术的另一方面的方法，使用不同型号的拍照设备进行拍摄，以得到不同分辨率和不同宽高比的所述多个样本图像。可选地，根据本专利技术的另一方面的方法，还包括获取由不同分辨率和不同宽高比的多个背景图像组成的背景图像集合。可选地，根据本专利技术的另一方面的方法，使用不同型号的拍照设备进行拍摄，以得到不同分辨率和不同宽高比的所述多个背景图像。可选地，根据本专利技术的另一方面的方法，所述样本图像包含参照物和果蔬。根据本专利技术的另一方面，提供一种用于训练目标检测模型的图像预处理装置，包括：图像获取模块，获取由不同分辨率和不同宽高比的多个样本图像组成的样本图像集合；图像处理模块，利用根据本专利技术的一个方面的任意一项所述的图像处理方法处理所述样本图像集合中的所有样本图像；以及样本生成模块，剪裁处理后得到的所述样本图像以得到用于训练目标检测模型的正负样本。根据本专利技术的再一方面，提供一种具有功能的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述根据本专利技术的一个方面的任意一项所述的图像处理方法。根据本专利技术的又一方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述根据本专利技术的一个方面本文档来自技高网...

【技术保护点】
1.一种图像处理方法，用于将样本图像处理为需要的大小，其特征在于，所述方法包括：/n将大小为所述需要的大小的图像等比例放大预定倍数，作为中间处理图像；/n从所述样本图像在所述中间处理图像中的可移动范围内随机选择一个位置，其中，如果所述样本图像的宽和高之中的至少一者大于所述中间处理图像的相应的宽和高，则进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高；/n将所述样本图像定位在所述中间处理图像上的所述位置处；/n将背景图像填充到所述中间处理图像上的除所述样本图像之外的全部区域中；以及/n将填充后的所述中间处理图像等比例缩小为所述需要的大小。/n

【技术特征摘要】
1.一种图像处理方法，用于将样本图像处理为需要的大小，其特征在于，所述方法包括：
将大小为所述需要的大小的图像等比例放大预定倍数，作为中间处理图像；
从所述样本图像在所述中间处理图像中的可移动范围内随机选择一个位置，其中，如果所述样本图像的宽和高之中的至少一者大于所述中间处理图像的相应的宽和高，则进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高；
将所述样本图像定位在所述中间处理图像上的所述位置处；
将背景图像填充到所述中间处理图像上的除所述样本图像之外的全部区域中；以及
将填充后的所述中间处理图像等比例缩小为所述需要的大小。


2.根据权利要求1所述的方法，其特征在于，其中，
通过将所述样本图像等比例缩小的处理而使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高。


3.根据权利要求1所述的方法，其特征在于，其中
通过将所述中间处理图像等比例放大的处理而使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高。


4.根据权利要求1至3的任意一项所述的方法，其特征在于，其中
在进行处理以使得所述样本图像的宽和高分别不大于所述中间处理图像的相应的宽和高之后，以所述中间处理图像的宽度值与所述样本图像的宽度值之差作为宽度可移动范围值，以所述中间处理图像的高度值与所述样本图像的高度值之差作为高度可移动范围值，从而得到所述样本图像在所述中间处理图像中的所述可移动范围。


5.根据权利要求4所述的方法，其特征在于，其中，
在0到所述宽度可移动范围值之间随机生成一个宽度值，并且在0到所述高度可移动范围值之间随机生成一个高度值，分别作为所述样本图像的四个顶点之中的任一顶点距离所述中间处理图像的相应的两条边的距离，从而完成所述样本图像在所述中间处理图像上的位置选择。


6.根据权利要求1至3的任意一项所述的方法，其特征在于，其中
所述背景图像随机地选自一背景图片，所述背景图片随机地选自由不同分辨率、不同宽高比的多个背景图片组成的背景图片集合。


7.一种用于训练目标检测模型的图像预处理方法，其特征在于，包括：
获取由不同分辨率和不同宽高比的多个样本图像组成的样本图像集合；
如下处理所述样本图像集合中的每个样本...

【专利技术属性】
技术研发人员：王勃，王云吉，王芳，王京，郑红蕾，陈海英，
申请(专利权)人：北京豆牛网络科技有限公司，
类型：发明
国别省市：北京;11