一种基于尺度等级的图像缩放裁剪方法技术

本发明专利技术公开了一种基于尺度等级的图像缩放裁剪方法。所述方法包括以下步骤：获取包括训练图像的训练集，计算训练图像的图像尺度指数，根据图像尺度指数生成大、中、小三种尺度等级的标注；根据尺度等级的标注，训练尺度等级分类器；获取包括测试图像的测试集，使用尺度等级分类器分类测试图像的尺度等级；根据尺度等级缩放、裁剪测试图像。本发明专利技术对测试图像进行区别化的缩放和裁剪，显著提高小目标的检测精度，同时避免了引入过多的虚警。此外，由于区别化的缩放和裁剪，本发明专利技术只增加的少量检测时的计算开销。

An image scaling and clipping method based on scale level

【技术实现步骤摘要】
一种基于尺度等级的图像缩放裁剪方法
本专利技术涉及一种数据增强方法，更具体地，涉及一种基于尺度等级的图像缩放裁剪方法。
技术介绍
尽管深度学习方法在通用目标检测领域获得了巨大的成功，它们在小目标检测上的表现不尽人意。小目标挑战通常包括三个方面：更多的小目标、更低的目标平均分辨率和更小的目标相对尺度。下文对比性分析了COCO、ImageNet和VisDrone2018数据集，进一步阐述这三个方面。更多的小目标。我们统计了COCO和VisDrone2018训练集中的目标像素面积分布，VisDrone2018中约有60％的目标面积不超过1000像素，约75％的目标面积不超过2000像素。而COCO中这样的目标分别只有约40％和55％。由此可见，小目标挑战数据集VisDrone2018有更多的小目标。更低的目标的平均分辨率。COCO中目标平均面积为2.05e+4像素。而VisDrone2018中目标平均面积仅为2.49e+3像素，是COCO的1/8。更低的分辨率意味着目标携带的外观信息更少、信噪比更低，更难被检测器检出。除绝对尺度外，小目标挑战的另一方面是目标相对尺度也较小。在检测阶段，图像会被缩放至预设大小。小的目标相对尺度导致缩放后的目标分辨率低，外观信息少，影响检测精度。我们统计了COCO、ImageNetDET和VisDrone2018中ORS的累计分布。相比于COCO和ImageNet，VisDrone2018中绝大多数目标具有更小的相对尺度。其中约97％的目标占图像面积不到1％。VisDrone2018、COCO和ImageNet中ORS的中位数分别为1.73e-2,9.56e-2和5.14e-1。如果让VisDrone2018中的目标同COCO或ImageNet中的目标尺度相当，VisDrone2018的图片将被放大至COCO图片的5倍、ImageNet图片的29倍。受限于GPU显存，现有深度学习方法难以直接处理如此庞大的图片。为了解决上述三个小目标挑战，本专利技术提出一种基于尺度等级的图像缩放裁剪方法：计算训练图像的图像尺度指数，根据图像尺度指数生成大、中、小三种尺度等级的标注；根据尺度等级的标注，训练尺度等级分类器；使用尺度等级分类器分类测试图像的尺度等级；根据尺度等级缩放、裁剪测试图像。本专利技术涉及到以下现有技术：现有技术1(HeKaiming,etal."Deepresiduallearningforimagerecognition."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.)提出残差网络，利用残差链接降低深层网络的训练难度，得出具有强大表征/分类能力的深层特征图。现有技术2(KongTao,etal."Hypernet:Towardsaccurateregionproposalgenerationandjointobjectdetection."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.)介绍了一种将主干特征拼接为超特征的方法，超特征同时具有浅层特征的低级外观信息和深层特征的高级语义信息，具有很强的表征能力。现有技术3(HuJie,LiShen,andGangSun."Squeeze-and-excitationnetworks."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2018.)介绍了一种通道注意力机制，通过对特征的各个通道赋予权重，调整特征在通道维度上的注意力，进一步增强特征表征能力。本专利技术涉及的尺度等级分类器，使用现有技术1提取主干特征，使用现有技术2拼接主干特征形成超特征，使用现有技术3调整超特征的通道权重，以更好的分类图像尺度等级。进一步地，本专利技术不局限于使用现有技术1提取多阶特征，可使用任何其他骨干网络提取多阶特征。现有技术4(LedigChristian,etal."Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017.)提出了基于对抗生成网络的超分辨率方法，能从低分辨率图像中恢复高分辨率图像，补全低分辨率图像缺失的高频信息，使得高分辨率图像更具真实感。本专利技术实施例中采用现有技术4作为深度超分辨率方法缩放图像，但本专利技术不局限于现有技术4，使用其他超分辨率方法亦可。
技术实现思路
本专利技术旨在通过数据增强的方式改善小目标检测精度。为了达到上述目的，根据本专利技术提供一种基于尺度等级的图像缩放裁剪方法，计算图像尺度指数生成训练图像的尺度等级的标注，利用尺度等级的标注训练尺度等级分类器，使用训练得到的分类器预测测试图像的尺度等级，根据尺度等级缩放、裁剪测试图像。本专利技术的目的至少通过如下技术方案之一实现。一种基于尺度等级的图像缩放裁剪方法，包括以下步骤：步骤一、获取包括训练图像的训练集，计算训练图像的图像尺度指数，根据图像尺度指数生成大、中、小三种尺度等级的标注；步骤二、根据尺度等级的标注，训练尺度等级分类器；步骤三、获取包括测试图像的测试集，使用尺度等级分类器分类测试图像的尺度等级；步骤四，根据尺度等级缩放、裁剪测试图像。进一步地，步骤一中，所述图像尺度指数计算方法如下：①依据现实世界中物体的长、宽、高划分训练集各个目标类别形成超类，所述超类指多个类别组成的超级类别；②选定某一超类作为基准，计算超类间目标尺度转换系数；③依据公式计算图像尺度指数，具体如下：其中，a(c)为超类c的尺度转换系数，ORS(c)为超类c的目标相对尺度，nc表示当前图像中属于超类c的目标的个数，nimage表示当前图像中目标的个数，Rsuper表示所有超类的集合。进一步地，所述超类间目标尺度转换系数的计算公式如下：其中Isub-train代表训练集的子集，该子集中每一张训练图像i均同时包含超类c和基准超类，|*|表示计算子集的训练图像数，对于子集中的训练图像i，ORS(c)表示超类c的目标相对尺度，ORS(baseline)表示基准超类的目标相对尺度。进一步地，所述目标相对尺度的计算公式如下：其中，Areao代表属于超类c的目标o的面积，Areaimage表示训练图像的面积，nc表示当前训练图像中属于超类c的目标的个数。进一步地，步骤一中，所述生成大、中、小三种尺度等级的标注，是统计训练集的图像尺度指数分布，人为设定两个图像尺度指数阈值，划分大、中、小三种尺度等级。进一步地本文档来自技高网...

【技术保护点】
1.一种基于尺度等级的图像缩放裁剪方法，其特征在于，包括以下步骤：/n步骤一、获取包括训练图像的训练集，计算训练图像的图像尺度指数，根据图像尺度指数生成大、中、小三种尺度等级的标注；/n步骤二、根据尺度等级的标注，训练尺度等级分类器；/n步骤三、获取包括测试图像的测试集，使用尺度等级分类器分类测试图像的尺度等级；/n步骤四，根据尺度等级缩放、裁剪测试图像。/n

【技术特征摘要】
1.一种基于尺度等级的图像缩放裁剪方法，其特征在于，包括以下步骤：
步骤一、获取包括训练图像的训练集，计算训练图像的图像尺度指数，根据图像尺度指数生成大、中、小三种尺度等级的标注；
步骤二、根据尺度等级的标注，训练尺度等级分类器；
步骤三、获取包括测试图像的测试集，使用尺度等级分类器分类测试图像的尺度等级；
步骤四，根据尺度等级缩放、裁剪测试图像。


2.根据权利要求1所述的一种基于尺度等级的图像缩放裁剪方法，其特征在于，步骤一中，所述图像尺度指数计算方法如下：
①依据现实世界中物体的长、宽、高划分训练集各个目标类别形成超类，所述超类指多个类别组成的超级类别；
②选定某一超类作为基准，计算超类间目标尺度转换系数；
③依据公式计算图像尺度指数，具体如下：



其中，a(c)为超类c的尺度转换系数，ORS(c)为超类c的目标相对尺度，nc表示当前图像中属于超类c的目标的个数，nimage表示当前图像中目标的个数，Rsuper表示所有超类的集合。


3.根据权利要求2所述的一种基于尺度等级的图像缩放裁剪方法，其特征在于，所述超类间目标尺度转换系数的计算公式如下：



其中Isub-train代表训练集的子集，该子集中每一张训练图像i均同时包含超类c和基准超类，|*|表示计算子集的训练图像数，对于子集中的训练图像i，ORS(c)表示超类c的目标相对尺度，ORS(baseline)表示基准超类的目标相对尺度。


4.根据权利要求3所述的一种基于尺度等级的图像缩放裁剪方法，其特征在于，所述目标相对尺度的计算公式如下：



其中，Areao代表属于超类c的目标o的面积，Areaimage表示训练图像的面积，nc表示当前训练图像中属于超类c的目标的个数。


5.根据权利要求1所述的一种基于尺度等级的图像缩放裁剪方法，其特征在于，步骤一中，所述生成大、中、小三种尺度等级的标注，是统计训练集的图像尺度指数分布，人为设定两个图像尺度指数阈值，划分大、中、小三种尺度等级。


6.根据权利要求1所述的一种基于尺度等级的图像缩放裁剪方法，其特征在于，步骤二中，...

【专利技术属性】
技术研发人员：周靖凯，刘琼，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44