基于数据增强的目标检测方法技术

本发明专利技术公开了一种基于数据增强的目标检测方法，其包括如下步骤：获取目标原始图像，在所述原始图像上添加标注框；对获得的原始图像进行透视变换，生成透视变换图像；进行标注对齐，将变换后的标注框变为可训练的矩形标注框；使用原始图像对透视变换后的图像进行黑边填充；进行目标检测。本发明专利技术针对有效样本稀缺的问题，利用透视变换对已有样本进行增强，自动生成新的高质量的标注图像，从而提高深度神经网络的效果。

【技术实现步骤摘要】
基于数据增强的目标检测方法
本专利技术属于图像识别
，具体涉及一种针对有效样本稀缺的情况下基于透视变换数据增强的目标检测方法，特别适用于输电线路目标检测。
技术介绍
近几年中，深度神经网络在目标检测任务中取得了巨大成功。深度神经网络的性能在很大程度上依赖于海量的训练数据，然而在现实世界的应用中，大量有效的输电线路数据很难获得，这是因为它们涉及高昂的采集成本和标注成本。因此需要利用有效的数据通过数据增强获得更好的效果。文章“Imagenetclassificationwithdeepconvolutionalneuralnetworks.InAdvancesinneuralinformationprocessingsystems”中使用水平反射和颜色扰动进行图像分类。文章“Effectivetrainingofaneuralnetworkcharacterclassifierforwordrecognition”提出了“笔画扭曲”技术来进行单词识别，这种技术在倾斜、旋转和缩放等方面增加了微小的变化。在文章“RandomErasingDataAugmentation”中，目标检测采用随机擦除，降低了过度拟合的风险。文章“Abayesiandataaugmentationapproachforlearningdeepmodels.InAdvancesinNeuralInformationProcessingSystems”使用贝叶斯DA算法，基于从注释训练集中得到的分布来生成数据。文章“Datasetaugmentationinfeaturespace”则不是在输入空间中进行转换，而是在学习的特征空间中进行转换。以上这些公开的技术，得到的图像与真实环境并不匹配。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于数据增强的目标检测方法。为了实现本专利技术的上述目的，本专利技术提供了一种基于数据增强的目标检测方法，其包括如下步骤：S1，获取目标原始图像，在所述原始图像上添加标注框；S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；S4，使用原始图像对透视变换后的图像进行黑边填充；S5，基于Faster-RCNN检测器进行目标检测。本专利技术将透视变换应用于数据增强，透视变换能够模拟不同拍摄角度下成像，提高了图像与真实环境的匹配度。本专利技术针对有效样本稀缺的问题，利用透视变换对已有样本进行增强，自动生成新的高质量的标注图像，从而提高深度神经网络的效果。在本专利技术的一种优选实施方式中，所述透视变换的方法为：假设X0、X1分别为原始图像和透视变换后图像上的点，其齐次坐标分别为X0＝[x0,y0,w0]，X1＝[x1,y1,w1]，则透视变换表示为：X1＝X0P(1)其中，为透视矩阵，可以拆为四个部分，表示线性变换，[p31p32]用于平移，[p13p23]T产生透视变换，X0和X1的笛卡尔坐标表示为X0＝[x0/w0,y0/w0]，X1＝[x1/w1,y1/w1]。在本专利技术的另一种优选实施方式中，所述生成透视变换图像的方法为：选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点Aθ,Bθ,Cθ,Dθ来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点Aθ,Bθ,Cθ,Dθ，随机采样点Aθ＝(xtl,ytl),Bθ＝(xbl,W-ybl),Cθ＝(H-xbr,W-ybr),Dθ＝(H-xtr,ytr)(2)由透视因子θ控制，xtl,xbl,xbr,xtr∈(0,H*(λθ))，ytl,ybl,ybr,ytr∈(0,W*(λθ))，(3)其中λ为平衡参数，H,W分别表示原始图像的长和宽；通过对应的4对点A,B,C,D、Aθ,Bθ,Cθ,Dθ，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。本专利技术对于图像中较远和较小的目标(如防震锤、绝缘子等)，它们在图像中以一种近似平面的状态呈现，透视变换可以模拟出这类目标在不同拍摄角度下的形状；对于较近且较大的目标(如杆塔)，它们在图像中有着一定的立体状态，其它面的信息在该图像平面中没有呈现，所以这类目标的透视变换仅是增加了样本的多样性。在本专利技术的另一种优选实施方式中，所述标注对齐的方法为：原始图像中的矩形标注框用[xmin,ymin,xmax,ymax]表示，(xmin,ymin)，(xmax,ymax)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a*＝(x1,y1),b*＝(x2,y2),c*＝(x3,y3),d*＝(x4,y4)，令则表示变换后标注框。本专利技术可以自动生成新的标注样本，显著降低了昂贵的手动标注时间，并且可以轻松地应用于其他数据集和任务。在本专利技术的另一种优选实施方式中，所述黑边填充的方法为：假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像IM和IB，IM为原始图像的镜像图，以原始图像I为中心，通过将其进行水平和垂直翻转，组合构成镜像图片IM；IB以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像IB，此时，在图像IB中原始图像I的四个顶点的坐标分别为：A1＝(N,M),B1＝(2N,M),C1＝(N,2M),D1＝(2N,2M).然后，通过同一个变换矩阵P，对IM、IB进行同样的透视变换得到在中，A1,B1,C1,D1投影后的点坐标可以通过公式(1)透视变换得到；由公式(2)得到定义则A0,B0,C0,D0构成四边形的外接矩形；在图像中，根据点A0,B0,C0,D0的坐标裁减出矩形，该矩形即为原图填充后的图像。进一步提高了生成样本的质量。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术一种优选实施方式中不同θ取值下的透视变换效果图，其中，图1(a)为θ取0.3时的透视变换效果图，图1(b)为θ取0.9时的透视变换效果图；图2是标注对齐时边界框的透视变换；图3是黑边填充方法示意图；图4是目标检测的检测结果示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。当人眼观看场景时，距离远的物体看起来比距离近的物体小，这通常被称为透视。摄像机工作原理与人类视觉工作原理相同。透视变换是一种特定的单应性变换，是将同一个三维物体分别投影到两个不同投影平面下的两幅图像联系起来。这意味着相机在不同位本文档来自技高网...

【技术保护点】
1.一种基于数据增强的目标检测方法，其特征在于，包括如下步骤：S1，获取目标原始图像，在所述原始图像上添加标注框；S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；S4，使用原始图像对透视变换后的图像进行黑边填充；S5，进行目标检测。

【技术特征摘要】
1.一种基于数据增强的目标检测方法，其特征在于，包括如下步骤：S1，获取目标原始图像，在所述原始图像上添加标注框；S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；S4，使用原始图像对透视变换后的图像进行黑边填充；S5，进行目标检测。2.根据权利要求1所述的基于数据增强的目标检测方法，其特征在于，所述透视变换的方法为：假设X0、X1分别为原始图像和透视变换后图像上的点，其齐次坐标分别为X0＝[x0,y0,w0]，X1＝[x1,y1,w1]，则透视变换表示为：X1＝X0P(1)其中，为透视矩阵，可以拆为四个部分，表示线性变换，[p31p32]用于平移，[p13p23]T产生透视变换，X0和X1的笛卡尔坐标表示为X0＝[x0/w0,y0/w0]，X1＝[x1/w1,y1/w1]。3.根据权利要求1所述的基于数据增强的目标检测方法，其特征在于，所述生成透视变换图像的方法为：选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点Aθ,Bθ,Cθ,Dθ来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点Aθ,Bθ,Cθ,Dθ，随机采样点Aθ＝(xtl,ytl),Bθ＝(xbl,W-ybl),Cθ＝(H-xbr,W-ybr),Dθ＝(H-xtr,ytr)由透视因子θ控制，xtl,xbl,xbr,xtr∈(0,H*(λθ))，ytl,ybl,ybr,ytr∈(0,W*(λθ))，其中λ为平衡参数，H,W分别表示原始图像的长和...

【专利技术属性】
技术研发人员：王珂，房斌，钱基业，杨粟，周鑫，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50