一种基于目标重叠度计算和自适应调整的数据增强方法技术

本发明专利技术提供了一种基于目标重叠度计算和自适应调整的数据增强方法，包括：S1、将已标注的目标检测任务的数据集作为对象；S2、对待扩展目标进行选择：选定一个或多个目标类别作为待扩展类别，筛选出整个数据集中包含所述待扩展类别的图片的集合作为待扩展集合，从整个数据集中随机选取一定比例数量的图片组成集合作为待生成集合；S3、所述待扩展集合与所述待生成集合中的图片随机组合，通过重叠度计算与自适应调整的方法，生成新图片与新标签以进行数据增强。本发明专利技术可以提升数据集中的图片数量、目标数量、目标与背景组合的多样性，提升深度神经网络模型的训练效率和性能。度神经网络模型的训练效率和性能。度神经网络模型的训练效率和性能。

【技术实现步骤摘要】
一种基于目标重叠度计算和自适应调整的数据增强方法


[0001]本专利技术属于图片处理数据增强
，具体涉及一种基于目标重叠度计算和自适应调整的数据增强方法。

技术介绍

[0002]目标检测任务的目的是对图像或视频中出现的物体进行识别、分类以及定位，该任务是通过对深度学习技术中的深度神经网络来构建的模型的训练来实现。在训练过程中，需要使用到已标记的数据集——即对图片中需要识别的目标完成类别和位置的标注后的数据集，因此数据集的图片数量、目标数量、背景数量、标注的准确度等等都会影响模型的训练效果。目标检测任务往往需要进行数据增强，数据增强又可称为数据扩展。在目标检测的模型进行训练前，对数据集进行数据增强处理是通过增加目标数量、增加背景的多样性、提升图片样本数量等一系列方法来提升用该数据集训练后的模型的检测能力的方法。数据增强方法是在不实质性的修改数据集中原有的图片以及标签的前提下，通过一些算法将数据集的图片数量、目标数量、背景数量等进行扩增，从而使有限的数据产生等价于更多数据的效果。
[0003]现有的数据增强方法主要有mosaic增强和mixup增强，其中mosaic增强主要是将四张图片进行随机裁剪，再拼接成一张新图片。该方法虽然提升了每张图片中的检测背景的多样性，但是一次需要用到4张图片，对数据集的图片数量、目标数量的需求较大，且无法有效、定向地解决目标在各个类别之间数量的不平衡性。因此该方法不适合于较稀疏或者各个类别目标数量不均衡的数据集。mixup增强主要是将一张图片与另一张图片的像素值按一定比例进行融合，生成到一张新图片。该方法虽然一次只需要用到2张图片，但是生成的图片的背景、目标可能会出现重叠过多情况，导致在图片在局部的一些特征不明确，从而影响模型的训练效果。
[0004]如申请号为CN202111224250.X，专利技术名称为一种用于目标检测的图像样本生成方法及应用，该专利技术提出了一种用于目标检测的图像样本生成方法及应用，具体包括：对前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；通过图像数据增强策略搜索空间对正样本及负样本进行数据增强；将增强后的正样本及负样本黏贴至前景样本、背景样本的不同的图像样本拼接区域内，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；对含有正样本的混合样本使用残缺增强策略进行数据增强。该方法存在的问题有：1. 将数据集样本基于有无目标框、目标框是否需要识别等条件分为前景样本、背景样本等共4类，但是实际情况下，多数公开或自制的目标检测数据集中每张图都必带有一定类别和数量的需要被识别的目标框；因此该方法现阶段的泛用性并不高，并且该方法进一步划分数据集的步骤会加剧数据集的稀疏程度；2. 该方法在得到拼接区域时，对所有目标的检测框之间做交并比计算，以及在后
续步骤中需要用到距离计算、求导计算、散度计算等，该方法需要的计算量大，步骤繁琐，耗费更多的计算资源及时间成本；3. 该方法建立了在生成样本时的限定越界区，限定新样本的生成区域会减少生成的新样本的多样性。

技术实现思路

[0005]本专利技术的目的是针对上述问题，提供一种基于目标重叠度计算和自适应调整的数据增强方法，可以提升数据集中的图片数量、目标数量、背景多样性，且能够适用于大多数的目标检测数据集解决目标位置配置不当的问题。
[0006]为达到上述目的，本专利技术采用了下列技术方案：一种基于目标重叠度计算和自适应调整的数据增强方法，包括：S1、将已标注的目标检测任务的数据集作为对象；S2、对待扩展目标进行选择：选定一个或多个目标类别作为待扩展类别，筛选出整个数据集中包含所述待扩展类别的图片的集合作为待扩展集合，从整个数据集中随机选取一定比例数量的图片组成集合作为待生成集合；S3、将所述待扩展集合与所述待生成集合中的图片随机组合，通过用于衡量目标内容位置重合程度的重叠度计算与自适应调整的方法，生成新图片与新标签以进行数据增强。本专利技术对待扩展目标进行选择可以提升数据集中的图片数量、目标数量和背景多样性，提升较稀疏的目标的数量，能够增加待扩展目标的可选择性，即可以定向的提升某个或者多个类别的目标数量，同时通过重叠度计算和自适应尺寸调整的方法可以解决在实现过程中出现的目标位置配置不当的问题。
[0007]进一步的，目标检测任务的数据集包括原图片和标签文件，所述标签文件记录有所述原图片中各个待检测目标的类别名称和位置框的坐标值信息。本专利技术目标检测任务的数据集利用图片的标签文件中目标对应的类别名称，可以选择要增加目标数量的类别。
[0008]进一步的，通过各个所述待检测目标对应的位置框的坐标值信息，从图像样本中获取待检测目标的像素内容，对待检测目标的位置框进行修改，并直接生成修改后的位置框的坐标值信息。本专利技术通过待检测目标对应的位置框坐标从图像样本中获取该目标的像素内容，从而可以对这些目标的位置、尺寸进行修改，这些修改不会改变位置框中的目标本身的像素特征，并且能够直接生成转换后的位置框信息，用于生成新标签。
[0009]进一步的，步骤S3包括：S301、随机选取所述待扩展集合中的一张待扩展图片，读取所述待扩展图片中的一个或多个类别属于所述待扩展目标的类别名称和位置框的坐标值信息；S302、根据所述待扩展目标的标签文件，通过基于重叠度计算的自适应尺寸调整改变待扩展类别的像素区域范围，将所述待扩展类别的像素区域范围作为待复制的像素区域；S303、随机选取待生成集合中的一张待生成图片，并选取所述待生成图片中的随机位置作为待粘贴的区域，通过基于重叠度计算的自适应尺寸调整来调整待粘贴的区域的范围；S304、将所述待扩展图片中得到的包含待扩展目标的像素区域粘贴进所述待粘贴
的区域并替代所述待粘贴的区域的像素内容，生成一张新图片，并同时得到新标签。
[0010]进一步的，新图片基于所述待生成图片上的内容且增加了一个或者多个待扩展目标；所述新图片的标签内容为新标签，所述新标签包括待生成图片中的原有标签和所述待扩展目标的类别名称、位置框的坐标值信息。
[0011]进一步的，待复制的像素区域的范围包括待扩展目标的全部内容，并且对所述待扩展目标的内容进行扩大。
[0012]进一步的，重叠度计算包括目标检测任务的数据集中图片上的一个区域与同一图片中其他目标的位置框中的内容在像素级别的位置重合程度。本专利技术重叠度可以代表图片中某个区域对其他目标在像素级别的内容上的影响。
[0013]进一步的，重叠度计算的公式为：其中，表示计算重叠度，表示待复制的像素区域，表示待复制的像素区域的位置框，表示图片中其他目标的集合，表示计算面积，表示其他目标的位置框，表示一个可调整的系数且。
[0014]进一步的，自适应调整的数据增强方法中包括放缩系数，所述放缩系数的自适应调整公式为：调整公式为：其中，表示目标位置框的尺寸的各个放缩系数包括、、、，表示在轮各个放缩系数的状态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标重叠度计算和自适应调整的数据增强方法，其特征在于，包括：S1、将已标注的目标检测任务的数据集作为对象；S2、对待扩展目标进行选择：选定一个或多个目标类别作为待扩展类别，筛选出整个数据集中包含所述待扩展类别的图片的集合作为待扩展集合，从整个数据集中随机选取一定比例数量的图片组成集合作为待生成集合；S3、将所述待扩展集合与所述待生成集合中的图片随机组合，通过用于衡量目标内容位置重合程度的重叠度计算与自适应调整的方法，生成新图片与新标签以进行数据增强。2.根据权利要求1所述的一种基于目标重叠度计算和自适应调整的数据增强方法，其特征在于，所述目标检测任务的数据集包括原图片和标签文件，所述标签文件记录有所述原图片中各个待检测目标的类别名称和位置框的坐标值信息。3.根据权利要求2所述的一种基于目标重叠度计算和自适应调整的数据增强方法，其特征在于，通过各个所述待检测目标对应的位置框的坐标值信息，从图像样本中获取待检测目标的像素内容，对待检测目标的位置框进行修改，并直接生成修改后的位置框的坐标值信息。4.根据权利要求2所述的一种基于目标重叠度计算和自适应调整的数据增强方法，其特征在于，所述步骤S3包括：S301、随机选取所述待扩展集合中的一张待扩展图片，读取所述待扩展图片中的一个或多个类别属于所述待扩展目标的类别名称和位置框的坐标值信息；S302、根据所述待扩展目标的标签文件，通过基于重叠度计算的自适应尺寸调整改变待扩展类别的像素区域范围，将所述待扩展类别的像素区域范围作为待复制的像素区域；S303、随机选取待生成集合中的一张待生成图片，并选取所述待生成图片中的随机位置作为待粘贴的区域，通过基于重叠度计算的自适应尺寸调整来调整待粘贴的区域的范围；S304、将所述待扩展图片中得到的包含待扩展目标的像素区域粘贴进所述待粘贴的区域并替代所述待粘贴的区域内的像素内容，生成一张新图片，并同时...

【专利技术属性】
技术研发人员：仇祎诚，廖佳纯，牛力，沙枫，宋文杰，张磊，勾鹏，唐攀攀，刘昊，
申请(专利权)人：南湖实验室，
类型：发明
国别省市：