基于图像目标-背景变换的数据集增强方法及系统技术方案

本发明专利技术涉及一种基于图像目标‑背景变换的数据集增强方法及系统。方法包括：对含有真实标注框的图像进行分割，获得图像的前景目标预测框；计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；将图像的背景区域替换为对应位置区域的背景图像内容。本发明专利技术通过目标‑背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。

【技术实现步骤摘要】
基于图像目标-背景变换的数据集增强方法及系统
本专利技术涉及计算机
，具体涉及一种基于图像目标-背景变换的数据集增强方法及系统。
技术介绍
现如今，深度学习技术发展日益成熟。作为大数据处理与分析的最好方法之一，深度学习在各行各业的应用范围逐渐广泛并落地，促进了包括客服、门店、仓储、配送等在内的一系列新零售企业的发展。在实际应用中，获取效果更佳的深度学习模型。通常会采集对应场景下大量的数据进行训练学习。如在新零售门店应用场景中，对固定监控摄像头场景下的移动人体进行识别，首先收集该应用场景下的大量数据，标注出人体目标后将其作为训练集进行训练。但在该场景下，由于采集设备安装固定，采集的大量图像背景相同，导致数据集背景缺乏多样性。与传统机器学习方法相比，虽然深度学习更善于挖掘多维数据中错综复杂的关系，取得更为理想的结果，但其模型的精度更加依赖训练数据，包括训练数据的质量、数量、目标类别平衡性以及多样性等。如直接将存在大量背景相同的数据集作为训练集进行训练，由于背景单一简单，即作为负样本的背景学习难度低，极其容易得到背景过拟合的模型。为解决模型过拟合的问题，在数据集方面，绝大数相关论文和企业应用通过对原始图像数据进行如几何变换（平移、旋转、翻转）、亮度和对比度随机调整等，实现图像增强。这些图像方法虽然可以在一定程度上增加多样性，但就其本质而言，背景和目标物体的语义关系并没有改变，很难实现背景和目标的多样性，从根本上解决新零售应用场景中的背景过拟合问题。此外，也有基于用生成对抗网络生成训练样本的方法，GAN模型的训练过于复杂，图像中的目标和背景信息也不准确，即缺乏细节信息。
技术实现思路
鉴于此，本专利技术的目的在于提供一种基于图像目标-背景变换的数据集增强方法及系统，通过目标-背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。为了实现上述目的，本专利技术提供如下技术方案：本专利技术提供一种基于图像目标-背景变换的数据集增强方法，所述基于图像目标-背景变换的数据集增强方法包括：对含有真实标注框的图像进行分割，获得图像的前景目标预测框；计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；将图像的背景区域替换为对应位置区域的背景图像内容。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对含有真实标注框的图像进行分割，获得图像的前景目标预测框，包括：利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P；根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述判断前景目标预测框是否为正确预测，包括：判断前景目标预测框和真实标注框的交并比是否大于特定值，所述特定值不小于0.5；若是，则认为前景目标预测框为正确预测；若否，则认为前景目标预测框为错误预测。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对前景目标预测框区域的内容进行仿射变换，包括：按照设定系数对前景目标预测框区域的内容进行缩放；和/或对前景目标预测框区域的内容进行翻转；和/或对前景目标预测框区域的内容进行旋转；变换后的前景目标预测框区域位置相对于原图像中心位置保持不变。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合，包括：使用差值算法将背景图像处理至与原图像相同大小；对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；将前景目标预测框区域与对应的背景区域按照新的目标概率矩阵进行线性融合，计算公式如下：；其中，p为新的目标概率矩阵，xj为目标xi对应位置的背景区域。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对真实标注框区域的内容进行仿射变换，包括：按照设定系数对真实标注框区域的内容进行缩放；和/或对真实标注框区域的内容进行翻转；和/或对真实标注框区域的内容进行旋转；变换后的真实标注框区域位置相对于原图像中心位置保持不变。在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述将图像的背景区域替换为对应位置区域的背景图像内容，包括：若前景目标预测框为正确预测，将前景目标预测框之外的区域替换为对应位置区域的背景图像内容；若前景目标预测框为错误预测，将真实标注框之外的区域替换为对应位置区域的背景图像内容。本专利技术还提供一种基于图像目标-背景变换的数据集增强系统，所述基于图像目标-背景变换的数据集增强系统包括：图像分割模块，所述图像分割模块用于对含有真实标注框的图像进行分割，获得图像的前景目标预测框；判断模块，所述判断模块用于计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；变换模块，所述变换模块用于对前景目标预测框或真实标注框区域的内容进行仿射变换；线性融合模块，所述线性融合模块用于将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；背景替换模块，所述背景替换模块用于将图像的背景区域替换为对应位置区域的背景图像内容。在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述变换模块包括：缩放模块，所述缩放模块用于按照设定系数对前景目标预测框或真实标注框区域的内容进行缩放；和/或翻转模块，所述翻转模块用于对前景目标预测框或真实标注框区域的内容进行翻转；和/或选择模块，所述选择模块用于对前景目标预测框或真实标注框区域的内容进行旋转。在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述图像分割模块包括：第一概率矩阵获取模块，所述第一概率矩阵获取模块用于对含有真实标注框的图像进行分割，得到目标的概率矩阵P；前景目标预测框获取模块，所述前景目标预测框获取模块用于根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)，获取前景目标预测框；所述线性融合模块包括：背景图像大小处理模块，所述背景图像大小处理模块用于使用差值算法将背景图像处理至与原图像相同大小；第二概率矩阵获取模块，所述第二概率矩阵获取模块用于对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵。与最接本文档来自技高网...

【技术保护点】
1.一种基于图像目标-背景变换的数据集增强方法，其特征在于，所述基于图像目标-背景变换的数据集增强方法包括：/n对含有真实标注框的图像进行分割，获得图像的前景目标预测框；/n计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；/n若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；/n将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；/n若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；/n将图像的背景区域替换为对应位置区域的背景图像内容。/n

【技术特征摘要】
1.一种基于图像目标-背景变换的数据集增强方法，其特征在于，所述基于图像目标-背景变换的数据集增强方法包括：
对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；
将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；
将图像的背景区域替换为对应位置区域的背景图像内容。


2.如权利要求1所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对含有真实标注框的图像进行分割，获得图像的前景目标预测框，包括：
利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)。


3.如权利要求2所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述判断前景目标预测框是否为正确预测，包括：
判断前景目标预测框和真实标注框的交并比是否大于特定值，所述特定值不小于0.5；
若是，则认为前景目标预测框为正确预测；
若否，则认为前景目标预测框为错误预测。


4.如权利要求3所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对前景目标预测框区域的内容进行仿射变换，包括：
按照设定系数对前景目标预测框区域的内容进行缩放；
和/或对前景目标预测框区域的内容进行翻转；
和/或对前景目标预测框区域的内容进行旋转；
变换后的前景目标预测框区域位置相对于原图像中心位置保持不变。


5.如权利要求4所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合，包括：
使用差值算法将背景图像处理至与原图像相同大小；
对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；
将前景目标预测框区域与对应的背景区域按照新的目标概率矩阵进行线性融合，计算公式如下：

；
其中，p为新的目标概率矩阵，xj为目标xi对应位置的背景区域。


6.如权利要求3所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对真实标注框区域的内容进行仿射变换，包括：
按照设定...

【专利技术属性】
技术研发人员：杨惠雯，段思九，赵宇迪，施侃，
申请(专利权)人：上海数川数据科技有限公司，
类型：发明
国别省市：北京;11