目标检测中的数据增广方法、装置及存储介质制造方法及图纸

本申请涉及一种目标检测中的数据增广方法、装置及存储介质，属于计算机技术领域，该方法包括：获取多组原始数据，每组原始数据包括样本图像、语义标签和目标标签；从多组原始数据中确定一组目标原始数据，并从其它原始数据中确定N个候选数据；根据N个候选数据的目标标签，获取每个候选数据对应的前景目标；按照预设的目标叠加策略和目标原始数据的语义标签，将前景目标叠加至目标原始数据中样本图像的目标区域，得到叠加后的样本图像；对叠加后的样本图像中前景目标进行标注；可以解决现有数据增广算法存在前景目标数量较少、叠加后的图像存在鬼影、正负样本不均衡的问题；可以增加前景目标的数量、不存在鬼影、减缓正负样本不均衡问题。均衡问题。均衡问题。

【技术实现步骤摘要】
目标检测中的数据增广方法、装置及存储介质


[0001]本申请涉及一种目标检测中的数据增广方法、装置及存储介质，属于计算机


技术介绍

[0002]目标检测是指找出图像中感兴趣的目标的技术。通常，目标检测基于神经网络实现，比如：基于YOLO算法、单激发多盒探测器（Single Shot MultiBox Detector，SSD）等神经网络进行目标检测。在用于进行目标检测的神经网络（即目标检测网络）使用之前，需要使用训练数据对该目标检测网络进行训练。其中，训练数据通常包括样本图像和该样本图像中的目标标签。
[0003]由于在实际训练时，训练数据的数量有限，使用数量较少的训练数据来训练目标检测网络会影响网络性能，降低目标检测的准确性。因此，需要对训练数据进行增广处理。
[0004]现有的对训练数据进行增广处理的方式包括：将一张图片进行镜像，旋转，缩放，和/或色彩变化等处理，得到增广后的图像；或者，将多张图片混叠生成一张图片，得到增广后的图像。比如：将两张图像按不同透明度叠加（即混合（MixUp）算法），得到增广后的图像。
[0005]然而，在目标检测过程中，对于一张图片，前景（物体）的占比往往远少于背景的占比，而镜像，旋转，缩放，和/或色彩变化等处理无法给图片中增加前景个数，会影响目标检测效果。而对于多张图片混叠生成一张图片的方式，虽然可以多张图像拼接生成一张图片，但是叠加后会出现类似鬼影的模糊。同时，现有的方法也会存在正负样本不均衡的问题。

技术实现思路

[0006]本申请提供了一种目标检测中的数据增广方法、装置及存储介质，可以解决现有的目标检测中的数据增广算法存在前景目标数量较少、叠加后的图像存在鬼影、且正负样本不均衡的问题。本申请提供如下技术方案：第一方面，提供一种目标检测中的数据增广方法，所述方法包括：获取多组原始数据，每组原始数据包括样本图像、所述样本图像的语义标签和所述样本图像的目标标签；从所述多组原始数据中确定一组目标原始数据，并从其它原始数据中确定N个候选数据；其中，所述其它原始数据是所述多组原始数据中与所述目标原始数据不同的原始数据，所述N为正整数；根据所述N个候选数据的目标标签，获取每个候选数据对应的前景目标；按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像；所述目标叠加策略用于指示图像语义与目标之间的映射关系，所述目标包括所述前景目标；对所述叠加后的样本图像中所述前景目标的目标信息进行标注，得到所述叠加后的样本图像的叠加目标标签，所述叠加后的样本图像和所述叠加目标标签用于对目标检测网络
进行训练。
[0007]可选地，所述按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像，包括：从所述目标叠加策略中确定所述前景目标对应的目标图像语义；在所述语义标签中确定与所述目标图像语义相符的目标区域，并将所述目标区域映射至所述样本图像；将所述前景目标叠加至所述样本图像的所述目标区域，得到叠加后的样本图像。
[0008]可选地，所述将所述前景目标叠加至所述样本图像的所述目标区域，得到叠加后的样本图像，包括：从所述样本图像的所述目标区域中随机选择目标叠加位置；将所述前景目标叠加至所述目标叠加位置，得到叠加后的样本图像。
[0009]可选地，所述根据所述N个候选数据的目标标签，获取每个候选数据对应的前景目标，包括：对于每个候选数据中每个目标标签指示的前景目标，获取所述前景目标对应的掩码；基于所述掩码从所述候选数据的样本图像中抠取出所述前景目标。
[0010]可选地，所述按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像之前，还包括：根据目标检测任务设置所述目标叠加策略，所述目标叠加策略包括所述目标检测任务指示的待检测目标和所述待检测目标对应的图像语义。
[0011]可选地，所述目标检测任务指示的待检测目标包括人，所述目标叠加策略包括：人与图像语义为允许人移动的空间之间的映射关系；和/或，所述目标检测任务指示的待检测目标包括车辆，所述目标叠加策略包括：车辆与图像语义为道路之间的映射关系。
[0012]可选地，所述对所述叠加后的样本图像中所述前景目标的目标信息进行标注，得到所述叠加后的样本图像的叠加目标标签之后，还包括：使用所述叠加后的样本图像、所述叠加后的样本图像对应的目标标签和叠加目标标签对目标检测网络进行训练，训练后的目标检测网络用于对输入图像进行目标检测。
[0013]第二方面，提供一种目标检测中的数据增广装置，所述装置包括：数据获取模块，用于获取多组原始数据，每组原始数据包括样本图像、所述样本图像的语义标签和所述样本图像的目标标签；数据确定模块，用于从所述多组原始数据中确定一组目标原始数据，并从其它原始数据中确定N个候选数据；其中，所述其它原始数据是所述多组原始数据中与所述目标原始数据不同的原始数据，所述N为正整数；前景提取模块，用于根据所述N个候选数据的目标标签，获取每个候选数据对应的前景目标；前景叠加模块，用于按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像；所述目标叠加策略用于指示图像语义与目标之间的映射关系，所述目标包括所述前景目标；
数据标注模块，用于对所述叠加后的样本图像中所述前景目标的目标信息进行标注，得到所述叠加后的样本图像的叠加目标标签，所述叠加后的样本图像和所述叠加目标标签用于对目标检测网络进行训练。
[0014]第三方面，提供一种目标检测中的数据增广装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的目标检测中的数据增广方法。
[0015]第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的目标检测中的数据增广方法。
[0016]本申请的有益效果至少包括：通过获取多组原始数据，每组原始数据包括样本图像、样本图像的语义标签和样本图像的目标标签；从多组原始数据中确定一组目标原始数据，并从其它原始数据中确定N个候选数据；根据N个候选数据的目标标签，获取每个候选数据对应的前景目标；按照预设的目标叠加策略和目标原始数据的语义标签，将前景目标叠加至目标原始数据中样本图像的目标区域，得到叠加后的样本图像；对叠加后的样本图像中前景目标的目标信息进行标注，得到叠加后的样本图像的叠加目标标签；可以解决现有的目标检测中的数据增广算法存在前景目标数量较少、叠加后的图像存在鬼影、且正负样本不均衡的问题；由于通过语义标签提取出多个候选数据对应的前景目标，叠加到目标数据的样本图像中的合适区域（例如人只能在地面，不能叠加到天空中），从而起到数据增广的作用，同时，可以增加前景目标的数量、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测中的数据增广方法，其特征在于，所述方法包括：获取多组原始数据，每组原始数据包括样本图像、所述样本图像的语义标签和所述样本图像的目标标签；从所述多组原始数据中确定一组目标原始数据，并从其它原始数据中确定N个候选数据；其中，所述其它原始数据是所述多组原始数据中与所述目标原始数据不同的原始数据，所述N为正整数；根据所述N个候选数据的目标标签，获取每个候选数据对应的前景目标；按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像；所述目标叠加策略用于指示图像语义与目标之间的映射关系，所述目标包括所述前景目标；对所述叠加后的样本图像中所述前景目标的目标信息进行标注，得到所述叠加后的样本图像的叠加目标标签，所述叠加后的样本图像和所述叠加目标标签用于对目标检测网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像，包括：从所述目标叠加策略中确定所述前景目标对应的目标图像语义；在所述语义标签中确定与所述目标图像语义相符的目标区域，并将所述目标区域映射至所述样本图像；将所述前景目标叠加至所述样本图像的所述目标区域，得到叠加后的样本图像。3.根据权利要求2所述的方法，其特征在于，所述将所述前景目标叠加至所述样本图像的所述目标区域，得到叠加后的样本图像，包括：从所述样本图像的所述目标区域中随机选择目标叠加位置；将所述前景目标叠加至所述目标叠加位置，得到叠加后的样本图像。4.根据权利要求1所述的方法，其特征在于，所述根据所述N个候选数据的目标标签，获取每个候选数据对应的前景目标，包括：对于每个候选数据中每个目标标签指示的前景目标，获取所述前景目标对应的掩码；基于所述掩码从所述候选数据的样本图像中抠取出所述前景目标。5.根据权利要求1所述的方法，其特征在于，所述按照预设的目标叠加策略和所述目标原始数据的语义标签，将所述前景目标叠加至所述目标原始数据中样本图像的目标区域，得到叠加后的样本图像之前，还包括：根据目标检测任务设置所述目标叠加...

【专利技术属性】
技术研发人员：陈伟，
申请(专利权)人：知行汽车科技苏州有限公司，
类型：发明
国别省市：