一种图像处理方法、装置、电子设备及介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、电子设备及介质。该方法包括：从原始图像中提取目标对象的目标图像；根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域；将所述目标图像插入至原始图像的背景区域中，得到合成图像。以上技术方案中克服了现有技术中随机插入图片的缺陷，通过在空白的背景区域中一边试探性的插入目标图像一边判断目标图像是否与其他物体的边界框重叠，为目标对象找到合适的插入位置，避免了目标图像被割裂以及背景区域中的物体被覆盖的问题，合成的图像完整且易于识别，为图像识别模型的训练提供了良好的数据支持。识别模型的训练提供了良好的数据支持。识别模型的训练提供了良好的数据支持。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及介质


[0001]本申请实施例涉及图像合成
，尤其涉及一种图像处理方法、装置、电子设备及介质。

技术介绍

[0002]在自动驾驶场景下通常需要通过模型对车身周围的物体进行识别，而为了提高识别准确度，需要建立模型并使用大量的图片数据对模型进行训练。但是由于获得的图片中存在的目标物可能较少，导致数据规模不够大。
[0003]图片合成是一种有效地扩大训练数据规模的方法，合成图片技术一般用于生成外观满足用户需求的特定图片或者专门用于深度神经网络的训练数据。现有的合成图片技术中，先从原始图中将目标物提取出来，并采用图片块的方式向背景图中插入目标物像素矩阵，插入的方式大多采用随机的方式，且没有考虑背景图中已有的对象，所以可能会导致目标物被割裂或者背景图中的物体被覆盖，合成的图片不完整或无法识别，不适于作为深度神经网络的训练数据。

技术实现思路

[0004]本申请实施例提供一种图像处理方法、装置、电子设备及介质，可以实现对图片中的特定对象进行增强。
[0005]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0006]从原始图像中提取目标对象的目标图像；
[0007]根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域；
[0008]将所述目标图像插入至原始图像的背景区域中，得到合成图像。
[0009]第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0010]图像提取模块，用于从原始图像中提取目标对象的目标图像；
[0011]背景区域确定模块，用于根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域；
[0012]图像合成模块，用于将所述目标图像插入至原始图像的背景区域中，得到合成图像。
[0013]第三方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像处理方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像处理方法。
[0015]本申请实施例提供了一种图像处理方法，该方法包括：从原始图像中提取目标对象的目标图像；根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重
叠的背景区域；将所述目标图像插入至原始图像的背景区域中，得到合成图像。以上技术方案中克服了现有技术中随机插入图片的缺陷，通过在空白的背景区域中一边试探性的插入目标图像一边判断目标图像是否与其他物体的边界框重叠，为目标对象找到合适的插入位置，避免了目标图像被割裂或者背景区域中的物体被覆盖的问题，合成的图像完整且易于识别，为图像识别模型的训练提供了良好的数据支持。
附图说明
[0016]图1是本申请一种实施例提供的图像处理方法流程图；
[0017]图2是本申请另一种实施例提供的图像处理方法的流程图；
[0018]图3是本申请又一种实施例提供的图像合成方法流程图；
[0019]图4是本申请一种实施例提供的图像处理装置结构框图；
[0020]图5是本申请一种实施例提供的电子设备的结构示意图。
具体实施方式
[0021]下面结合附图和实施例对本申请在实施例中作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0022]图1是本申请一种实施例提供的图像处理方法流程图，本实施例可适用于对图片中的特定对象进行增强的场景中。该方法可以由本申请实施例所提供的图像处理装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。
[0023]如图1所示，本申请实施例中提供的图像处理方法可包括以下步骤：
[0024]S110、从原始图像中提取目标对象的目标图像。
[0025]其中，原始图像是通过摄像设备拍摄的并用于训练模型的图像。目标对象是指即将被提取的对象。原始图像中通常会包含多个物体，例如车辆以及行人等，每一个物体都可以被视为目标对象进行提取，其中，提取的方式可以是随机选择一个物体作为目标对象进行提取，也可以是先对各个物体进行分类，然后按类别进行提取。目标图像是指仅包含目标对象的图像。
[0026]进一步的，可以采用图片语义分割工具对目标对象进行提取。图片语义分割工具可以有多种选择，本申请实施例中选用基于微软COCO数据集训练得到的YOLACT语义分割工具来提取原始图像中的目标对象的目标图像。通过YOLACT提取到的内容包括目标对象掩码信息(由0、1数字组成的矩阵)、边界框信息以及类别名称。其中，边界框是指目标图像的边界框，边界框形状为矩形，边界框信息可以包括边界框的尺寸以及边界框四个角点像素在原始图像中的坐标信息等；类别名称可以是车、以及行人等，还可以对车以及行人等进行更细致的划分，以车为例，可以将车划分为电动车、公交车以及轿车等。本申请实施例中所使用的语义分割工具YOLACT在对目标对象进行提取前，会对原始图像中的所有物体进行识别，并对物体的类别进行标识。
[0027]S120、根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域。
[0028]其中，原始对象是指原始图像中存在的所有的物体。原始对象的位置信息可以是
原始对象质心像素点所在的坐标信息，也可以是原始对象边界框四个角点像素的坐标信息。可以理解的，步骤S110中所述的目标对象是按照一定规则从原始对象中挑选出来的。
[0029]需要说明的是，本申请实施例中，在从原始图像中提取目标对象的目标图像之前，会先在原始图像中对原始对象设置边界框，然后再进行后续步骤。
[0030]根据原始图像中原始对象的位置信息，确定与原始对象不存在重叠的背景区域，在一个具体的例子中，原始图像中包含原始对象A，以原始图像左下角为原点建立坐标轴，原始对象A边界框左上角和右下角的横坐标分别为x1和x2，x1<x2，左上角和右下角的纵坐标分别为y1和y2，y1<y2，则由x<x1，x>x2，y>y2，y<y1构成的区域为与原始对象不存在重叠的背景区域。
[0031]S130、将所述目标图像插入至原始图像的背景区域中，得到合成图像。
[0032]由于本申请实施例中会事先在原始图像中对原始对象设置边界框，所以背景区域会被各个边界框隔成多个不规则形状的区域。在将目标图像插入至原始图像的背景区域中时，目标图像插入的位置不是随机选择的，而是在背景区域中试探，避免目标图像的边界框与其他原始对象的边界框发生重叠，以此找到合适的插入位置。
[0033]本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：从原始图像中提取目标对象的目标图像；根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域；将所述目标图像插入至原始图像的背景区域中，得到合成图像。2.根据权利要求1所述的方法，其特征在于，从原始图像中提取目标对象的目标图像，包括：从所述原始图像中提取原始对象的候选图像；根据所述原始对象被识别为目标类别的置信度，从候选图像中确定目标图像。3.根据权利要求1所述的方法，其特征在于，根据所述原始图像中原始对象的位置信息，确定与所述原始对象不存在重叠的背景区域，包括：确定所述原始对象的候选图像的边界框；根据所述原始图像的区域和所述候选图像的边界框，确定与所述原始对象不存在重叠的背景区域。4.根据权利要求3所述的方法，其特征在于，根据所述原始对象的图像区域和所述候选图像的边界框，确定与所述原始对象不存在重叠的背景区域，包括：根据所述原始图像的区域的横坐标以及所述候选图像的边界框的横坐标建立横坐标不等式，并根据所述原始图像的区域的纵坐标以及所述候选图像的边界框的纵坐标建立纵坐标不等式；对所述横坐标不等式和所述纵坐标不等式进行求解，根据求解结果确定与所述原始对象不存在重叠的背景区域。5.根据权利要求1所述的方法，其特征在于，将所述目标图像插入至原始图像的背景区域中，得到合成图像，包括：根据所述目标图像的边界框，确定所述目标图像的尺寸信息，并确定所述背景区域中各背景子区域的尺寸信息；若根据背景子区域的尺寸信息和所述...

【专利技术属性】
技术研发人员：杨斯琦，吕颖，董小瑜，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：