一种图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、设备及存储介质，涉及人工智能技术领域，可应用于自动驾驶场景，该方法具体为：获取场景图像以及包含目标对象的待处理图像，然后提取场景图像的目标场景特征以及提取目标对象的目标对象特征，将目标场景特征与目标对象特征进行融合，获得目标场景迁移图像，目标场景迁移图像为目标对象在场景图像表征的场景下的图像。通过将场景图像中的场景特征与待处理图像包含的目标对象的对象特征进行融合，实现了在保留待处理图像中的目标对象的前提下，替换待处理图像的场景，获得目标对象在新场景下的图像，从而为检测模型迁移至新场景下提供了迁移学习样本，降低了获得新场景下的训练样本的成本。成本。成本。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]自动驾驶场景下的检测模型需要大量的图像作为训练样本进行训练，以保证场景覆盖度和检测效果。当算法迁移至新场景下时，往往需要获得新场景下的图像作为训练样本，再对检测模型进行迁移学习，以保证新场景下的适配能力。相关技术通过重新采集新场景下的图像的方式获得训练样本，从而导致获取样本图像的成本高。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、设备及存储介质，用于降低获取样本图像的成本。
[0004]一方面，本申请实施例提供了一种图像处理方法，该方法包括：
[0005]获取场景图像以及待处理图像，所述待处理图像包括目标对象；
[0006]提取所述场景图像的目标场景特征，以及提取所述目标对象的目标对象特征；
[0007]将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，所述目标场景迁移图像为所述目标对象在所述场景图像表征的场景下的图像。
[0008]一方面，本申请实施例提供了一种数据处理装置，该装置包括：
[0009]获取模块，用于获取场景图像以及待处理图像，所述待处理图像包括目标对象；
[0010]特征提取模块，用于提取所述场景图像的目标场景特征，以及提取所述目标对象的目标对象特征；
[0011]融合模块，用于将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，所述目标场景迁移图像为所述目标对象在所述场景图像表征的场景下的图像。
[0012]可选地，所述融合模块具体用于：
[0013]通过目标样本增强网络中的生成对抗网络，将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，所述目标样本增强网络是基于训练样本对初始化的样本增强网络进行多次迭代训练获得的。
[0014]可选地，所述特征提取模块具体用于：
[0015]通过所述目标样本增强网络中的特征提取网络，提取所述场景图像的图像表征向量，以及提取所述待处理图像的图像表征向量；
[0016]通过所述生成对抗网络，从所述场景图像的图像表征向量中，提取所述场景图像的目标场景特征，以及从所述待处理图像的图像表征向量中，提取所述目标对象的目标对象特征。
[0017]可选地，还包括第一模型训练模块；
[0018]所述目标样本增强网络包括特征提取网络和生成对抗网络，所述第一模型训练模块具体用于：
[0019]通过所述特征提取网络，提取第一样本图像的第一图像表征向量和第二样本图像的第二图像表征向量；
[0020]通过所述生成对抗网络，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一个预测场景迁移图像，并分别确定所述至少一个预测场景迁移图像为真实图像的概率值；
[0021]基于所述生成对抗网络输出的各个概率值，分别对所述特征提取网络和所述生成对抗网络进行参数调整。
[0022]可选地，所述特征提取网络包括编码器和编码增强器；
[0023]所述第一模型训练模块具体用于：
[0024]通过所述编码器，将所述第一样本图像转化为第一特征图，以及将所述第二样本图像转化为第二特征图；
[0025]通过所述编码增强器，调整所述第一特征图在通道维度的权重，获得所述第一图像表征向量，以及调整所述第二特征图在通道维度的权重，获得所述第二图像表征向量。
[0026]可选地，所述生成对抗网络包括生成器和判别器；
[0027]所述第一模型训练模块具体用于：
[0028]通过所述生成器，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一预测个场景迁移图像；
[0029]通过所述判别器，分别确定所述至少一个预测场景迁移图像为真实图像的概率值。
[0030]可选地，所述生成器包括第一子生成器和第二子生成器，所述至少一个预测场景迁移图像包括第一预测场景迁移图像和第二预测场景迁移图像；
[0031]所述第一模型训练模块具体用于：
[0032]通过所述第一子生成器，从所述第一图像表征向量中，提取所述第一样本图像包含的第一对象的第一对象特征，以及从所述第二图像表征向量中，提取所述第二样本图像的第二场景特征，并将所述第一对象特征和所述第二场景特征进行融合，获得所述第一预测场景迁移图像；
[0033]通过所述第二子生成器，从所述第一样本图像的图像表征向量中，提取所述第一样本图像的第一场景特征，以及从所述第二样本图像的图像表征向量中，提取所述第二样本图像包含的第二对象的第二对象特征，并将所述第一场景特征和所述第二对象特征进行融合，确定所述第二预测场景迁移图像。
[0034]可选地，所述判别器包括第一子判别器和第二子判别器；
[0035]所述第一模型训练模块具体用于：
[0036]通过所述第一子判别器，确定所述第一场景迁移预测图像为真实图像的第一概率值；
[0037]通过所述第二子判别器，确定所述第二场景迁移预测图像为真实图像的第二概率值。
[0038]可选地，所述第一模型训练模块还用于：
[0039]通过所述第一子生成器，将所述第一对象特征和所述第一场景特征进行融合，获得第一重构图像；
[0040]通过所述第二子生成器，将所述第二对象特征和所述第二场景特征进行融合，获得第二重构图像；
[0041]通过所述第一判别器，获得所述第一重构图像为真实图像的第三概率值；
[0042]通过所述第二判别器，获得所述第二重构图像为真实图像的第四概率值。
[0043]可选地，所述融合模块具体用于：
[0044]通过所述第一子生成器或所述第二子生成器，将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像。
[0045]可选地，还包括第二模型训练模块；
[0046]所述目标对象包括自动驾驶环境中的目标障碍物，所述待处理图像为所述目标对象在白天场景下的图像，所述目标场景迁移图像为所述目标对象在夜晚场景下的图像；
[0047]所述第二模型训练模块具体用于：
[0048]将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像之后，将所述目标障碍物在所述待处理图像中的第一标注信息，作为所述目标障碍物在所述目标场景迁移图像中的第二标注信息；
[0049]通过所述待处理图像、所述第一标注信息、所述目标场景迁移图像和所述第二标注信息，训练自动驾驶环境中的障碍检测模型。
[0050]一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法的步骤。
[0051]一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取场景图像以及待处理图像，所述待处理图像包括目标对象；提取所述场景图像的目标场景特征，以及提取所述目标对象的目标对象特征；将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，所述目标场景迁移图像为所述目标对象在所述场景图像表征的场景下的图像。2.如权利要求1所述的方法，其特征在于，所述将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，包括：通过目标样本增强网络中的生成对抗网络，将所述目标场景特征与所述目标对象特征进行融合，获得目标场景迁移图像，所述目标样本增强网络是基于训练样本对初始化的样本增强网络进行多次迭代训练获得的。3.如权利要求2所述的方法，其特征在于，所述提取所述场景图像的目标场景特征，以及提取所述目标对象的目标对象特征，包括：通过所述目标样本增强网络中的特征提取网络，提取所述场景图像的图像表征向量，以及提取所述待处理图像的图像表征向量；通过所述生成对抗网络，从所述场景图像的图像表征向量中，提取所述场景图像的目标场景特征，以及从所述待处理图像的图像表征向量中，提取所述目标对象的目标对象特征。4.如权利要求2所述的方法，其特征在于，所述目标样本增强网络包括特征提取网络和生成对抗网络，所述目标样本增强网络是采用以下方式训练的：在每次迭代过程中，包括：通过所述特征提取网络，提取第一样本图像的第一图像表征向量和第二样本图像的第二图像表征向量；通过所述生成对抗网络，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一个预测场景迁移图像，并分别确定所述至少一个预测场景迁移图像为真实图像的概率值；基于所述生成对抗网络输出的各个概率值，分别对所述特征提取网络和所述生成对抗网络进行参数调整。5.如权利要求4所述的方法，其特征在于，所述特征提取网络包括编码器和编码增强器；所述通过所述特征提取网络，提取第一样本图像的第一图像表征向量和第二样本图像的第二图像表征向量，包括：通过所述编码器，将所述第一样本图像转化为第一特征图，以及将所述第二样本图像转化为第二特征图；通过所述编码增强器，调整所述第一特征图在通道维度的权重，获得所述第一图像表征向量，以及调整所述第二特征图在通道维度的权重，获得所述第二图像表征向量。6.如权利要求4所述的方法，其特征在于，所述生成对抗网络包括生成器和判别器；所述通过生成对抗网络，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一个预测场景迁移图像，并分别确定所述至少一个预测场景迁移图像为真实图像的概率值，包括：
通过所述生成器，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一预测个场景迁移图像；通过所述判别器，分别确定所述至少一个预测场景迁移图像为真实图像的概率值。7.如权利要求6所述的方法，其特征在于，所述生成器包括第一子生成器和第二子生成器，所述至少一个预测场景迁移图像包括第一预测场景迁移图像和第二预测场景迁移图像；所述通过所述生成器，基于所述第一图像表征向量和所述第二图像表征向量，生成至少一个预测场景迁移图像，包括：通过所述第一子生成器，从所述第...

【专利技术属性】
技术研发人员：刘畅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：