图像处理、神经网络生成、样本图像的生成方法及装置制造方法及图纸

本公开提供了一种图像处理、神经网络生成、样本图像的生成方法及装置、电子设备及存储介质，其中，该图像处理方法包括：获取待处理图像；利用预先训练好的目标神经网络，对所述待处理图像进行目标检测处理，得到对所述待处理图像的目标检测结果；所述目标神经网络是利用第一样本图像、以及对所述第一样本图像进行风格迁移处理后得到的第二样本图像对原始神经网络进行迭代训练，以使得到的所述目标神经网络为所述第一样本图像提取的第一特征数据、和为所述第二样本图像提取的第二特征数据满足预设的相似度条件。足预设的相似度条件。足预设的相似度条件。

【技术实现步骤摘要】
图像处理、神经网络生成、样本图像的生成方法及装置


[0001]本公开涉及深度学习
，具体而言，涉及一种图像处理、神经网络生成、样本图像的生成方法及装置、电子设备及存储介质。

技术介绍

[0002]随着深度神经网络的发展，目标检测技术在安防、自动驾驶和互娱等领域都有了广泛的应用；为了获得高检测精度的神经网络模型，需要大量的具有标注信息的样本数据对神经网络进行训练。而海量数据的标注速度慢，标注价格高，一些特殊场景的数据稀缺造成无法大量采集，部分数据采集会违反隐私保护条例等原因，导致了样本数据获取困难。因此，利用虚拟和合成数据来训练模型成为计算机视觉领域的发展趋势。但通过虚拟合成技术得到的数据和真实数据之间存在一定的差异，利用该种数据生成的神经网络造成了神经网络在对真实数据进行处理时效果较差的问题。

技术实现思路

[0003]本公开实施例至少提供一种图像处理、神经网络生成、样本图像的生成方法及装置、电子设备及存储介质。
[0004]第一方面，本公开实施例提供了一种图像处理方法，其特征在于，包括：
[0005]获取待处理图像；
[0006]利用预先训练好的目标神经网络，对所述待处理图像进行目标检测处理，得到对所述待处理图像的目标检测结果；所述目标神经网络是利用第一样本图像、以及对所述第一样本图像进行风格迁移处理后得到的第二样本图像对原始神经网络进行迭代训练，以使得到的所述目标神经网络为所述第一样本图像提取的第一特征数据、和为所述第二样本图像提取的第二特征数据满足预设的相似度条件。
[0007]一种可选的实施方式中，对所述待训练神经网络执行至少一个迭代周期的训练，得到所述目标神经网络，并在每个迭代周期中，执行下述过程：
[0008]获取所述第一样本图像、和对所述第一样本图像进行风格迁移处理后得到的所述第二样本图像；
[0009]利用当前迭代周期对应的待训练的神经网络，对所述第一样本图像和所述第二样本图像分别进行特征提取，分别得到所述第一特征数据和所述第二特征数据；所述当前迭代周期对应的待训练的神经网络包括：所述原始神经网络、或者所述当前迭代周期对应的前一迭代周期的已训练神经网络；
[0010]基于所述第一特征数据和所述第二特征数据，确定第一损失；其中，所述第一损失用于描述所述第一特征数据和所述第二特征数据之间的相似度；
[0011]基于所述第一损失以及所述相似度条件，对所述当前迭代周期对应的待训练的神经网络进行训练，得到当前迭代周期对应的已训练神经网络；
[0012]基于最后一个迭代周期得到的待训练神经网络，得到所述目标神经网络。
[0013]一种可选的实施方式中，所述获取所述第一样本图像，包括：
[0014]对现实目标场景进行三维建模，得到场景三维模型；
[0015]将目标对象的三维模型添加至所述场景三维模型，得到目标场景三维模型；
[0016]基于所述目标场景三维模型获得包括所述目标对象的所述第一样本图像。
[0017]一种可选的实施方式中，所述将目标对象的三维模型添加至所述场景三维模型，得到目标场景三维模型，包括：
[0018]确定所述目标对象在所述场景三维模型中部署信息；所述部署信息包括下述至少一种：所述目标对象的三维模型在所述场景三维模型中的尺寸、长宽比、分布位置、数量以及摆放密度；
[0019]基于所述部署信息，将所述目标对象的三维模型添加至所述场景三维模型中，得到所述目标场景三维模型。
[0020]一种可选的实施方式中，所述基于所述目标场景三维模型获得包括所述目标对象的所述第一样本图像，包括：
[0021]控制所述目标对象的三维模型按照预设移动轨迹在所述目标场景三维模型对应的模型坐标系中移动，和/或，基于虚拟摄像机在所述目标场景三维模型中的不同位姿，得到备选图像；
[0022]基于所述备选图像，生成所述第一样本图像。
[0023]一种可选的实施方式中，所述基于所述备选图像，生成所述第一样本图像，包括：
[0024]确定所述备选图像中的各个目标对象是否满足预设的遮挡条件；
[0025]响应于所述备选图像中的各个目标对象满足预设的遮挡条件，将所述备选图像确定为所述第一样本图像。
[0026]一种可选的实施方式中，所述基于所述备选图像，生成所述第一样本图像，包括：
[0027]为所述备选图像添加随机色块、和/或添加非目标对象，得到所述第一样本图像。
[0028]一种可选的实施方式中，所述基于所述备选图像，生成所述第一样本图像，包括：
[0029]利用所述备选图像训练生成辅助目标检测模型；
[0030]以及，对所述备选图像中的第一备选图像施加随机干扰，得到干扰图像；
[0031]利用所述辅助目标检测模型对所述干扰图像进行目标检测处理，得到所述干扰图像的目标检测结果；
[0032]响应于所述干扰图像的目标检测结果的准确度满足预设的准确度条件，记录所述干扰图像的干扰信息；
[0033]基于所述干扰信息、和所述备选图像中的第二备选图像，生成所述第一样本图像，和/或，将准确度满足所述准确度条件的干扰图像作为所述第一样本图像。
[0034]一种可选的实施方式中，获取对所述第一样本图像进行风格迁移处理后得到的所述第二样本图像，包括：
[0035]随机从多个备选的风格迁移类型中，确定目标风格迁移类型；
[0036]基于与所述目标风格迁移类型对应的风格迁移网络，对所述第一样本图像进行风格迁移处理，得到所述第二样本图像。
[0037]一种可选的实施方式中，所述当前迭代周期对应的待训练的神经网络包括：待训练的特征提取子网络；
[0038]所述利用当前迭代周期对应的待训练的神经网络，对所述第一样本图像和所述第二样本图像分别进行特征提取，分别得到所述第一特征数据和所述第二特征数据，包括：
[0039]利用所述当前迭代周期对应的待训练的特征提取子网络，对所述第一样本图像进行特征提取，得到所述当前迭代周期对应的待训练的特征提取子网络的多个目标网络层分别输出的第一特征图；多个所述目标网络层分别输出的所述第一特征图构成所述第一特征数据；
[0040]以及
[0041]利用所述当前迭代周期对应的待训练的特征提取子网络，对所述第二样本图像进行特征提取，得到多个所述目标网络层分别输出的第二特征图；多个所述目标网络层分别输出的所述第二特征图构成所述第二特征数据。
[0042]一种可选的实施方式中，所述基于所述第一特征数据和所述第二特征数据，确定第一损失，包括：
[0043]基于所述第一特征数据和所述第二特征数据，确定特征距离；所述特征距离用于描述所述第一特征数据和所述第二特征数据之间的第一特征距离、和/或不同第二特征数据之间的第二特征距离；
[0044]基于所述特征距离，确定所述第一损失。
[0045]一种可选的实施方式中，所述基于所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；利用预先训练好的目标神经网络，对所述待处理图像进行目标检测处理，得到对所述待处理图像的目标检测结果；所述目标神经网络是利用第一样本图像、以及对所述第一样本图像进行风格迁移处理后得到的第二样本图像对原始神经网络进行迭代训练，以使得到的所述目标神经网络为所述第一样本图像提取的第一特征数据、和为所述第二样本图像提取的第二特征数据满足预设的相似度条件。2.根据权利要求1所述的方法，其特征在于，对所述待训练神经网络执行至少一个迭代周期的训练，得到所述目标神经网络，并在每个迭代周期中，执行下述过程：获取所述第一样本图像、和对所述第一样本图像进行风格迁移处理后得到的所述第二样本图像；利用当前迭代周期对应的待训练的神经网络，对所述第一样本图像和所述第二样本图像分别进行特征提取，分别得到所述第一特征数据和所述第二特征数据；所述当前迭代周期对应的待训练的神经网络包括：所述原始神经网络、或者所述当前迭代周期对应的前一迭代周期的已训练神经网络；基于所述第一特征数据和所述第二特征数据，确定第一损失；其中，所述第一损失用于描述所述第一特征数据和所述第二特征数据之间的相似度；基于所述第一损失以及所述相似度条件，对所述当前迭代周期对应的待训练的神经网络进行训练，得到当前迭代周期对应的已训练神经网络；基于最后一个迭代周期得到的待训练神经网络，得到所述目标神经网络。3.根据权利要求2所述的方法，其特征在于，所述获取所述第一样本图像，包括：对现实目标场景进行三维建模，得到场景三维模型；将目标对象的三维模型添加至所述场景三维模型，得到目标场景三维模型；基于所述目标场景三维模型获得包括所述目标对象的所述第一样本图像。4.根据权利要求3所述的方法，其特征在于，所述将目标对象的三维模型添加至所述场景三维模型，得到目标场景三维模型，包括：确定所述目标对象在所述场景三维模型中部署信息；所述部署信息包括下述至少一种：所述目标对象的三维模型在所述场景三维模型中的尺寸、长宽比、分布位置、数量以及摆放密度；基于所述部署信息，将所述目标对象的三维模型添加至所述场景三维模型中，得到所述目标场景三维模型。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述目标场景三维模型获得包括所述目标对象的所述第一样本图像，包括：控制所述目标对象的三维模型按照预设移动轨迹在所述目标场景三维模型对应的模型坐标系中移动，和/或，基于虚拟摄像机在所述目标场景三维模型中的不同位姿，得到备选图像；基于所述备选图像，生成所述第一样本图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述备选图像，生成所述第一样本图像，包括：
确定所述备选图像中的各个目标对象是否满足预设的遮挡条件；响应于所述备选图像中的各个目标对象满足预设的遮挡条件，将所述备选图像确定为所述第一样本图像。7.根据权利要求5或6所述的方法，其特征在于，所述基于所述备选图像，生成所述第一样本图像，包括：为所述备选图像添加随机色块、和/或添加非目标对象，得到所述第一样本图像。8.根据权利要求5
‑
7任一项所述的方法，其特征在于，所述基于所述备选图像，生成所述第一样本图像，包括：利用所述备选图像训练生成辅助目标检测模型；以及，对所述备选图像中的第一备选图像施加随机干扰，得到干扰图像；利用所述辅助目标检测模型对所述干扰图像进行目标检测处理，得到所述干扰图像的目标检测结果；响应于所述干扰图像的目标检测结果的准确度满足预设的准确度条件，记录所述干扰图像的干扰信息；基于所述干扰信息、和所述备选图像中的第二备选图像，生成所述第一样本图像，和/或，将准确度满足所述准确度条件的干扰图像作为所述第一样本图像。9.根据权利要求2
‑
8任一项所述的方法，其特征在于，获取对所述第一样本图像进行风格迁移处理后得到的所述第二样本图像，包括：随机从多个备选的风格迁移类型中，确定目标风格迁移类型；基于与所述目标风格迁移类型对应的风格迁移网络，对所述第一样本图像进行风格迁移处理，得到所述第二样本图像。10.根据权利要求2
‑
9任一项所述的方法，其特征在于，所述当前迭代周期对应的待训练的神经网络包括：待训练的特征提取子网络；所述利用当前迭代周期对应的待训练的神经网络，对所述第一样本图像和所述第二样本图像分别进行特征提取，分别得到所述第一特征数据和所述第二特征数据，包括：利用所述当前迭代周期对应的待训练的特征提取子网络，对所述第一样本图像进行特征提取，得到所述当前迭代周期对应的待训练的特征提取子网络的多个目标网络层分别输出的第一特征图；多个所述目标网络层分别输出的所述第一特征图构成所述第一特征数据；以及利用所述当前迭代周期对应的待训练的特征提取子网络，对所述第二样本图像进行特征提取，得到多个所述目标网络层分别输出的第二特征图；多个所述目标网络层分别输出的所述第二特征图构成所述第二特征数据。11.根据权利要求10所述的方法，其特征在于，所述基于所述第一特征数据和所述第二特征数据，确定第一损失，包括：基于所述第一特征数据和所述第二特征数据，确定特征距离；所述特征距离用于描述所述第一特征数据和所述第二特征数据之间的第一特征距离、和/或不同第二特征数据之间的第二特征距离；基于所述特征距离，确定所述第一损失。
12.根据权利要求11所述的方法其特征在于，其特征在于，所述基于所述第一特征数据和所述第二特征数据，确定特征距离，包括：针对每个所述目标网络层，对每个所述目标网络层输出的所述第一特征图和所述第二特征图分别进行自适应平均池化，得到池化后的第一特征图、以及池化后的第二特征图；基于所述池化后的第一特征图和所述池化后的第二特征图，得到每个目标网络层对应的平均特征图；确定每个所述目标网络层对应的平均特征图和所述池化后的第一特征图之间的第一距离，并确定每个目标网络层对应的平均池化特征图和所述池化后的第二特征图之间的第二距离；基于所述第一距离以及所述第二距离，确定每个所述目标网络层对应的目标距离；基于多个所述网络层分别对应的目标距离，得到所述特征距离。13.根据权利要求2
‑
12任一项所述的方法，其特征在于，所述基于所述第一损失以及所述相似度条件，对所述当前迭代周期对应的待训练的神经网络进行训练，得到当前迭代周期对应的已训练神经网络，包括：确定所述第一损失是否满足所述相似度条件；响应于所述第一损失满足所述相似度条件，将当前迭代周期确定为最后一个迭代周期；响应于所述第一损失未满足所述相似度条件，则基于第一损失，对当前迭代周期对应的待训练的神经网络的网络内参进行调整，得到当前迭代周期对应的已训练的神经网络，并进入下一迭代周期。14.根据权利要求2
‑
...

【专利技术属性】
技术研发人员：关英妲，常蕙滢，汪旻，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：