一种影像样本生成方法、装置、介质及计算设备制造方法及图纸

本发明专利技术公开一种影像样本生成方法、装置、介质及计算设备，其中该方法包括：获取包含目标的至少一张第一真实影像，以及关于所述目标的至少一张三维渲染图；基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景；提取所述融合影像的风格为目标风格；将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本。本发明专利技术基于目标真实影像样本获取关于目标的背景纯净的融合样本，然后从背景纯净的融合样本中提取目标的风格，故而就可以基于提取到的目标风格，将关于目标的三维渲染图转换成和目标风格相同的影像样本。像样本。像样本。

【技术实现步骤摘要】
一种影像样本生成方法、装置、介质及计算设备


[0001]本专利技术涉及深度学习领域，特别涉及一种影像样本生成方法、装置、介质及计算设备。

技术介绍

[0002]在机器学习中，需要提供大量目标影像样本供机器学习，在某一些领域比较容易获取供机器学习的目标影像样本，但是对于一些难以取得目标影像样本，或目标影像样本较少的领域来，比如利用卫星拍摄的某些目标影像样本(如舰船、飞机等)，由于卫星受限于卫星轨道、昼夜变化、气象条件等因素，因此直接通过卫星拍摄获取的目标影像样本存在数量上的限制，故而也就无法提供大量的目标影像样本供机器学习，基于此，目前可以采用风格迁移模型，来生成所需要的目标影像样本，但对于一些背景较为复杂的目标来说，复杂的真实样本，风格迁移模型生成的效果不够理想，背景信息会干扰目标主体及整幅图像的生成质量。

技术实现思路

[0003]本专利技术的主要目的是提出一种影像样本生成方法、装置、介质及计算设备，旨在解决
技术介绍
中所提到的问题。
[0004]为实现上述目的，本专利技术提出一种影像样本生成方法，包括：
[0005]获取包含目标的至少一张第一真实影像，以及关于所述目标的至少一张三维渲染图；
[0006]基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景；
[0007]提取所述融合影像的风格为目标风格；
[0008]将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本。
[0009]在一实施例中，基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景，包括：
[0010]从所述第一真实影像中提取目标样本和局部背景样本；
[0011]以所述局部背景样本为背景与所述目标样本融合，生成所述融合影像。
[0012]在一实施例中，基于所述第一真实影像背景的均一性提取所述局部背景本。
[0013]在一实施例中，以所述局部背景样本为背景与所述目标样本融合，生成所述融合影像，包括：
[0014]扩展所述局部背景样本至能够容纳所述目标样本；
[0015]将所述目标样本与扩展后的局部背景样本融合成所述融合影像。
[0016]在一实施例中，通过风格迁移模型提取所述融合影像的风格为目标风格；以及将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本，包括：
[0017]采用所述融合影像以及关于所述目标的三维渲染图对所述风格迁移模型进行训
练，在训练过程中对抗生成同时具有所述融合影像的风格以及所述三维渲染图的内容的新影像样本。
[0018]在一实施例中，将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本的步骤之后，所述方法还包括：
[0019]利用训练后的所述风格迁移模型，将关于所述目标的其他三维渲染图转换成与所述目标风格一致的新影像样本。
[0020]在一实施例中，关于所述目标的三维渲染图可以通过以下方式获取：
[0021]基于所述目标进行三维建模，得到相应的三维渲染图。
[0022]在一实施例中，将关于所述目标的其
[0023]他三维渲染图转换成与所述目标风格一致的新影像样本后还包括：
[0024]获取不含所述目标的第二真实影像，以所述第二真实影像为背景，替换所述新影像样本的背景，所述第二真实影像为所述目标区域附近的真实影像，且与所转换的三维渲染图具有相同的光照强度。
[0025]在一实施例中，以所述第二真实影像为背景，替换所述新影像样本的背景，包括：
[0026]获取所述新影像样本的目标部分；
[0027]以所述第二真实影像为背景与所述目标部分融合。
[0028]在一实施例中，获取所述新影像样本的目标部分，包括：
[0029]将所述新影像样本进行掩膜，去除背景，得到所述目标部分。
[0030]在一实施例中，所述至少一张第一真实影像与所述至少一张三维渲染图一一对应，且所述三维渲染图与对应的第一真实影像中的目标的图像状态一致，所述图像状态一致至少包括拍摄角度相同和/或拍摄光照条件相同。
[0031]本专利技术还提出一种影像样本生成装置，包括：
[0032]获取模块，用于获取包含目标的至少一张第一真实影像，以及关于所述目标的至少一张三维渲染图；
[0033]融合模块，用于基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景；
[0034]迁移模块，用于提取所述融合影像的风格为目标风格，以及
[0035]将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本。
[0036]在一实施例中，所述融合模块被配置为：
[0037]从所述第一真实影像中提取目标样本和局部背景样本；
[0038]以所述局部背景样本为背景与所述目标样本融合，生成所述融合影像。
[0039]在一实施例中，所述融合模块还被配置为：
[0040]基于所述第一真实影像背景的均一性提取所述局部背景本。
[0041]在一实施例中，所述融合模块还被配置为：
[0042]扩展所述局部背景样本至能够容纳所述目标样本；
[0043]将所述目标样本与扩展后的局部背景样本融合成所述融合影像。
[0044]在一实施例中，所述迁移模块被配置：
[0045]提供风格迁移模型，并基于所述融合影像以及关于所述目标的三维渲染图对所述风格迁移模型进行训练，以使所述风格迁移模型在训练过程中对抗生成同时具有所述融合
影像的风格以及所述三维渲染图的内容的新影像样本。
[0046]在一实施例中，所述迁移模块还被配置为：
[0047]基于训练后的风格迁移模型，将关于所述目标的其他三维渲染图转换成与所述目标风格一致的新影像样本。
[0048]在一实施例中，关于所述目标的三维渲染图可以通过以下方式获取：
[0049]基于所述目标进行三维建模，得到相应的三维渲染图。
[0050]在一实施例中，所述获取模块还用于获取不含所述目标的第二真实影像，所述第二真实影像为所述目标区域附近的真实影像，且与所转换的三维渲染图具有相同的光照强度；
[0051]所述装置还包括切换模块，用于以所述第二真实影像为背景，替换所述新影像样本的背景。
[0052]在一实施例中，所述切换模块被配置为：
[0053]获取所述新影像样本的目标部分；
[0054]以所述第二真实影像为背景与所述目标部分融合。
[0055]在一实施例中，所述切换模块还被配置为：
[0056]将所述新影像样本进行掩膜，去除背景，得到所述目标部分。
[0057]在一实施例中，所述获取模块还被配置为：
[0058]获取一一对应的至少一张所述第一真实影像及至少一张所述三维渲染图，且所述三维渲染图与对应的第一真实影像中目标的图像状态一致，所述图像状态一致至少包括拍摄角度相同和/或拍摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种影像样本生成方法，包括：获取包含目标的至少一张第一真实影像，以及关于所述目标的至少一张三维渲染图；基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景；提取所述融合影像的风格为目标风格；将关于所述目标的三维渲染图转换成与所述目标风格一致的新影像样本。2.如权利要求1所述的影像样本生成方法，其中，基于所述第一真实影像生成关于所述目标的融合影像，所述融合影像具有纯净背景，包括：从所述第一真实影像中提取目标样本和局部背景样本；以所述局部背景样本为背景与所述目标样本融合，生成所述融合影像。3.如权利要求2所述的影像样本生成方法，其中，基于所述第一真实影像背景的均一性提取所述局部背景本。4.如权利要求2所述的影像样本生成方法，其中，以所述局部背景样本为背景与所述目标样本融合，生成所述融合影像，包括：扩展所述局部背景样本至能够容纳所述目标样本；将所述目标样本与扩展后的局部背景样本融合成所述融合影像。5.一种影像样本生成装置，其特征在于，包括：获取模块，用于获取包含目标的至少一张第一真实影像，以及关于所述目标的至少一张三维渲染图；融合模块，用于基于所述第一真实...

【专利技术属性】
技术研发人员：冀锐，刘宝剑，万玮，马磊，肖蕾，王存光，张靖，宋鹏汉，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：