图像扩展方法及装置制造方法及图纸

本申请实施例涉及图像技术领域，提供了一种图像扩展方法及装置，所述方法包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据为通过对所述训练样本中的周边区域进行标注生成；将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。本申请实施例实现将用于图像修复的WGAN模型应用于图像扩展中，计算速度快，可以将待扩展图像扩展至任意大小，而且扩展的边界圆滑自然。

【技术实现步骤摘要】
图像扩展方法及装置
本申请涉及图像处理
，尤其涉及一种图像扩展方法及装置。
技术介绍
图像扩展技术在很多领域具备潜在的应用价值。例如将长宽比不一致的艺术画填补至统一的长宽比以适应固定大小的画集；又或者在虚拟现实(VirtualReality，VR)中经常需要模拟不同的摄像机并填补超出原图的内容。现有的图像扩展方法分为传统算法和基于深度学习的生成对抗网络模型。其中，传统算法先找到与原图边缘相似的图片，然后使用裁切及缝合算法将它们拼接起来。基于深度学习的生成对抗网络直接对原图缺失的部分进行修复。传统算法只能从有限的数据集中找出合适的图像进行缝合，运算缓慢，且无法处理风格不一致的图像。而基于深度学习的生成对抗网络用于修复有随机噪点或缺损的原图，不能将原图扩展至任意所需大小。
技术实现思路
本申请提供一种图像扩展方法及装置，以实现使用条件生成对抗网络补全图像需要扩展的部分，计算速度快，可将原图扩展至任意大小。本申请提供一种图像扩展方法，包括：对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩本文档来自技高网...

【技术保护点】
1.一种图像扩展方法，其特征在于，包括：/n对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；/n使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据通过对所述训练样本中的周边区域进行掩膜生成；/n将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。/n

【技术特征摘要】
1.一种图像扩展方法，其特征在于，包括：
对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据；
使用训练样本和所述训练样本的标注图像数据输入进WGAN模型进行训练，得到训练好的WGAN模型；其中，所述标注图像数据通过对所述训练样本中的周边区域进行掩膜生成；
将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据。


2.根据权利要求1所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
截取所述待扩展图像数据的部分区域；
将截取的所述部分区域上采样或下采样至预设尺寸；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据。


3.根据权利要求2所述的图像扩展方法，其特征在于，所述根据所述第一扩展图像数据和所述待扩展图像数据中未截取的区域，获取第二扩展图像数据，包括：
将所述第一扩展图像数据输入ESRGAN模型中，输出还原图像数据；
其中，所述还原图像数据的尺寸等于截取的所述部分区域与所述待扩展区域的尺寸之和，所述还原图像数据的分辨率等于所述待扩展图像数据的分辨率；
将所述还原图像数据与所述待扩展图像数据中未截取的区域进行拼接，获取第二扩展图像数据。


4.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述待扩展区域在所述待扩展图像数据中的位置与所述训练样本所被标注处理的位置相同；
所述训练样本的风格与所述待扩展图像数据的风格相同；
所述标注图像数据的标注比例与所述标注后的待扩展图像数据的标注比例相同。


5.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，得到标注后的待扩展图像数据，之前还包括：
若所述待扩展区域位于所述待扩展图像数据的一侧，且与所述训练样本所被标注处理的位置相反，则将所述待扩展图像数据进行镜像翻转；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取第三扩展图像数据。


6.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述对待扩展图像数据周边的待扩展区域标注，包括：若所述待扩展区域位于所述待扩展图像数据的两侧，且其中一侧与所述训练样本所被标注处理的位置相同，则对所述其中一侧的待扩展区域标注；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之后还包括：
将所述第一扩展图像数据进行镜像翻转，获取翻转图像数据；
对所述翻转图像数据一侧的待扩展区域标注，获取标注后的翻转图像数据；
其中，所述待扩展区域位于所述翻转图像数据的一侧和所述训练样本所被标注处理的位置相同；
将所述标注后的翻转图像数据输入所述训练好的WGAN模型中，输出第四扩展图像数据；
将所述第四扩展图像数据进行镜像翻转，获取第五扩展图像数据。


7.根据权利要求1-3任一所述的图像扩展方法，其特征在于，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，之前还包括：
对所述训练样本中的周边区域分别进行多种标注比例的标注，生成所述标注图像数据；
分别使用每种标注比例的所述标注图像数据对所述WGAN模型进行训练，获取每种标注比例对应的训练好的WGAN模型；
相应地，所述将所述标注后的待扩展图像数据输入所述训练好的WGAN模型中，输出第一扩展图像数据，包括：
计算所述待扩展区域在所述标注后的待扩展图像数据中的占比；
根据所述占比和所述标注比例，选择所述标注比例对应的训练好的WGAN模型；
将所述标注后的待扩展图像数据输入选择的训练好的WGAN模型，输出第一扩展图像数据。


8.一种图像扩展装置，其特征在于，包括：

【专利技术属性】
技术研发人员：陈海波，李亦超，
申请(专利权)人：深兰工业智能创新研究院宁波有限公司，
类型：发明
国别省市：浙江;33