一种基于像素最近邻的图像合成方法技术

本发明专利技术中提出的一种基于像素最近邻的图像合成方法，其主要内容包括：卷积神经网络(CNNs)的合成、像素对应和像素最近邻：一对多映射，其过程为，训练一个初始回归器—卷积神经网络(CNN)，将不完整的输入映射到单个输出图像，然后对来自这个回归输出的像素执行最近邻查询，接着使用捕捉适当的上下文级别的多尺度深度描述符来匹配像素，高效地匹配指数的训练样例，最后从训练集合到合成输出，生成密集的像素级对应。本发明专利技术能够自然地生成多个输出，同时可以解释并服从用户的约束，使得图像搜索和匹配速度更快，合成的图像更接近于原始图像。

【技术实现步骤摘要】
一种基于像素最近邻的图像合成方法
本专利技术涉及图像合成领域，尤其是涉及了一种基于像素最近邻的图像合成方法。
技术介绍
随着数码产品在人们生活中的普及，数字图片成为了越来越重要的信息载体。有些从自然场景中产生的数字图片不能够满足人们的主观审美要求，或者是为了娱乐等原因，人们希望能够任意地改变图片中的某些内容，人为地合成一些新的逼真图片。图像合成技术可以应用在虚拟动画场景、移动设备的图像编辑、人类微动作和微表情的研究以及动画教学等领域；同时可以结合图像编辑等技术，实现用户在网络购物时自主编辑所需衣物，从而更容易搜索到用户满意的目标商品；还可以通过图像合成提前预知环境的相关情况，从而对海上交通管理、捕鱼等海上作业以及海上军事演习等提供便利。然而，由于模式问题而不能产生大量不同的输出，同时也难以控制合成输出；而且在实际中缺乏训练数据和明显的距离度量，也难以将搜索扩展到大型训练集中。本专利技术提出了一种基于像素最近邻的图像合成方法，先训练一个初始回归器—卷积神经网络(CNN)，将不完整的输入映射到单个输出图像，然后对来自这个回归输出的像素执行最近邻查询，接着使用捕捉适当的上下文级别的多尺度深本文档来自技高网...

【技术保护点】
一种基于像素最近邻的图像合成方法，其特征在于，主要包括卷积神经网络(CNNs)的合成(一)；像素对应(二)；像素最近邻：一对多映射(三)。

【技术特征摘要】
1.一种基于像素最近邻的图像合成方法，其特征在于，主要包括卷积神经网络(CNNs)的合成(一)；像素对应(二)；像素最近邻：一对多映射(三)。2.基于权利要求书1所述的图像合成方法，其特征在于，首先训练一个初始回归器—卷积神经网络(CNN)，将不完整的输入映射到单个输出图像；这个输出图像受到限制，是一个单一的输出；然后对来自回归输出的像素执行最近邻查询；使用捕捉适当的上下文级别的多尺度深度描述符来匹配像素(来自训练数据的回归输出)；高效地匹配指数的训练样例，最后从训练集合到合成输出，生成密集的像素级对应。3.基于权利要求书1所述的卷积神经网络(CNNs)的合成(一)，其特征在于，CNNs应用在分割、深度学习和表面法线估计、语义边界检测等；这些网络通常使用图像标签数据对上的标准损失(例如softmax或l2回归)进行训练；然而，这样的网络通常不能很好地处理来自(不完整)标签的图像合成的逆问题；一个主要的创新是引入了对抗训练的生成网络(GAN)；这个表达式在计算机视觉中具有很大的影响力，已经应用于各种图像生成任务，对低分辨率图像、分割蒙版、表面法线图和其他输入进行处理。4.基于权利要求书1所述的像素对应(二)，其特征在于，像素方向最近邻的一个重要结果是在合成输出和训练样例之间生成像素对应；建立了查询和训练图像像素之间的语义对应关系，能够从训练样本中提取高频信息，从一个给定的输入中合成一个新的图像。5.基于权利要求书1所述的像素最近邻：一对多映射(三)，其特征在于，将条件图像合成的问题定义如下：给定输入x的条件(例如边缘图、正常深度图或低分辨率图像)，合成高质量的输出图像；假设输入/输出的训练对，记为(xn,yn)；最简单的方法就是把这个任务作为一个(非线性)回归问题：其中，f(xn；ω)指的是用ω参数化的任意(可能是非线性的)回归器的输出；在公式中使用全卷积神经网络，特别是像素网络作为非线性回归器；像素最近邻包括频率分析、示例匹配、成分匹配、像素表示法和有效搜索。6.基于权利要求书5所述的频率分析，其特征在于，预测输出f(x)在超分辨率...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44