图像生成方法和装置制造方法及图纸

本公开公开了一种图像生成方法和装置，涉及图像处理领域。该方法包括：根据目标的不同角度的一组图像，生成目标的三维全局网格；将一组图像中的任意一副图像作为参考视角图像；根据一组图像中除参考视角图像以外的每一幅图像相对于参考视角图像在三维全局网格上的投影，得到多幅目标的马赛克图像；以及将多幅目标的马赛克图像作为神经网络模型的训练样本，将参考视角图像作为训练样本的标注数据，对神经网络模型进行训练，以便根据训练好的神经网络模型预测目标在新视角的图像。本公开能够提高新视角图像的准确性，实现自由视点的逼真呈现。真呈现。真呈现。

【技术实现步骤摘要】
图像生成方法和装置


[0001]本公开涉及图像处理领域，尤其涉及一种图像生成方法和装置。

技术介绍

[0002]3d图像生成的核心，在于输入图像重投影融合成新视点图像。 融合过程是一个非常复杂过程，需要补偿几何形状的不准确性以及由 视图和图像相关效果引起的伪影。
[0003]现有装置针对特定场景，手工定制复杂启发式算法，通常无法提 供逼真的自由视点导航。

技术实现思路

[0004]本公开要解决的一个技术问题是，提供一种图像生成方法和装置， 能够提高新视角图像的准确性。
[0005]根据本公开一方面，提出一种图像生成方法，包括：根据目标的 不同角度的一组图像，生成目标的三维全局网格；将一组图像中的任 意一副图像作为参考视角图像；根据一组图像中除参考视角图像以外 的每一幅图像相对于参考视角图像在三维全局网格上的投影，得到多 幅目标的马赛克图像；以及将多幅目标的马赛克图像作为神经网络模 型的训练样本，将参考视角图像作为训练样本的标注数据，对神经网 络模型进行训练，以便根据训练好的神经网络模型预测目标在新视角 的图像。
[0006]在一些实施例中，在多幅马赛克图像中，选择优先级最高的n幅 马赛克图像，作为神经网络模型的训练样本，其中，n大于等于1，且 小于一组图像的个数减一。
[0007]在一些实施例中，将一组图像中除参考视角图像以外的每一幅图 像对应的相机的法线，与三维全局网格中每个子网格的法线的夹角的 余弦，作为每幅图像在每个子网格上的权重，其中，权重越高对应的 优先级越高；以及根据每幅图像在三维全局网格中每个子网格上投影， 按照权重由大到小的顺序，构成优先级最高的n幅马赛克图像。
[0008]在一些实施例中，对神经网络模型进行训练包括：将神经网络模 型的预测图像与参考视角图像的差值，与损失函数进行比较，通过反 复迭代，调整神经网络模型的参数，直到差值满足损失函数的要求。
[0009]在一些实施例中，根据神经网络模型的预测图像的像素剪裁结果， 对参考视角图像进行相应的像素剪裁。
[0010]根据本公开的另一方面，还提出一种图像生成装置，包括：三维 全局网格生成单元，被配置为根据目标的不同角度的一组图像，生成 目标的三维全局网格；马赛克图像生成单元，被配置为将一组图像中 的任意一副图像作为参考视角图像，根据一组图像中除参考视角图像 以外的每一幅图像相对于参考视角图像在三维全局网格上的投影，得 到多幅目标的马赛克图像；模型训练单元，被配置为将多幅目标的马 赛克图像作为神经网络模型的训练样本，将参考视角图像作为训练样 本的标注数据，对神经网络模型进行训练，以便根据训练好的神经网 络模型预测目标在新视角的图像。
[0011]在一些实施例中，模型训练单元还被配置为在多幅马赛克图像中， 选择优先级最高的n幅马赛克图像，作为神经网络模型的训练样本， 其中，n大于等于1，且小于一组图像的个数减一。
[0012]在一些实施例中，该图像生成装置还包括：权重计算单元，被配 置为将一组图像中除参考视角图像以外的每一幅图像对应的相机的法 线，与三维全局网格中每个子网格的法线的夹角的余弦，作为每幅图 像在每个子网格上的权重，其中，权重越高对应的优先级越高；以及 马赛克图像生成单元还被配置为根据每幅图像在三维全局网格中每个 子网格上投影，按照权重由大到小的顺序，构成优先级最高的n幅马 赛克图像。
[0013]根据本公开的另一方面，还提出一种图像生成装置，包括：存储 器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器 的指令执行如上述的图像生成方法。
[0014]根据本公开的另一方面，还提出一种计算机可读存储介质，其上 存储有计算机程序指令，该指令被处理器执行时实现上述的图像生成 方法。
[0015]本公开的实施例中，通过生成目标的三维全局网格以及马赛克图 像，进而利用马赛克图像与参考视角图像对神经网络模型进行训练， 利用训练好的神经网络模型，预测目标在新视角的图像，提高了新视 角图像的准确性，实现自由视点的逼真呈现。
[0016]通过以下参照附图对本公开的示例性实施例的详细描述，本公开 的其它特征及其优点将会变得清楚。
附图说明
[0017]构成说明书的一部分的附图描述了本公开的实施例，并且连同说 明书一起用于解释本公开的原理。
[0018]参照附图，根据下面的详细描述，可以更加清楚地理解本公开， 其中：
[0019]图1为本公开的图像生成方法的一些实施例的流程示意图。
[0020]图2为本公开的图像生成方法的另一些实施例的流程示意图。
[0021]图3为本公开的目标的三维全局网格示意图。
[0022]图4为本公开的不同区域马赛克生成示意图。
[0023]图5为本公开的高优先级马赛克生成示意图。
[0024]图6为本公开的神经网络模型训练示意图。
[0025]图7为本公开的神经网络模型训练示意图。
[0026]图8为本公开的图像生成装置的一些实施例的结构示意图。
[0027]图9为本公开的图像生成装置的另一些实施例的结构示意图。
具体实施方式
[0028]现在将参照附图来详细描述本公开的各种示例性实施例。应注意 到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相 对布置、数字表达式和数值不限制本公开的范围。
[0029]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺 寸并不是按照实际的比例关系绘制的。
[0030]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决 不作为对本公
开及其应用或使用的任何限制。
[0031]对于相关领域普通技术人员已知的技术、方法和设备可能不作详 细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说 明书的一部分。
[0032]在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是 示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具 有不同的值。
[0033]应注意到：相似的标号和字母在下面的附图中表示类似项，因此， 一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行 进一步讨论。
[0034]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具 体实施例，并参照附图，对本公开进一步详细说明。
[0035]图1为本公开的图像生成方法的一些实施例的流程示意图。
[0036]在步骤110，根据目标的不同角度的一组图像，生成目标的三维 全局网格。
[0037]在一些实施例中，在收集到一组图像后，通过相机的移动，来确 定目标的空间和几何关系，并通过多视角立体视觉，计算图像深度， 进而建立目标的三维全局网格。
[0038]在步骤120，将一组图像中的任意一副图像作为参考视角图像， 根据一组图像中除参考视角图像以外的每一幅图像相对于参考视角图 像在三维全局网格上的投影，得到多幅目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，包括：根据目标的不同角度的一组图像，生成所述目标的三维全局网格；将所述一组图像中的任意一副图像作为参考视角图像；根据所述一组图像中除所述参考视角图像以外的每一幅图像相对于所述参考视角图像在所述三维全局网格上的投影，得到多幅所述目标的马赛克图像；以及将多幅所述目标的马赛克图像作为神经网络模型的训练样本，将所述参考视角图像作为所述训练样本的标注数据，对所述神经网络模型进行训练，以便根据训练好的神经网络模型预测所述目标在新视角的图像。2.根据权利要求1所述的图像生成方法，其中，在多幅所述马赛克图像中，选择优先级最高的n幅马赛克图像，作为神经网络模型的训练样本，其中，n大于等于1，且小于所述一组图像的个数减一。3.根据权利要求2所述的图像生成方法，还包括：将所述一组图像中除所述参考视角图像以外的每一幅图像对应的相机的法线，与所述三维全局网格中每个子网格的法线的夹角的余弦，作为每幅图像在每个子网格上的权重，其中，权重越高对应的优先级越高；以及根据每幅图像在所述三维全局网格中每个子网格上投影，按照权重由大到小的顺序，构成优先级最高的n幅马赛克图像。4.根据权利要求1至3任一所述的图像生成方法，其中，对所述神经网络模型进行训练包括：将所述神经网络模型的预测图像与所述参考视角图像的差值，与损失函数进行比较，通过反复迭代，调整所述神经网络模型的参数，直到所述差值满足所述损失函数的要求。5.根据权利要求4所述的图像生成方法，其中，根据所述神经网络模型的预测图像的像素剪裁结果，对所述参考视角图像进行相应的像素剪裁。6.一种图像生成装置，包括：三维全局网格生成单元，...

【专利技术属性】
技术研发人员：章柏永，周佩雷，杨蕊，陈春锋，应黎航，
申请(专利权)人：浙江省公众信息产业有限公司，
类型：发明
国别省市：