神经网络训练和图像生成方法及装置制造方法及图纸

本公开涉及一种神经网络训练和图像生成方法及装置，所述方法包括：将样本场景的样本动态视觉信息输入第一重建网络进行处理，获得第一重建结果；将样本场景的样本色彩图像输入第二重建网络进行处理，获得第二重建结果；根据样本色彩图像、第一重建结果及第二重建结果，确定第一重建网络和第二重建网络的综合网络损失；根据综合网络损失，训练第一重建网络和所述第二重建网络。根据本公开的实施例的神经网络训练方法，可通过训练使得动态视觉信息对应的特征图与色彩图像对应的特征图更接近，还可使得第二重建网络输出的第二重建图像更接近真实的色彩图像，可提升与第二重建图像接近的第一重建图像的准确程度和逼真程度。近的第一重建图像的准确程度和逼真程度。近的第一重建图像的准确程度和逼真程度。

【技术实现步骤摘要】
神经网络训练和图像生成方法及装置


[0001]本公开涉及计算机
，尤其涉及一种神经网络训练和图像生成方法及装置。

技术介绍

[0002]在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在一定时间段内采集到的视频帧的数量有限，如果拍摄的目标对象速度较快，则在两个视频帧之间的时间间隔中，难以拍摄到目标对象，也难以确定目标对象的位姿，导致遗漏目标对象的动作或轨迹。

技术实现思路

[0003]本公开提出了一种神经网络训练和图像生成方法及装置。
[0004]根据本公开的一方面，提供了一种图像神经网络训练方法，包括：将样本场景的样本动态视觉信息输入第一重建网络进行处理，获得第一重建结果，所述第一重建结果包括多级第一特征图及第一重建图像；将所述样本场景的样本色彩图像输入第二重建网络进行处理，获得第二重建结果，所述第二重建结果包括多级第二特征图及第二重建图像，所述样本色彩图像与所述样本动态视觉信息的获取时刻相同；根据所述样本色彩图像、所述第一重建结果及所述第二重建结果，确定所述第一重建网络和所述第二重建网络的综合网络损失；根据所述综合网络损失，训练所述第一重建网络和所述第二重建网络，其中，所述第一重建网络用于根据动态视觉信息生成色彩图像，所述第二重建网络用于训练所述第一重建网络。
[0005]在一种可能的实现方式中，根据所述样本色彩图像、所述第一重建结果及所述第二重建结果，确定所述第一重建网络和所述第二重建网络的综合网络损失，包括：根据所述第一重建结果与所述第二重建结果，确定第一网络损失；根据所述第二重建图像与所述样本色彩图像，确定第二网络损失；根据所述第一网络损失和所述第二网络损失，确定所述综合网络损失。
[0006]在一种可能的实现方式中，根据所述第一重建结果与所述第二重建结果，确定第一网络损失，包括：根据各级第一特征图，以及与各级第一特征图分辨率相同的第二特征图，分别确定各级的第一子损失；根据所述第一重建图像及所述第二重建图像，确定第二子损失；将各级的第一子损失与所述第二子损失进行加权求和处理，获得所述第一网络损失。
[0007]在一种可能的实现方式中，根据所述第一网络损失和所述第二网络损失，确定所述综合网络损失，包括：将所述第一网络损失和所述第二网络损失进行加权求和处理，获得所述综合网络损失。
[0008]在一种可能的实现方式中，所述第一重建网络包括递归神经网络，所述第二重建网络包括卷积神经网络。
[0009]根据本公开的一方面，提供了一种图像生成方法，包括：将第一时间段内的多个时
刻获取的预设场景的动态视觉信息，输入上述神经网络训练方法训练后的第一重建网络进行处理，生成与各所述动态视觉信息对应的第一色彩图像。
[0010]在一种可能的实现方式中，所述方法还包括：根据所述第一色彩图像，以及所述第一时间段内获取的所述预设场景的第二色彩图像，获得所述预设场景的第一时间段内的视频，其中，所述动态视觉信息的获取频率高于色彩图像的获取频率。
[0011]根据本公开的一方面，提供了一种神经网络训练装置，包括：第一重建模块，用于将样本场景的样本动态视觉信息输入第一重建网络进行处理，获得第一重建结果，所述第一重建结果包括多级第一特征图及第一重建图像；第二重建模块，用于将所述样本场景的样本色彩图像输入第二重建网络进行处理，获得第二重建结果，所述第二重建结果包括多级第二特征图及第二重建图像，所述样本色彩图像与所述样本动态视觉信息的获取时刻相同；损失确定模块，用于根据所述样本色彩图像、所述第一重建结果及所述第二重建结果，确定所述第一重建网络和所述第二重建网络的综合网络损失；训练模块，用于根据所述综合网络损失，训练所述第一重建网络和所述第二重建网络，其中，所述第一重建网络用于根据动态视觉信息生成色彩图像，所述第二重建网络用于训练所述第一重建网络。
[0012]在一种可能的实现方式中，所述损失确定模块进一步用于：根据所述第一重建结果与所述第二重建结果，确定第一网络损失；根据所述第二重建图像与所述样本色彩图像，确定第二网络损失；根据所述第一网络损失和所述第二网络损失，确定所述综合网络损失。
[0013]在一种可能的实现方式中，所述损失确定模块进一步用于：根据各级第一特征图，以及与各级第一特征图分辨率相同的第二特征图，分别确定各级的第一子损失；根据所述第一重建图像及所述第二重建图像，确定第二子损失；将各级的第一子损失与所述第二子损失进行加权求和处理，获得所述第一网络损失。
[0014]在一种可能的实现方式中，将所述第一网络损失和所述第二网络损失进行加权求和处理，获得所述综合网络损失。
[0015]在一种可能的实现方式中，所述第一重建网络包括递归神经网络，所述第二重建网络包括卷积神经网络。
[0016]根据本公开的一方面，提供了一种图像生成装置，包括：生成模块，用于将第一时间段内的多个时刻获取的预设场景的动态视觉信息，输入上述神经网络训练装置训练后的第一重建网络进行处理，生成与各所述动态视觉信息对应的第一色彩图像。
[0017]在一种可能的实现方式中，所述装置还包括：视频生成模块，用于根据所述第一色彩图像，以及所述第一时间段内获取的所述预设场景的第二色彩图像，获得所述预设场景的第一时间段内的视频，其中，所述动态视觉信息的获取频率高于色彩图像的获取频率。
[0018]根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0019]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0022]图1示出根据本公开实施例的神经网络训练方法的流程图；
[0023]图2示出根据本公开实施例的神经网络训练方法的应用示意图；
[0024]图3示出根据本公开实施例的神经网络训练装置的框图；
[0025]图4示出根据本公开实施例的电子装置的框图；
[0026]图5示出根据本公开实施例的电子装置的框图。
具体实施方式
[0027]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0028]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0029]本文中术语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：将样本场景的样本动态视觉信息输入第一重建网络进行处理，获得第一重建结果，所述第一重建结果包括多级第一特征图及第一重建图像；将所述样本场景的样本色彩图像输入第二重建网络进行处理，获得第二重建结果，所述第二重建结果包括多级第二特征图及第二重建图像，所述样本色彩图像与所述样本动态视觉信息的获取时刻相同；根据所述样本色彩图像、所述第一重建结果及所述第二重建结果，确定所述第一重建网络和所述第二重建网络的综合网络损失；根据所述综合网络损失，训练所述第一重建网络和所述第二重建网络，其中，所述第一重建网络用于根据动态视觉信息生成色彩图像，所述第二重建网络用于训练所述第一重建网络。2.根据权利要求1所述的方法，其特征在于，根据所述样本色彩图像、所述第一重建结果及所述第二重建结果，确定所述第一重建网络和所述第二重建网络的综合网络损失，包括：根据所述第一重建结果与所述第二重建结果，确定第一网络损失；根据所述第二重建图像与所述样本色彩图像，确定第二网络损失；根据所述第一网络损失和所述第二网络损失，确定所述综合网络损失。3.根据权利要求2所述的方法，其特征在于，根据所述第一重建结果与所述第二重建结果，确定第一网络损失，包括：根据各级第一特征图，以及与各级第一特征图分辨率相同的第二特征图，分别确定各级的第一子损失；根据所述第一重建图像及所述第二重建图像，确定第二子损失；将各级的第一子损失与所述第二子损失进行加权求和处理，获得所述第一网络损失。4.根据权利要求1所述的方法，其特征在于，所述第一重建网络包括递归神经网络，所述第二重建网络包括卷积神经网络。5.一种图像生成方法，其特征在于，包括：将第一时间段内的多个时刻获取的预设场景的动态视觉信息，输入第一重建网络中处理，生成与各所述动态视觉信息对应的第一色彩图像，所述第一重建网络是根据...

【专利技术属性】
技术研发人员：施路平，杨哲宇，赵蓉，
申请(专利权)人：清华大学，
类型：发明
国别省市：