图像预测模型的训练方法及装置、存储介质及电子设备制造方法及图纸

本公开实施例公开了一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备，其中，该图像预测模型的训练方法包括：通过图像生成网络模型对样本图像序列进行预测，得到的预测图像；在第一损失函数的监督下，调整图像生成网络模型的参数；通过判别网络模型，对基准图像和预测图像分别进行判别，得到第一判别值和第二判别值；基于第二损失函数，确定第一判别值与第二判别值的概率分布之间的距离；通过最大化距离，调整判别网络模型的参数，将参数调整后的图像生成网络模型确定为图像预测模型。本公开实施例可以避免梯度弥散和梯度消失的问题，提高了训练的稳定性和图像预测模型的预测精度。型的预测精度。型的预测精度。

【技术实现步骤摘要】
图像预测模型的训练方法及装置、存储介质及电子设备


[0001]本公开涉及计算机
，尤其是一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备。

技术介绍

[0002]目前，基于视频预测未来的图像帧的方案被应用到诸如自动驾驶、视频监控等各种领域。在视频预测中，需要使预测的物体图像尽量逼真，且预测的物体运动轨迹尽量符合物体真实的运动规律。目前基于神经网络的图像预测模型，主要使用卷积神经网络+LSTM(长短期记忆网络，Long Short
‑
Term Memory)等作为模型的主干网络，通过监督学习进行模型的训练，训练完成后通过输入前几帧图像到主干网络，预测得到未来帧。这种使用监督学习训练的预测网络一般是确定性预测，但是现实的物体运动情况往往是含有随机因素的，确定性预测不能完全刻画物体运动中的随机特性。
[0003]此外，还可以将生成对抗网络(GAN，Generative Adversarial Networks)应用到视频预测中，一方面训练判别器对生成的图像和真实图像进行判别，判别器应当尽量判定生成的图像为假，真实的图像为真；另一方面生成器要尽量使判别器难以区分真实图像和生成的图像。但目前的视频预测使用的生成对抗网络，在训练时通常会出现判别器和生成器的学习速度不一致，引起梯度弥散的问题。

技术实现思路

[0004]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备。
[0005]本公开的实施例提供了一种图像预测模型的训练方法，该方法包括：获取样本图像序列和与样本图像序列对应的基准图像；通过图像生成网络模型对样本图像序列进行预测，得到位于样本图像序列的最后一帧图像之后的预测图像；在预设的第一损失函数的监督下，通过预测图像和基准图像，调整图像生成网络模型的参数；通过判别网络模型，对基准图像和预测图像分别进行判别，得到基准图像和预测图像分别对应的第一判别值和第二判别值；基于预设的第二损失函数，确定第一判别值的概率分布与第二判别值的概率分布之间的距离；通过最大化距离，调整判别网络模型的参数；响应于图像生成网络模型和判别网络模型符合预设的训练结束条件，将参数调整后的图像生成网络模型确定为图像预测模型。
[0006]根据本公开实施例的另一个方面，提供了一种通过神经网络模型预测图像的方法，该方法包括：获取第一图像序列；基于预先训练的图像预测模型和第一图像序列，生成预设数量的预测图像，其中，预设数量的预测图像位于第一图像序列的最后一帧图像之后；基于第一图像序列和预设数量的预测图像，生成用于对目标物体进行轨迹预测的第二图像序列；对第二图像序列进行目标跟踪，得到目标物体的运动轨迹。
[0007]根据本公开实施例的另一个方面，提供了一种图像预测模型的训练装置，该装置包括：第一获取模块，用于获取样本图像序列和与样本图像序列对应的基准图像；预测模块，用于通过图像生成网络模型对样本图像序列进行预测，得到位于样本图像序列的最后一帧图像之后的预测图像；第一调整模块，用于在预设的第一损失函数的监督下，通过预测图像和基准图像，调整图像生成网络模型的参数；判别模块，用于通过判别网络模型，对基准图像和预测图像分别进行判别，得到基准图像和预测图像分别对应的第一判别值和第二判别值；第一确定模块，用于基于预设的第二损失函数，确定第一判别值的概率分布与第二判别值的概率分布之间的距离；第二调整模块，用于通过最大化距离，调整判别网络模型的参数；第二确定模块，用于响应于图像生成网络模型和判别网络模型符合预设的训练结束条件，将参数调整后的图像生成网络模型确定为图像预测模型。
[0008]根据本公开实施例的另一个方面，提供了一种通过神经网络模型预测图像的装置，该装置包括：第二获取模块，用于获取第一图像序列；第一生成模块，用于基于预先训练的图像预测模型和第一图像序列，生成预设数量的预测图像，其中，预设数量的预测图像位于第一图像序列的最后一帧图像之后；第二生成模块，用于基于第一图像序列和预设数量的预测图像，生成用于对目标物体进行轨迹预测的第二图像序列；跟踪模块，用于对第二图像序列进行目标跟踪，得到目标物体的运动轨迹。
[0009]根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述图像预测模型的训练方法或通过神经网络模型预测图像的方法。
[0010]根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述图像预测模型的训练方法或通过神经网络模型预测图像的方法。
[0011]图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备，采用训练生成对抗网络的方法，在预设的第一损失函数的监督下，通过预测图像和基准图像，调整图像生成网络模型的参数，通过判别网络模型，对基准图像和预测图像分别进行判别，得到基准图像和预测图像分别对应的第一判别值和第二判别值；基于预设的第二损失函数，确定第一判别值的概率分布与第二判别值的概率分布之间的距离；通过最大化距离，调整判别网络模型的参数，最终将训练后的图像生成网络模型确定为图像预测模型。本公开在调整图像生成网络模型的参数时，由于采用了第一判别值的概率分布与第二判别值的概率分布之间的距离，该距离可以在两个概率分布之间有重叠和无重叠时，均可反映两者的距离，且随着两个概率分布之间的差距变化，该距离的变化是平滑的，不会出现突变，从而避免梯度弥散和梯度消失的问题，提高了训练的稳定性和训练后的图像预测模型的预测精度。本公开采用训练后的图像预测模型，对第一图像序列进行预测，得到第二图像序列，并对第二图像序列进行目标跟踪，得到目标物体的运动轨迹，实现了根据已有的图像序列预测出任意帧数的第二图像序列，从而可以预测出任意时长的运动轨迹，由于图像预测模型的预测精度较高，因此，使用图像预测模型进行运动轨迹预测可以有效提高运动轨迹预测的精度。
[0012]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0013]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0014]图1是本公开所适用的系统图。
[0015]图2是本公开一示例性实施例提供的图像预测模型的训练方法的流程示意图。
[0016]图3是本公开的实施例的图像生成网络模型和判别网络模型处理样本图像序列的示意图。
[0017]图4是本公开另一示例性实施例提供的图像预测模型的训练方法的流程示意图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像预测模型的训练方法，包括：获取样本图像序列和与所述样本图像序列对应的基准图像；通过图像生成网络模型对所述样本图像序列进行预测，得到位于所述样本图像序列的最后一帧图像之后的预测图像；在预设的第一损失函数的监督下，通过所述预测图像和所述基准图像，调整所述图像生成网络模型的参数；通过判别网络模型，对所述基准图像和所述预测图像分别进行判别，得到所述基准图像和所述预测图像分别对应的第一判别值和第二判别值；基于预设的第二损失函数，确定所述第一判别值的概率分布与所述第二判别值的概率分布之间的距离；通过最大化所述距离，调整所述判别网络模型的参数；响应于所述图像生成网络模型和所述判别网络模型符合预设的训练结束条件，将参数调整后的所述图像生成网络模型确定为图像预测模型。2.根据权利要求1所述的方法，其中，在所述通过判别网络模型，对所述基准图像和所述预测图像分别进行判别，得到所述基准图像和所述预测图像分别对应的第一判别值和第二判别值之后，所述方法还包括：在预设的第三损失函数的监督下，通过所述第二判别值，调整所述图像生成网络模型的参数。3.根据权利要求1所述的方法，其中，在所述通过最大化所述距离，调整所述判别网络模型的参数之后，所述方法还包括：响应于调整参数后的所述判别网络模型包括处于预设数值范围外的目标参数，将所述目标参数调整到处于所述预设数值范围内。4.根据权利要求1所述的方法，其中，所述获取样本图像序列和与所述样本图像序列对应的基准图像，包括：从预设的原始图像序列中，提取预设数量个图像组成的图像子序列；基于所述图像子序列确定样本图像序列；从所述原始图像序列中，提取位于所述图像子序列的最后一帧图像之后的目标图像，并将所述目标图像确定为所述基准图像。5.一种通过神经网络模型预测图像的方法，包括：获取第一图像序列；基于预先训练的图像预测模型和所述第一图像序列，生成预设数量的预测图像，其中，所述预设数量的预测图像位于所述第一图像序列的最后一帧图像之后；基于所述第一图像序列和所述预设数量的预测图像，生成用于对目标物体进行轨迹预测的第二图像序列；对所述第二图像序列进行目标跟踪，得到所述目标物体的运动轨迹。6.根据权利要求5所述的方法，其中，所述基于预先训练的图像预测模型和所述第一图像序列，生成预设数量的预测图像，包括：基于所述第一图像序列，执行如下预测步骤：利用所述图像预测模型，对所述第一图像序列进行预测，生成预测图像；
确定已生成的预测图像的...

【专利技术属性】
技术研发人员：范坤，蔡今天，
申请(专利权)人：上海安亭地平线智能交通技术有限公司，
类型：发明
国别省市：