图像预测方法、计算机设备和存储介质技术

本申请涉及一种图像预测方法、计算机设备和存储介质。所述方法包括：获取历史图像集合；所述历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；确定所述N帧历史图像的光流变化信息；所述光流变化信息用于表征每两帧历史图像之间的光流变化特征；利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像。采用本方法能够提高预测准确性。

【技术实现步骤摘要】
图像预测方法、计算机设备和存储介质
本申请涉及图像处理
，特别是涉及一种图像预测方法、计算机设备和存储介质。
技术介绍
随着计算机技术和图像处理技术的发展，出现了图像预测技术。比如，基于历史图像对人体或物体的移动轨迹进行预测。图像预测技术可以应用到自动驾驶领域、天气预测领域等多个领域，为人们的工作和生活提供了极大地便利。相关技术中，图像预测技术通常是利用光流法进行外推，得到预测图像。但是，这种方法存在预测不准确的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高预测准确性的图像预测方法、计算机设备和存储介质。一种图像预测方法，该方法包括：获取历史图像集合；历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；确定N帧历史图像的光流变化信息；光流变化信息用于表征每两帧历史图像之间的光流变化特征；利用预先训练的目标神经网络对光流变化信息进行预测，并根据预测结果和历史图像集合中的预设帧历史图像得到预测图像。在其中一个实施例中，上述确定N帧历史图像的光流变化信息，包括：将N帧历史图像输入到预先设置的光流计算模型中，得到光流计算模型输出的光流变化信息；光流变化信息包括N-1帧历史光流特征图。在其中一个实施例中，上述将N帧历史图像输入到预先设置的光流计算模型中，得到光流计算模型输出的光流变化信息，包括：将历史图像集合中每两帧历史图像作为一个图像对，得到N-1个图像对；将N-1个图像对按照先后顺序依次输入到光流计算模型中，得到光流计算模型依次输出的N-1帧历史光流特征图。在其中一个实施例中，上述利用预先训练的目标神经网络对光流变化信息进行预测，并根据预测结果和历史图像集合中的预设帧历史图像得到预测图像，包括：将N-1帧历史光流特征图输入到目标神经网络中进行预测，得到目标神经网络输出的预测光流特征图；根据预测光流特征图对历史图像集合中的预设帧历史图像进行形变处理，得到预测图像。在其中一个实施例中，上述根据预测光流特征图对历史图像集合中的预设帧历史图像进行形变处理，得到预测图像，包括：根据预测光流特征图计算预设帧历史图像中各像素点的目标迁移位置；根据各像素点的目标迁移位置和各像素点的像素值生成预测图像。在其中一个实施例中，上述目标神经网络的训练过程包括：获取训练图像集合；训练图像集合中包括时间连续的N+1帧训练图像，前N帧训练图像均为训练样本，第N+1帧训练图像为标签；基于训练图像集合进行神经网络的训练，得到目标神经网络。在其中一个实施例中，上述基于训练图像集合进行神经网络的训练，得到目标神经网络，包括：将前N帧训练图像输入到预先设置的光流计算模型中，得到N-1帧训练光流特征图；将N-1帧训练光流特征图输入到初始神经网络中，得到第N帧训练光流特征图；根据第N帧训练光流特征图对预设帧训练图像进行形变处理，得到形变图像；利用损失函数对形变图像和标签进行计算得到损失值，并根据损失值对初始神经网络中的可调参数进行调整，直到损失值满足收敛条件为止，得到目标神经网络。在其中一个实施例中，在上述得到预测图像之后，该方法还包括：根据预测图像更新历史图像集合；重复执行确定N帧历史图像之间的光流变化信息，以及利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像的步骤，得到未来时段的视频图像。一种图像预测装置，该装置包括：历史图像集合获取模块，用于获取历史图像集合；历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；光流确定模块，用于确定N帧历史图像的光流变化信息；光流变化信息用于表征每两帧历史图像之间的光流变化特征；预测模块，用于利用预先训练的目标神经网络对光流变化信息进行预测，并根据预测结果和历史图像集合中的预设帧历史图像得到预测图像。在其中一个实施例中，上述光流确定模块，具体用于将N帧历史图像输入到预先设置的光流计算模型中，得到光流计算模型输出的光流变化信息；光流变化信息包括N-1帧历史光流特征图。在其中一个实施例中，上述光流确定模块，具体用于将历史图像集合中每两帧历史图像作为一个图像对，得到N-1个图像对；将N-1个图像对按照先后顺序依次输入到光流计算模型中，得到光流计算模型依次输出的N-1帧历史光流特征图。在其中一个实施例中，上述预测模块，包括：预测子模块，用于将N-1帧历史光流特征图输入到目标神经网络中进行预测，得到目标神经网络输出的预测光流特征图；图像获得子模块，用于根据预测光流特征图对历史图像集合中的预设帧历史图像进行形变处理，得到预测图像。在其中一个实施例中，上述图像获得子模块，具体用于根据预测光流特征图计算预设帧历史图像中各像素点的目标迁移位置；根据各像素点的目标迁移位置和各像素点的像素值生成预测图像。在其中一个实施例中，该装置还包括：训练图像集合获取模块，用于获取训练图像集合；训练图像集合中包括时间连续的N+1帧训练图像，前N帧训练图像均为训练样本，第N+1帧训练图像为标签；训练模块，用于基于训练图像集合进行神经网络的训练，得到目标神经网络。在其中一个实施例中，上述训练模块，具体用于将前N帧训练图像输入到预先设置的光流计算模型中，得到N-1帧训练光流特征图；将N-1帧训练光流特征图输入到初始神经网络中，得到第N帧训练光流特征图；根据第N帧训练光流特征图对第N帧训练图像进行形变处理，得到形变图像；利用损失函数对形变图像和标签进行计算得到损失值，并根据损失值对初始神经网络中的可调参数进行调整，直到损失值满足收敛条件为止，得到目标神经网络。在其中一个实施例中，该装置还包括：更新模块，用于根据预测图像更新历史图像集合；未来图像获得模块，用于重复执行确定N帧历史图像之间的光流变化信息，以及利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像的步骤，得到未来时段的视频图像。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取历史图像集合；历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；确定N帧历史图像的光流变化信息；光流变化信息用于表征每两帧历史图像之间的光流变化特征；利用预先训练的目标神经网络对光流变化信息进行预测，并根据预测结果和历史图像集合中的预设帧历史图像得到预测图像。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取历史图像集合；历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；确定N帧历史图像的光流变化信息；光流变化信息用于表征每两帧历史图像之间的光流本文档来自技高网...

【技术保护点】
1.一种图像预测方法，其特征在于，所述方法包括：/n获取历史图像集合；所述历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；/n确定所述N帧历史图像的光流变化信息；所述光流变化信息用于表征每两帧历史图像之间的光流变化特征；/n利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像。/n

【技术特征摘要】
1.一种图像预测方法，其特征在于，所述方法包括：
获取历史图像集合；所述历史图像集合包括时间连续的N帧历史图像，N为大于1的正整数；
确定所述N帧历史图像的光流变化信息；所述光流变化信息用于表征每两帧历史图像之间的光流变化特征；
利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像。


2.根据权利要求1所述的方法，其特征在于，所述确定所述N帧历史图像的光流变化信息，包括：
将所述N帧历史图像输入到预先设置的光流计算模型中，得到所述光流计算模型输出的所述光流变化信息；所述光流变化信息包括N-1帧历史光流特征图。


3.根据权利要求2所述的方法，其特征在于，所述将所述N帧历史图像输入到预先设置的光流计算模型中，得到所述光流计算模型输出的所述光流变化信息，包括：
将所述历史图像集合中每相邻两帧历史图像作为一个图像对，得到N-1个图像对；
将所述N-1个图像对按照先后顺序依次输入到所述光流计算模型中，得到所述光流计算模型依次输出的所述N-1帧历史光流特征图。


4.根据权利要求2所述的方法，其特征在于，所述利用预先训练的目标神经网络对所述光流变化信息进行预测，并根据预测结果和所述历史图像集合中的预设帧历史图像得到预测图像，包括：
将所述N-1帧历史光流特征图输入到所述目标神经网络中进行预测，得到所述目标神经网络输出的预测光流特征图；
根据所述预测光流特征图对所述历史图像集合中的预设帧历史图像进行形变处理，得到所述预测图像。


5.根据权利要求4所述的方法，其特征在于，所述根据所述预测光流特征图对所述历史图像集合中的预设帧历史图像进行形变处理，得到所述预测图像，包括：
根据所述预测光流特征图计算所述预设帧历史图像中各像素点的目标迁移...

【专利技术属性】
技术研发人员：郜杰，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31