一种图像序列预测模型的构建方法及图像序列预测方法技术

本发明专利技术公开了一种图像序列预测模型的构建方法及图像序列预测方法，所述方法包括：将预置的用于模型训练的训练图像序列输入图像序列预测模型；获取待插值时间步；对于待插值时间步，将预置的插值初始图像和待插值时间步的上个时间步输出的隐藏状态，作为待插值时间步的神经元的输入，再将待插值时间步的隐藏状态输出至下个时间步的神经元，以完成在待插值时间步的数据插值，其中，神经元为ConvGRU

【技术实现步骤摘要】
一种图像序列预测模型的构建方法及图像序列预测方法


[0001]本专利技术涉及基于深度学习的图像处理
，具体涉及一种图像序列预测模型的构建方法及图像序列预测方法。

技术介绍

[0002]随着深度学习技术和图像处理技术的发展，图像序列预测在视频预测、目标轨迹预测等应用场景都已有较佳的研究进展。然而，现有的基于深度学习的图像序列预测方法，如基于ConvLSTM模型的图像序列预测方法，在模型训练时均需要等时间间隔的图像序列作为训练数据。而在某些图像序列预测的应用场景下，已知的图像序列是非等时间间隔，例如，附图1示出了风云4号
‑
A卫星生成的全园盘红外扫描图，其五张图的生成时间分别为0:00、0:15、1:00、2:00、2:45，五张图的时间间隔分别是15分钟、45分钟、60分钟、45分钟，可以看出，该五张图是非等时间间隔的图像序列，在基于风云4号
‑
A卫星的卫星图像的图像外推场景中，已知的卫星图像序列为非等时间间隔的，现有的基于等时间间隔的图像序列方法无法准确实现图像序列预测。

技术实现思路

[0003]本专利技术解决的问题是现有的图像序列方法无法基于非等时间间隔的图像序列进行准确的图像序列预测。
[0004]本专利技术提出一种图像序列预测模型的构建方法，所述图像序列预测模型包括编码器和解码器，所述编码器包含至少一层ConvGRU
‑
ODE单元，所述ConvGRU
‑
ODE单元的隐藏状态求解公式为隐藏状态常微分方程的欧拉求解公式；所述图像序列预测模型的构建方法包括：
[0005]将预置的用于模型训练的训练图像序列输入所述图像序列预测模型；
[0006]获取待插值时间步；
[0007]对于所述待插值时间步以外的时间步，将实际输入的训练图像和上个时间步的隐藏状态作为输入，并将所述时间步的隐藏状态输出至下个时间步的神经元；
[0008]对于所述待插值时间步，将预置的插值初始图像和所述待插值时间步的上个时间步输出的隐藏状态，作为所述待插值时间步的神经元的输入，再将所述待插值时间步的隐藏状态输出至下个时间步的神经元，以完成在所述待插值时间步的数据插值，其中，所述神经元为所述ConvGRU
‑
ODE单元；
[0009]获得所述图像序列预测模型输出的预测图像序列，根据所述训练图像序列对应的标签图像和所述预测图像序列计算损失函数，对所述图像序列预测模型进行训练，直至所述损失函数收敛。
[0010]可选地，所述ConvGRU
‑
ODE单元的隐藏状态求解公式如下：
[0011][0012][0013]其中，h(t)指t时间步的隐藏状态，h(t
‑
1)指(t
‑
1)时间步的隐藏状态，ΔT指t时间步对应时刻与(t
‑
1)时间步对应时刻之间的时间间隔，z(t)指t时间步的更新门的值，g(t)指t时间步的候选激活门的值。
[0014]可选地，所述获取待插值时间步包括：
[0015]获取插值标识，其中，所述插值标识基于所述训练图像序列中相邻两张训练图像之间的时间间隔以及预置固定时间间隔生成；
[0016]根据所述插值标识确定需要插值的相邻两张训练图像以及需插值数量；
[0017]根据所述需要插值的相邻两张训练图像和所述需插值数量，确定所述待插值时间步。
[0018]可选地，所述解码器包含至少一层核心处理单元，所述核心处理单元为ConvGRU
‑
ODE单元或者ConvGRU单元中的一者，且所述解码器中的核心处理单元层数与所述编码器中的ConvGRU
‑
ODE单元层数相等。
[0019]可选地，所述编码器包含两层或两层以上的所述ConvGRU
‑
ODE单元，对于所述编码器中的任一层所述ConvGRU
‑
ODE单元，其将隐藏状态分别输出至同一时间步的下一层所述ConvGRU
‑
ODE单元以及下个时间步的同层的所述编码器中所述ConvGRU
‑
ODE单元或下个时间步的同层的所述解码器中的所述核心处理单元。
[0020]可选地，所述解码器包含两层或两层以上的所述核心处理单元，对于所述解码器中的任一层所述核心处理单元，其将隐藏状态分别输出至同一时间步的上一层所述核心处理单元以及下个时间步的同层的所述核心处理单元。
[0021]可选地，所述编码器中，每层所述ConvGRU
‑
ODE单元之前均包含至少一层下采样层，所述解码器中，每层所述核心处理单元之后均包含至少一层上采样层。
[0022]本专利技术还提出一种图像序列预测方法，包括：
[0023]获取基准图像序列，其中，所述基准图像序列为非等时间间隔的图像序列或者等时间间隔的图像序列；将所述基准图像序列输入至构建好的图像序列预测模型，获得所述图像序列预测模型输出的预测图像序列，其中，所述图像序列预测模型基于如上所述的图像序列预测模型的构建方法构建而成。
[0024]本专利技术还提出一种计算机装置，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的图像序列预测模型的构建方法或者如上所述的图像序列预测方法。
[0025]本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的图像序列预测模型的构建方法或者如上所述的图像序列预测方法。
[0026]本专利技术通过将ConvGRU与GRU
‑
ODE进行深层结合，将ConvGRU
‑
ODE单元的隐藏状态求解公式为隐藏状态常微分方程的欧拉求解公式，实现对指定时间的图像插值，以将非等时间间隔的图像序列插值为等时间间隔的图像序列，便于实现基于非等时间间隔的图像序列的图像预测，克服现有模型不能针对非等时间间隔的图像序列预测。同时，在训练过程中，通过将ConvGRU与GRU
‑
ODE进行深层结合，采用反向传播对图像预测算法和插值算法同
时训练，加强了图像序列预测模型的鲁棒性，减少了分模块训练引起的误差累积。
附图说明
[0027]图1为风云4号
‑
A卫星生成的全园盘红外扫描图；
[0028]图2为本专利技术实施例中图像序列预测模型的一实施例示意图；
[0029]图3为本专利技术实施例图像序列预测模型的构建方法一实施例示意图。
具体实施方式
[0030]为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。
[0031]在本专利技术一实施例中，所述图像序列预测模型包括编码器和解码器，所述编码器包含至少一层ConvGRU
‑
ODE单元，所述ConvGRU
‑
O本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像序列预测模型的构建方法，其特征在于，所述图像序列预测模型包括编码器和解码器，所述编码器包含至少一层ConvGRU
‑
ODE单元，所述ConvGRU
‑
ODE单元的隐藏状态求解公式为隐藏状态常微分方程的欧拉求解公式；所述图像序列预测模型的构建方法包括：将预置的用于模型训练的训练图像序列输入所述图像序列预测模型；获取待插值时间步；对于所述待插值时间步以外的时间步，将实际输入的训练图像和上个时间步的隐藏状态作为输入，并将所述时间步的隐藏状态输出至下个时间步的神经元；对于所述待插值时间步，将预置的插值初始图像和所述待插值时间步的上个时间步输出的隐藏状态，作为所述待插值时间步的神经元的输入，再将所述待插值时间步的隐藏状态输出至下个时间步的神经元，以完成在所述待插值时间步的数据插值，其中，所述神经元为所述ConvGRU
‑
ODE单元；获得所述图像序列预测模型输出的预测图像序列，根据所述训练图像序列对应的标签图像和所述预测图像序列计算损失函数，对所述图像序列预测模型进行训练，直至所述损失函数收敛。2.如权利要求1所述的图像序列预测模型的构建方法，其特征在于，所述ConvGRU
‑
ODE单元的隐藏状态求解公式如下：元的隐藏状态求解公式如下：其中，h(t)指t时间步的隐藏状态，h(t
‑
1)指(t
‑
1)时间步的隐藏状态，ΔT指t时间步对应时刻与(t
‑
1)时间步对应时刻之间的时间间隔，z(t)指t时间步的更新门的值，g(t)指t时间步的候选激活门的值。3.如权利要求1所述的图像序列预测模型的构建方法，其特征在于，所述获取待插值时间步包括：获取插值标识，其中，所述插值标识基于所述训练图像序列中相邻两张训练图像之间的时间间隔以及预置固定时间间隔生成；根据所述插值标识确定需要插值的相邻两张训练图像以及需插值数量；根据所述需要插值的相邻两张训练图像和所述需插值数量，确定所述待插值时间步。4.如权利要求1至3中任一项所述的图像序列预测模型的构建方法，其特征在于，所述解码器包含至少一层核心处理单元，所述核心处理单元为ConvGR...

【专利技术属性】
技术研发人员：李旭涛，龙永深，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：