视频行为预测模型训练方法技术

本发明专利技术公开一种视频图像行为预测方法

【技术实现步骤摘要】
视频行为预测模型训练方法、预测方法、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种视频图像行为预测方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]图像特征现今常用于目标轨迹的建模和预测
。
在很多实例中，图像算法被用于有关人与人之或人与物品之间的运动行为和轨迹的追踪推理
。
另外一种图像特征学习的应用是多目标追踪，用于匹配不同帧中检测到的物体并加上标注
。
[0003]有关图像的时间序列预测常用于对于多变量时间序列数据中变量关系进行建模，例如交通状况的预测，动作和手势确认
。
现在的一些解决跨时间的真实图像结构的预测的方法是基于图像和网络数据使用高斯进程回归
、
神经网络模型等，这些方法在训练过程中要求图像的所有节点都准确注册标记并且没有混乱，当图像数据不完整或者标记混乱时导致模型不能准确进行图像行为预测
。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一
。
为此，本专利技术提出一种视频行为预测模型训练方法
、
系统
、
设备及存储介质，旨在在视频图像数据不完整或者标记混乱时能够训练准确的视频行为预测模型
。
[0005]一方面，本专利技术实施例提供了一种视频行为预测模型训练方法，包括以下步骤：
[0006]确定视频中的每一帧图像的标记节点，并根据标记节点构建每一帧图像的无向图数据；
[0007]根据排列矩阵对所述无向图数据的标记节点顺序进行重新排列得到观测图像数据；
[0008]按照视频时间顺序排列图像对应的观测图像数据，得到观测图像数据序列；
[0009]将所述观测图像数据序列输入卡尔曼滤波预测子模型得到预测图像数据序列，并根据所述观测图像数据序列修正所述预测图像数据序列；
[0010]将所述预测图像数据序列输入卡尔曼平滑子模型，得到平滑图像数据序列；
[0011]根据所述平滑图像数据序列和所述观测图像数据序列更新所述卡尔曼滤波预测子模型的预测参数和修正参数，直到所述预测参数和修正参数收敛，得到训练好的视频行为预测模型
。
[0012]根据本专利技术一些实施例，所述确定视频中的每一帧图像的标记节点，并根据标记节点构建每一帧图像的无向图数据包括以下步骤：
[0013]采用边界框标注每一帧图像中的物体以作为标记节点，并对边界框进行注释；
[0014]采用线性插值方法填补视频中所有帧的边界框；
[0015]根据图像中的所有边界框构建每一帧图像的无向图数据，其中，所述无向图数据包括边矩阵和属性矩阵，所述边矩阵由表示标记节点间关系的邻接矩阵映射得到，所述属
性矩阵用于表征标记节点的坐标位置
。
[0016]根据本专利技术一些实施例，所述根据排列矩阵对所述无向图数据的标记节点顺序进行重新排列得到观测图像数据包括以下步骤：
[0017]获取排列矩阵集合，其中，所述排列矩阵集合包括所有无向图数据对应的
n
×
n
排列矩阵
P
，
n
为无向图数据中标记节点的数量，排列矩阵为置换矩阵；
[0018]根据每一个无向图数据对应排列矩阵对所述无向图数据的边矩阵和属性矩阵进行映射以对标记节点顺序重新排列，得到观测图像数据
。
[0019]根据本专利技术一些实施例，所述将观测图像数据序列输入卡尔曼滤波预测子模型得到预测图像数据序列，并根据所述观测图像数据序列修正所述预测图像数据序列包括以下步骤：
[0020]将所述观测图像数据序列中的观测图像数据依次输入卡尔曼滤波预测子模型的动力系统进行预测得到预测图像数据，根据多个预测图像数据得到预测图像数据序列；
[0021]将所述预测图像数据对应的时刻的观测图像数据修正所述预测图像数据，根据多个修正后的预测图像数据，得到预测图像数据序列
。
[0022]根据本专利技术一些实施例，所述动力系统表示为：
[0023][0024]其中，
w
表示边矩阵，
v
表示属性矩阵，
(e)、(n)
分别代表关于边和关于节点的模型，
B
和
C
均表示动力系统的参数，
u
t
为随机的标准正态分布的系统噪声
。
[0025]根据本专利技术一些实施例，所述排列矩阵在所述无向图数据的映射表示为：
[0026](P,X)
＝
(P,(w,v))
＝
(P*w,Pv)
；
[0027]其中，
X
表示无向图数据，
w
表示边矩阵，
v
表示属性矩阵，
P
表示排列矩阵
。
[0028]根据本专利技术一些实施例，所述视频行为预测模型训练方法还包括以下步骤：
[0029]当比较视频中标记节点数量分别为
n1、n2的前后两张图象，则为两张图像的无向图数据引入空节点，以使两张图像的无向图数据标记节点总数均为
n1+n2；
[0030]将其中一张图像的无向图数据的真实标记节点和另一张图像的无向图数据的空节点进行配对得到配对结果，配对结果表征诞生新的标记节点或者删除老的标记节点
。
[0031]另一方面，本专利技术实施例还提供一种视频行为预测方法，包括以下步骤：
[0032]获取待预测的视频数据；
[0033]对所述视频数据进行预处理得到无向图数据序列；
[0034]将所述无向图数据序列输入如前面实施例所述的视频行为预测模型，得到视频行为预测结果
。
[0035]另一方面，本专利技术实施例还提供一种电子设备，包括：
[0036]至少一个处理器；
[0037]至少一个存储器，用于存储至少一个程序；
[0038]当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面实施例所述的视频行为预测模型训练方法或者视频行为预测方法
。
[0039]另一方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面实施例所述的视频行为预测模型训练方法或者视频行为预测方法
。
[0040]本专利技术上述的技术方案至少具有如下优点或有益效果之一：首先确定视频中的每一帧图像的标记节点，并根据标记节点构建每一帧图像的无向图数据，然后根据排列矩阵对无向图数据的标记节点顺序进行重新排列得到观测图像数据，以减少图像中标记节点标记混乱的情况
。
按照视频时间顺序排列图像对应的观测图像数据，得到观测图像数据序列，然后将观本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频行为预测模型训练方法，其特征在于，包括以下步骤：确定视频中的每一帧图像的标记节点，并根据标记节点构建每一帧图像的无向图数据；根据排列矩阵对所述无向图数据的标记节点顺序进行重新排列得到观测图像数据；按照视频时间顺序排列图像对应的观测图像数据，得到观测图像数据序列；将所述观测图像数据序列输入卡尔曼滤波预测子模型得到预测图像数据序列，并根据所述观测图像数据序列修正所述预测图像数据序列；将所述预测图像数据序列输入卡尔曼平滑子模型，得到平滑图像数据序列；根据所述平滑图像数据序列和所述观测图像数据序列更新所述卡尔曼滤波预测子模型的预测参数和修正参数，直到所述预测参数和修正参数收敛，得到训练好的视频行为预测模型
。2.
根据权利要求1所述的视频行为预测模型训练方法，其特征在于，所述确定视频中的每一帧图像的标记节点，并根据标记节点构建每一帧图像的无向图数据包括以下步骤：采用边界框标注每一帧图像中的物体以作为标记节点，并对边界框进行注释；采用线性插值方法填补视频中所有帧的边界框；根据图像中的所有边界框构建每一帧图像的无向图数据，其中，所述无向图数据包括边矩阵和属性矩阵，所述边矩阵由表示标记节点间关系的邻接矩阵映射得到，所述属性矩阵用于表征标记节点的坐标位置
。3.
根据权利要求2所述的视频行为预测模型训练方法，其特征在于，所述根据排列矩阵对所述无向图数据的标记节点顺序进行重新排列得到观测图像数据包括以下步骤：获取排列矩阵集合，其中，所述排列矩阵集合包括所有无向图数据对应的
n
×
n
排列矩阵
P
，
n
为无向图数据中标记节点的数量，排列矩阵为置换矩阵；根据每一个无向图数据对应排列矩阵对所述无向图数据的边矩阵和属性矩阵进行映射以对标记节点顺序重新排列，得到观测图像数据
。4.
根据权利要求3所述的视频行为预测模型训练方法，其特征在于，所述将观测图像数据序列输入卡尔曼滤波预测子模型得到预测图像数据序列，并根据所述观测图像数据序列修正所述预测图像数据序列包括以下步骤：将所述观测图像数据序列中的观测图像数据依次输入卡尔曼滤波预测子模型的动力系统进行预测得到预测图像数据，根据多个预测图像数据得到预测图像数据序列；将所述预测图像数据对应的时刻的观测图像数据修正所述预测图像数据，根据多个修正后的预测图像数据，得到预测图像数据序列...

【专利技术属性】
技术研发人员：尤学强，唐林涛，唐惠琼，郑建超，张小刚，汪鱼洋，王刚，蒋飞，何寒冰，
申请(专利权)人：珠海中科慧智科技有限公司，
类型：发明
国别省市：