一种基于关键点和卡尔曼滤波的视频预测方法及系统技术方案

本发明专利技术属于自动驾驶中视频数据帧的预测领域，提供了一种基于关键点和卡尔曼滤波的视频预测方法及系统，首先，通过训练一个神经网络对搜集到的数据进行特征提取，将提取到的特征转化为关键点；其次，将关键点进行特征重构，并将重构出来的特征与初始图像帧的特征一起通过另一个神经网络进行图像重构，通过优化损失函数，获得特征提取网络与图像重构网络。最后，利用过程一种提取的图像关键点，结合RNN模型获得的图像先验信息，利用卡尔曼滤波对未来数据帧进行预测，并将预测图像与真实图像进行比较，优化相应损失函数训练RNN模型。优化相应损失函数训练RNN模型。优化相应损失函数训练RNN模型。

【技术实现步骤摘要】
一种基于关键点和卡尔曼滤波的视频预测方法及系统


[0001]本专利技术属于自动驾驶中视频数据帧的预测领域，尤其涉及一种基于关键点和卡尔曼滤波的视频预测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]近几年，自动驾驶作为一个新的应用领域，频获工业界关注。自动驾驶通过相机、视频等数据采集设备对周边路况、环境、行人等进行观测，并根据采集到的数据进行路况的分析判断，从而进行决策。视频预测技术是一项比较前沿的研究技术，由于视频采集设备采集到的数据图像维度较高，数据量较大，给问题分析带来不小挑战，该项技术目前发展并不太成熟，现有视频预测技术包括基于前一帧图像来预测下一帧图像和基于多帧图像信息预测下一帧图像，但是基于前一帧图像来预测下一帧图像的方法未能充分有效利用历史信息；基于多帧图像信息预测下一帧图像的处理数据过于庞大，致使计算效率低下，且预测效果过拟合较为严重。

技术实现思路

[0004]为了解决上述
技术介绍
中存在的至少一项技术问题，本专利技术提供一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点和卡尔曼滤波的视频预测方法，其特征在于，包括如下步骤：获取原始自动驾驶过程中的多维数据；根据多维数据和训练后的图像特征提取模型进行图像的特征提取，根据提取到的特征获取图像的多维度关键点信息；根据多维度关键点信息，结合预测模型估计获得的图像先验信息，利用卡尔曼滤波对当前数据帧预测，得到下一个数据帧预测图像，根据预测图像预测标识对象接下来的行为。2.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法，其特征在于，在提取到的特征获取图像的多维度关键点信息后，将多维度关键点信息渲染为低维数据，并结合原始数据对得到的低维数据通过图像重构模型进行图像重构。3.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法，其特征在于，所述特征提取模型包括多个卷积神经网络模块，每个卷积神经网络模块包括：批标准化、卷积层、池化层以及非线性激活层。4.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法，其特征在于，提取多维度关键点信息进行恢复图像关键点，所述恢复图像关键点的方法为:通过高斯映射，将关键点进行渲染。5.如权利要求1所述的一种基于关键点和卡尔曼滤波的视频预测方法，其特征在于，图像先验信息的获取过程包括：在观测到当前帧图像之前，将历史信息融入到RNN模型中，获取当前帧的先验信息；结合当前帧图像信息与先验信息，利用贝叶斯估计，求得预测模型的后验估计；由后验估计及当前帧关键点信息，利用卡尔曼滤波预测下一帧的关键点信息。6.如权利要求...

【专利技术属性】
技术研发人员：王强，张化祥，赵平，候红鸽，王祝华，杨恒，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：