动态预测方法、系统及所适用的设备技术方案

本申请提供一种动态预测方法、系统及所适用的设备。所述动态预测方法包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。本申请的动态预测方法通过将所获取的当前帧图像分割成待预测对象和参照对象，并基于由对象掩码矩阵表示的参照对象掩码矩阵与待预测对象掩码矩阵之间的关系以及预设行为来预测待预测对象的运动，使得能够提高动态预测的泛化能力，并且采用掩码矩阵表示对象，使得所述预测过程可解释。

Dynamic prediction method, system and applicable equipment

The application provides a dynamic prediction method, system and applicable equipment. The dynamic prediction method comprises the following steps: acquiring a current frame image; determining a predicted object mask matrix including a predicted object and a reference object mask matrix including a reference object based on the current frame image; and based on the relationship between the predicted object mask matrix and the reference object mask matrix; And preset behavior predicts the motion of the predicted object. The dynamic prediction method herein applies to predict the motion of the object to be predicted by dividing the acquired current frame image into the object to be predicted and the reference object, and by predicting the motion of the object to be predicted based on the relationship between the reference object mask matrix and the object to be predicted mask matrix represented by the object mask matrix and the preset behavior, thereby enabling the dynamic preset to be improved. The generalization ability is measured, and the object is represented by mask matrix, so that the prediction process can be explained.

【技术实现步骤摘要】
动态预测方法、系统及所适用的设备
本申请涉及图像分析
，特别是涉及一种动态预测方法、系统及所适用的设备。
技术介绍
近年来，得益于大数据的普及和计算能力的提升，强化学习与深度学习的结合即深度强化学习取得了开拓性进展。在实际应用中，泛化和可解释性是深度强化学习面临的主要挑战。其中，泛化是指模型对新鲜样本的适应，即训练好的模型在未见过数据上的表现。可解释性是指区别于“黑盒子”而能够解释是如何解决问题的特性。一般地，为了解决上述问题，关键是要从物体层面学习智能体行为的作用其中，智能体表示具备行为能力的物体，如机器人、无人车等。然而，针对智能体行为的作用的学习，现有技术通常采用的以行为为条件的动态预测(dynamicsprediction)集中于像素级运动且直接预测行为的作用，这限制了对于所学习动态的可解释性和泛化能力。
技术实现思路
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种动态预测方法、系统及所适用的设备，用于解决现有技术中动态预测方面存在的泛化能力低及不可解释的问题。为实现上述目的及其他相关目的，本申请的第一方面提供一种动态预测方法，包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。在本申请的第一方面的某些实施方式中，所述待预测对象掩码矩阵是基于所述待预测对象确定的，所述参照对象掩码矩阵是基于所述参照对象与所述待预测对象运动的关联关系或所述参照对象的种类确定的。在本申请的第一方面的某些实施方式中，所述基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵的步骤包括：使用预先训练的第一卷积神经网络基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵。在本申请的第一方面的某些实施方式中，所述基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动的步骤包括：以所述待预测对象掩码矩阵中待预测对象的位置为中心依据预设视野窗尺寸对所述参照对象掩码矩阵进行裁剪以获得经裁剪的参照对象掩码矩阵；基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用；基于预设行为和所确定的作用预测所述待预测对象的运动。在本申请的第一方面的某些实施方式中，所述动态预测方法还包括以下步骤：对所获得的经裁剪的参照对象掩码矩阵添加位置信息并基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用。在本申请的第一方面的某些实施方式中，所述作用还包括预设的待预测对象自身的作用。在本申请的第一方面的某些实施方式中，所述动态预测方法还包括以下步骤：从所述当前帧图像中提取时不变背景；结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。在本申请的第一方面的某些实施方式中，所述动态预测方法还包括以下步骤：基于预先训练的第三卷积神经网络从所述当前帧图像中提取时不变背景；结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。在本申请的第一方面的某些实施方式中，所述第三卷积神经网络设置为卷积反卷积结构。在本申请的第一方面的某些实施方式中，所述第一卷积神经网络、所述第二卷积神经网络以及所述第三卷积神经网络是根据损失函数经统一训练获得的。在本申请的第一方面的某些实施方式中，所述当前帧图像是基于原始数据或具有先验知识的外部输入数据获得的。本申请的第二方面还提供一种动态预测系统，包括：获取单元，用于获取当前帧图像；对象检测单元，用于基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；预测单元，用于基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。在本申请的第二方面的某些实施方式中，所述待预测对象掩码矩阵是基于所述待预测对象确定的，所述参照对象掩码矩阵是基于所述参照对象与所述待预测对象运动的关联关系或所述参照对象的种类确定的。在本申请的第二方面的某些实施方式中，所述对象检测单元用于使用预先训练的第一卷积神经网络基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵。在本申请的第二方面的某些实施方式中，所述预测单元包括：裁剪模块，用于以所述待预测对象掩码矩阵中待预测对象的位置为中心依据预设视野窗尺寸对所述参照对象掩码矩阵进行裁剪以获得经裁剪的参照对象掩码矩阵；作用确定模块，用于基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用；预测模块，用于基于预设行为和所确定的作用预测所述待预测对象的运动。在本申请的第二方面的某些实施方式中，所述作用确定模块用于对所获得的经裁剪的参照对象掩码矩阵添加位置信息并基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用。在本申请的第二方面的某些实施方式中，所述作用还包括预设的待预测对象自身的作用。在本申请的第二方面的某些实施方式中，所述动态预测系统还包括：提取单元，用于从所述当前帧图像中提取时不变背景；所述预测单元还用于结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。在本申请的第二方面的某些实施方式中，所述提取单元用于基于预先训练的第三卷积神经网络从所述当前帧图像中提取时不变背景；所述预测单元还用于结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。在本申请的第二方面的某些实施方式中，所述第三卷积神经网络设置为卷积反卷积结构。在本申请的第二方面的某些实施方式中，所述第一卷积神经网络、所述第二卷积神经网络以及所述第三卷积神经网络是根据损失函数经统一训练获得的。在本申请的第二方面的某些实施方式中，所述当前帧图像是基于原始数据或具有先验知识的外部输入数据获得的。本申请的第三方面还提供一种计算机可读存储介质，存储有至少一种程序，所述至少一种程序被执行时实现上述中任一所述的动态预测方法。本申请的第四方面还提供一种设备，包括：存储装置，用于存储至少一个程序；处理装置，与所述存储装置相连，用于调用所述至少一个程序以执行如权利要求1-11中任一所述的动态预测方法。在本申请的第四方面的某些实施方式中，所述设备还包括显示装置，所述显示装置用于显示所述待预测对象掩码矩阵、所述参照对象掩码矩阵、经预测的所述待预测对象的运动数据中至少之一。在本申请的第四方面的某些实施方式中，所述处理装置还用于基于所述当前帧图像、所述待预测对象掩码矩阵以及所述参照对象掩码矩阵生成待预测对象掩码图像和参照对象掩码图像；所述显示装置还用于显示所述待预测对象掩码图像和/或所述参照对象掩码图像。在本申请的第四方面的某些实施方式中，所述处理装置还用于基于所述待预测对象掩码图像和所述参照对象掩码图像生成对象掩码图像；所述显示装置还用于显示所述对象掩码图像。如上所述，本申请的动态预测方法、系统及所适用的设备，具有以下有益效果：本申请的动态预测方法通过将本文档来自技高网...

【技术保护点】
1.一种动态预测方法，其特征在于，包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。

【技术特征摘要】
1.一种动态预测方法，其特征在于，包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。2.根据权利要求1所述的动态预测方法，其特征在于，所述待预测对象掩码矩阵是基于所述待预测对象确定的，所述参照对象掩码矩阵是基于所述参照对象与所述待预测对象运动的关联关系或所述参照对象的种类确定的。3.根据权利要求1或2所述的动态预测方法，其特征在于，所述基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵的步骤包括：使用预先训练的第一卷积神经网络基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵。4.根据权利要求3所述的动态预测方法，其特征在于，所述基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动的步骤包括：以所述待预测对象掩码矩阵中待预测对象的位置为中心依据预设视野窗尺寸对所述参照对象掩码矩阵进行裁剪以获得经裁剪的参照对象掩码矩阵；基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用；基于预设行为和所确定的作用预测所述待预测对象的运动。5.根据权利要求4所述的动态预测方法，其特征在于，还包括以下步骤：对所获得的经裁剪的参照对象掩码矩阵添加位置信息并基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用。6.根据权利要求4所述的动态预测方法，其特征在于，所述作用还包括预设的待预测对象自身的作用。7.根据权利要求1所述的动态预测方法，其特征在于，还包括以下步骤：从所述当前帧图像中提取时不变背景；结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。8.根据权利要求4所述的动态预测方法，其特征在于，还包括以下步骤：基于预先训练的第三卷积神经网络从所述当前帧图像中提取时不变背景；结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。9.根据权利要求8所述的动态预测方法，其特征在于，所述第三卷积神经网络设置为卷积反卷积结构。10.根据权利要求8所述的动态预测方法，其特征在于，所述第一卷积神经网络、所述第二卷积神经网络以及所述第三卷积神经网络是根据损失函数经统一训练获得的。11.根据权利要求1所述的动态预测方法，其特征在于，所述当前帧图像是基于原始数据或具有先验知识的外部输入数据获得的。12.一种动态预测系统，其特征在于，包括：获取单元，用于获取当前帧图像；对象检测单元，用于基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；预测单元，用于基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。13.根据权利要求12所述的动态预测系统，其特征在于，所述待预测对象掩码矩阵是基于所述待预测对象确定的，所述参照对象掩码矩阵是基于所述参照对象与所述...

【专利技术属性】
技术研发人员：张崇洁，朱广翔，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11