一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端，所述方法包括：获取图像序列中的第一图像帧和第二图像帧；将所述第一图像帧和第二图像帧输入预先训练的神经网络映射模型中，生成第一图像帧和第二图像帧的特征光流信息；基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点。因此，采用本申请实施例，可以通过特征光流信息进行特征点的追踪和匹配，从而提升追踪点的准确性。

【技术实现步骤摘要】
一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端
本专利技术涉及计算机
，特别涉及一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端。
技术介绍
光流(opticalflow)，本质上是三维场景下的物体运动投影到二维图像平面上，表现出的像素点亮度变化。光流法是在计算机视觉领域发展起来的图像运动分析技术，作为机器视觉领域的重要研究课题。基于光流法的运动分析是很多视觉任务的基础。目前的光流法主要包括Horn&Schunck(HS)和Lucas&Kanade(LK)法。HS和LK方法的提出均基于一个最基本的假设，即同一个像素点在相邻两帧图像内所显示的亮度(灰度值)是不变的。记一个在t时刻，位于坐标点(x,y)处的像素点的灰度为I(x,y,t)，设t+dt时刻，它运动到坐标点(x+dx,y+dy)处。由于灰度不变，可以得到灰度为I(x+dx,y+dy,t+dt)＝I(x,y,t)。由于在现实环境中，当获取的图像序列面临着明显的光照变化或者三维场景中的物体有着较大的运行状态时，光流估计就会有着较大的误差，从而影响追踪视觉特征点的准确性。
技术实现思路
本申请实施例提供了一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种图像特征光流信息生成方法，所述方法包括：获取图像序列中的第一图像帧和第二图像帧；将所述第一图像帧和第二图像帧输入预先训练的神经网络映射模型中，生成第一图像帧和第二图像帧的特征光流信息。可选的，所述获取图像序列中的第一图像帧和第二图像帧之前，还包括：创建双通道的图像金字塔神经网络模型；获取预先采集的图像数据样本；基于所述图像数据样本生成图像数据样本的真实光流信息图；利用所述图像数据样本的真实光流信息图对所述图像金字塔神经网络模型进行训练，生成神经网络映射模型。可选的，所述基于所述图像数据样本生成图像数据样本的真实光流信息图，包括：获取所述图像数据样本中各图像帧；将所述各图像帧作为各图像帧的背景图；将预设3D模型的不同位姿投影至所述各图像帧的背景图中，生成各图像帧的第一相关图像帧和第二相关图像帧；基于所述预设3D模型的不同位姿计算所述各图像帧的第一相关图像帧和第二相关图像帧对应的各像素点运动信息，生成各图像帧的真实光流信息图；将所述各图像帧的真实光流信息图作为图像数据样本的真实光流信息图。第二方面，本申请实施例提供了一种基于特征光流信息的视觉特征点追踪方法，所述方法包括：获取第一图像帧和第二图像帧的特征光流信息；基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点。可选的，所述基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点，包括：提取所述第一图像帧的特征点；解析所述第一图像帧和第二图像帧的特征光流信息，生成解析后的特征光流信息；利用所述第一图像帧的特征点和所述解析后的特征光流信息计算生成第二帧图像的特征点。可选的，所述利用所述第一图像帧的特征点和所述解析后的特征光流信息计算生成第二帧图像的特征点之后，还包括：利用RANSAC算法对所述第二帧图像的特征点筛选，去除跟踪失败的点生成去除失败点的第二帧图像的特征点；当所述去除失败点的第二帧图像的特征点大于和/或等于预设阈值时，将所述去除失败点的第二帧图像的特征点作为当前图像帧特征点。可选的，所述将所述去除失败点的第二帧图像的特征点作为当前图像帧特征点之后，还包括：判断针对当前图像帧是否存在下一图像帧；当不存在时，结束视觉特征点追踪。第三方面，本申请实施例提供了一种基于特征光流信息的视觉特征点追踪装置，所述装置包括：特征光流获取模块，用于获取第一图像帧和第二图像帧的特征光流信息；特征点追踪模块，用于基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点。第四方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。第五方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，用户终端首先获取图像序列中的第一图像帧和第二图像帧，然后将所述第一图像帧和第二图像帧输入预先训练的神经网络映射模型中，生成第一图像帧和第二图像帧的特征光流信息，最后基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点。由于本申请实施例使用预先训练的深度神经网络进行光流特征提取，然后用提取的光流信息用于特征追踪计算，从而降低了计算开销，提升了追踪点的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本申请实施例提供的一种基于特征光流信息的视觉特征点追踪方法的流程示意图；图2是本申请实施例提供的一种基于特征光流信息的视觉特征点追踪的神经网络模型示意图；图3是本申请实施例提供的一种视觉特征点追踪的网络结构示意图；图4是本申请实施例提供的另一种视觉特征点追踪的网络结构示意图；图5是本申请实施例提供的一种基于特征光流信息的视觉特征点追踪的过程示意框图；图6是本申请实施例提供的另一种基于特征光流信息的视觉特征点追踪方法的流程示意图；图7是本申请实施例提供的一种基于特征光流信息的视觉特征点追踪装置的装置示意图；图8是本申请实施例提供的一种终端的结构示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重本文档来自技高网...

【技术保护点】
1.一种图像特征光流信息生成方法，其特征在于，所述方法包括：/n获取图像序列中的第一图像帧和第二图像帧；/n将所述第一图像帧和第二图像帧输入预先训练的神经网络映射模型中，生成第一图像帧和第二图像帧的特征光流信息。/n

【技术特征摘要】
1.一种图像特征光流信息生成方法，其特征在于，所述方法包括：
获取图像序列中的第一图像帧和第二图像帧；
将所述第一图像帧和第二图像帧输入预先训练的神经网络映射模型中，生成第一图像帧和第二图像帧的特征光流信息。


2.根据权利要求1所述的方法，其特征在于，所述获取图像序列中的第一图像帧和第二图像帧之前，还包括：
创建双通道的图像金字塔神经网络模型；
获取预先采集的图像数据样本；
基于所述图像数据样本生成图像数据样本的真实光流信息图；
利用所述图像数据样本的真实光流信息图对所述图像金字塔神经网络模型进行训练，生成神经网络映射模型。


3.根据权利要求2所述的方法，其特征在于，所述基于所述图像数据样本生成图像数据样本的真实光流信息图，包括：
获取所述图像数据样本中各图像帧；
将所述各图像帧作为各图像帧的背景图；
将预设3D模型的不同位姿投影至所述各图像帧的背景图中，生成各图像帧的第一相关图像帧和第二相关图像帧；
基于所述预设3D模型的不同位姿计算所述各图像帧的第一相关图像帧和第二相关图像帧对应的各像素点运动信息，生成各图像帧的真实光流信息图；
将所述各图像帧的真实光流信息图作为图像数据样本的真实光流信息图。


4.一种基于特征光流信息的视觉特征点追踪方法，其特征在于，所述方法包括：
获取根据权利要求1或2所述的方法生成的第一图像帧和第二图像帧的特征光流信息；
基于所述第一图像帧和第二图像帧的特征光流信息追踪所述第二图像帧的特征点。


5.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像帧和第二图像帧的特...

【专利技术属性】
技术研发人员：向坤，唐荣富，闫野，徐登科，
申请(专利权)人：天津滨海人工智能军民融合创新中心，中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：天津;12