一种基于轻量化卷积神经网络的光流实时计算方法和系统技术方案

技术编号:40085233 阅读:38 留言:0更新日期:2024-01-23 15:21
本发明专利技术公开一种基于轻量化卷积神经网络的光流实时计算方法和系统,属于图像处理领域。包括:将实际场景的两个连续图像帧输入至预训练的轻量化卷积神经网络,得到第一、第二特征图、第一、第二得分图;从第一得分图中筛选出易于跟踪的第一特征点集,对第二特征图进行两次缩放,构建图像高斯金字塔;对于第一特征点集中每个点,采用金字塔LK光流法,得到两帧图像的光流计算结果。本发明专利技术通过轻量化卷积神经网络提取图像中不受光照影响的信息,基于该信息完成特征点提取和光流计算。由于网络十分轻量化,保证特征点提取性能的同时提高提取效率。提取到的信息包含更高层次的图像全局信息,几乎不受到光照影响,在高动态光照场景下同样适用。

【技术实现步骤摘要】

本专利技术属于图像处理,更具体地,涉及一种基于轻量化卷积神经网络的光流实时计算方法和系统


技术介绍

1、基于视觉的人工系统被广泛应用在机器人定位与建图、3d重建、目标跟踪领域。图像匹配是其中关键且基础的问题,目的是识别两张或多张图片中相同或相似的结构并将它们对应起来。光流估计作为一种重要的图像特征匹配方法,受到学者的广泛关注。光流估计使用的方法成为光流法。

2、光流法包括特征点提取和光流计算部分。特征点提取方法分为手工方法和学习方法,手工方法通过人工设定点的特征完成筛选,计算效率高但难以应用在复杂场景;学习方法通过添加复杂场景的数据集,有效提高特征点的提取效果,但其提取效率限制该方法在实际场景中的应用。两种方法都存在特征点聚集、不易跟踪、无法适应极端光照等问题。传统光流跟踪方法基于小位移和光照一致性假设展开研究,在简单场景中能够取得有效成果,然而真实场景中高动态光照、大位移、遮挡等复杂状态下计算准确性不足。

3、针对上述问题,公开号为cn116597170a的专利“基于机器学习的暗光图像的特征点提取方法”中,相机拍摄的图像经过小波本文档来自技高网...

【技术保护点】

1.一种基于轻量化卷积神经网络的光流实时计算方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述轻量化卷积神经网络通过以下方式预训练:

3.如权利要求2所述的方法,其特征在于,所述根据第一得分图和第二得分图,计算增强前后图像对的重投影误差,具体公式如下:

4.如权利要求2所述的方法,其特征在于,所述根据第一得分图和第二得分图,计算增强前后图像对的线性峰值误差,具体公式如下:

5.如权利要求2所述的方法,其特征在于,所述根据第一多通道描述子图和第二多通道描述子图,计算增强前后图像对的可靠性误差,具体公式如下:

6...

【技术特征摘要】

1.一种基于轻量化卷积神经网络的光流实时计算方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述轻量化卷积神经网络通过以下方式预训练:

3.如权利要求2所述的方法,其特征在于,所述根据第一得分图和第二得分图,计算增强前后图像对的重投影误差,具体公式如下:

4.如权利要求2所述的方法,其特征在于,所述根据第一得分图和第二得分图,计算增强前后图像对的线性峰值误差,具体公式如下:

5.如权利要求2所述的方法,其特征在于,所述根据第一多通道描述子图和第二多通道描述子图,计算增强前后图像对的可靠性误差,具体公式如下:

6.如权利要求1所述的方法,其特征在于,所述共享编码器包括:第一卷积层、第二卷积层和第三卷积层;第一卷积层、第二卷积层的卷积核大...

【专利技术属性】
技术研发人员:韩斌王硕林一成李卓昊
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1