一种基于光流和视图几何约束的图像静态区域提取方法及装置制造方法及图纸

本发明专利技术公开了一种基于光流和视图几何约束的图像静态区域提取方法及装置。对获取图像进行滤波预处理并提取带有方向信息的特征角点；预处理特征点集后，对特征点集进行匹配，使用稀疏光流法计算光流矢量场，初步分离静态特征点；再进一步对静态特征点使用对极几何约束验证，优化静态特征点的分离结果；最后对非静态特征点进行聚类，划分其像素区域，通过图像形态学处理后，输出图像静态区域，提供给视觉SLAM进行定位和地图构建。本发明专利技术结合特征光流和几何约束，解决了动态目标对视觉SLAM系统的干扰，提升视觉SLAM系统在动态环境下的定位与建图精度；同时能保证系统的实时性，实现可靠、快速、高精度、低延迟的视觉定位及建图系统。低延迟的视觉定位及建图系统。低延迟的视觉定位及建图系统。

An image static region extraction method and device based on optical flow and view geometric constraints

【技术实现步骤摘要】
一种基于光流和视图几何约束的图像静态区域提取方法及装置


[0001]本专利技术涉及计算机视觉和移动机器人定位
，具体涉及一种基于光流和视图几何约束的图像静态区域提取方法及装置。

技术介绍

[0002]近几年来计算机视觉和机器人成为一个热点的研究方向，其中最为基础的研究就是机器人自身的定位问题，同时定位和地图构建(SALM)技术被广泛的应用在机器人的定位、导航和避障上。机器人的传感器种类丰富，视觉传感器有着价格便宜和信息量多的优点，被广泛地运用于SLAM技术中。传统的同步定位与地图构建技术专注于研究无移动目标的理想静态场景，场景中动态目标能够导致摄像机位姿计算出现偏差从而致使整个视觉SLAM系统定位失准。纯静态的假设在现实环境中并不适用，适用于动态环境下的SLAM是该技术的一个研究热点。
[0003]随着深度学习技术的发展，深度学习方法在目标识别和语义分割方面有着不错的效果。但绝大部分深度学习网络需要有GPU做加速支持，才能达到一个实时的检测效果，不符合目前移动机器人实际的硬件情况。目前使用计算机视觉的识别方法是大部分针对特定场景所设计，通用性差，且精度不高。

技术实现思路

[0004]本专利技术目的在于针对现有技术的不足，提出一种基于光流和视图几何约束的图像静态区域提取方法及装置，应用到一个视觉SLAM系统，能去除动态目标对SLAM系统的干扰，提升视觉SLAM系统在动态环境下的定位与建图精度。
[0005]本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种基于光流和视图几何约束的图像静态区域提取方法，该方法包括以下步骤：
[0006]步骤1、将待处理的若干彩色图像转换为灰度图像；
[0007]步骤2、对每一帧灰度图像进行高斯滤波后，进行特征提取，同时使用图像金字塔处理，提取FAST角点并进行均匀化处理，使用灰度质心法计算出FAST角点方向信息，FAST角点和其方向信息构成一个特征点，每一帧灰度图像提取的特征点构成一个特征点集。
[0008]步骤3、通过相邻两帧灰度图像的特征点方向信息和欧式距离差，过滤待匹配的相邻两帧灰度图像特征点集，减小匹配的搜索范围；
[0009]步骤4、对过滤的相邻两帧的特征点集进行光流计算，得到光流矢量场；对计算好的光流矢量场，基于强度和方向一致性去除误匹配，聚类得到背景光流矢量场，同时得到背景光流矢量场的特征点集；
[0010]步骤5、对背景光流矢量场的特征点集进行视图几何约束进一步验证匹配情况，使用渐进一致采样PROSAC(Progressive Sampling Consensus)方法求解本质矩阵，进行对极几何校验进一步优化匹配结果；
[0011]步骤6、在经过视图几何约束后，对相邻两帧灰度图像中的剩余未匹配或匹配失败的特征点进行聚类，聚类后进行去噪处理，提取出每类特征点数量大于数量阈值的聚类后的点集，初步认定为动态物体上的特征点集，使用最小凸变形包围各动态物体特征点集，当凸包面积小于面积阈值时，认定为误判，保留大于面积阈值的点集；
[0012]步骤7、将各凸包所在像素位置叠加到二值化图像上，去除动态物体区域，得到剩下的图像静态区域。
[0013]进一步地，所述步骤2中，对图像进行高斯滤波处理的具体过程为：对整幅图像进行加权平均，具体如下：
[0014]图像中每一个像素点的值，均由其本身和邻域内的其他像素值经过加权平均后得到，高斯滤波公式如下：
[0015][0016]其中σ是邻域内所有像素点的值的标准差，x,y是像素坐标。
[0017]进一步地，所述步骤2中，FAST角点均匀化的具体过程为：将整幅图像进行分块，每一分块中被检测出的角点按其V值大小进行排序，保留V值大于检测阈值t的n个角点，当出现有分块所检测出的角点不足n个时，对该分块降低检测阈值t后重新检测角点；防止角点在局部区域聚簇，使用邻近点剔除策略，用一个滑动窗口对整幅图像进行处理，保留滑动窗口内V值最大的角点，从而剔除邻近点，避免角点聚簇；检测角点得分函数计算公式如下：
[0018][0019]其中，p是中心像素值，t是检测阈值，pixel values是像素值，对应于像素中心的N个相邻像素。
[0020]进一步地，所述步骤3中，进行特征点匹配，两特征点的位移估算公式如下：
[0021][0022]其中为估算位移，f(x
p
,y
p
,t
k
)表示第k帧图像的第p个特征点，x
p
和y
p
分别表示第p个特征点在图像像素坐标系下的x坐标及y坐标，t
k
表示图像流在时间序列上第k帧图像，d1和d2是特征点在图像像素坐标系下的偏移量，B表示该帧的特征点集。
[0023]两特征点匹配的判定公式如下：
[0024][0025]其中t为设置的判定阈值，当T＝1时，表示特征点匹配。
[0026]进一步地，所述步骤4中，聚类背景光流矢量场的具体过程为：根据同一目标上的点的光流近似相同，将光流进行聚类；衡量两个光流(u1,v1)和(u2,v2)相似性的测度函数为：
[0027][0028]其中，η是误差的阶。设定一个比较小的阈值D
th
，一旦两个光流矢量间的测度函数D＜D
th
就将此二光流合并为一类，并计算类的平均光流；当判断某一光流矢量能否归并到某类中时，需衡量该光流与类的平均光流的测度函数。
[0029]进一步地，所述步骤4中，其中基于强度和方向一致性去除误匹配方法具体步骤如下：
[0030](1)设匹配点对连线长度的集合为map
d
，其斜率集合为map
k
；
[0031](2)统计每对匹配点对连线的长度d
ij
∈map
d
、斜率k
ij
∈map
k
，选取map
d
中长度进行分段统计，选取包含长度样本数量最多的长度段的平均值作为长度的基准，设为D，选取map
k
中的斜率进行分段统计，选取包含斜率样本数量最多的斜率段的平均值作为斜率的基准，设为K；
[0032](3)设置匹配连线长度的误差范围为m；设置匹配连线斜率的误差范围为n。
[0033](4)当D
‑
m≤d
ij
≤D+m时，保留该匹配点对连线，否则删除；同理，当K
‑
n≤k
ij
≤K+n时，保留该匹配点对连线，否则删除。
[0034]进一步地，所述步骤5中，视图几何约束的对极几何约束描述为:
[0035]对于图像I1上的任意一个像素点其在图像I2上的对应的极线l
i
:A
i
x+B
i
y+C
i
＝0和匹配点满足如下公式：
[0036][0037]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流和视图几何约束的图像静态区域提取方法，其特征在于，所述方法包括如下步骤：步骤1、将待处理的若干彩色图像转换为灰度图像；步骤2、对每一帧灰度图像进行高斯滤波后，进行特征提取，同时使用图像金字塔处理，提取FAST角点并进行均匀化处理，使用灰度质心法计算出FAST角点方向信息，FAST角点和其方向信息构成一个特征点，每一帧灰度图像提取的特征点构成一个特征点集。步骤3、通过相邻两帧灰度图像的特征点方向信息和欧式距离差，过滤待匹配的相邻两帧灰度图像特征点集，减小匹配的搜索范围；步骤4、对过滤的相邻两帧的特征点集进行光流计算，得到光流矢量场；对计算好的光流矢量场，基于强度和方向一致性去除误匹配，聚类得到背景光流矢量场，同时得到背景光流矢量场的特征点集；步骤5、对背景光流矢量场的特征点集进行视图几何约束进一步验证匹配情况，使用渐进一致采样PROSAC(Progressive Sampling Consensus)方法求解本质矩阵，进行对极几何校验进一步优化匹配结果；步骤6、在经过视图几何约束后，对相邻两帧灰度图像中的剩余未匹配或匹配失败的特征点进行聚类，聚类后进行去噪处理，提取出每类特征点数量大于数量阈值的聚类后的点集，初步认定为动态物体上的特征点集，使用最小凸变形包围各动态物体特征点集，当凸包面积小于面积阈值时，认定为误判，保留大于面积阈值的点集；步骤7、将各凸包所在像素位置叠加到二值化图像上，去除动态物体区域，得到剩下的图像静态区域。2.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法，其特征在于，所述步骤2中，对图像进行高斯滤波处理的具体过程为：对整幅图像进行加权平均，具体如下：图像中每一个像素点的值，均由其本身和邻域内的其他像素值经过加权平均后得到，高斯滤波公式如下：其中σ是邻域内所有像素点的值的标准差，x,y是像素坐标。3.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法，其特征在于，所述步骤2中，FAST角点均匀化的具体过程为：将整幅图像进行分块，每一分块中被检测出的角点按其V值大小进行排序，保留V值大于检测阈值t的n个角点，当出现有分块所检测出的角点不足n个时，对该分块降低检测阈值t后重新检测角点；防止角点在局部区域聚簇，使用邻近点剔除策略，用一个滑动窗口对整幅图像进行处理，保留滑动窗口内V值最大的角点，从而剔除邻近点，避免角点聚簇；检测角点得分函数计算公式如下：其中，p是中心像素值，t是检测阈值，pixel values是像素值，对应于像素中心的N个相邻像素。
4.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法，其特征在于，所述步骤3中，进行特征点匹配，两特征点的位移估算公式如下：其中为估算位移，f(x
p
,y
p
,t
k
)表示第k帧图像的第p个特征点，x
p
和y
p
分别表示第p个特征点在图像像素坐标系下的x坐标及y坐标，t
k
表示图像流在时间序列上第k帧图像，d1和d2是特征点在图像像素坐标系下的偏移量，B表示该帧的特征点集。两特征点匹配的判定公式如下：其中t为设置的判定阈值，当T＝1时，表示特征点匹配。5.根据权利要求1所述的一种基于光流和视图几何约束的图像静态区域提取方法，其特征在于，所述步骤4中，聚类背景光流矢量场的具体过程为：根据同一目标上的点的光流近似相同，将光流进行聚类；衡量两个光流(u1,v1)和(u2,v2)相似性的测度函数为：其中，η是误差的阶。设定一个比较小的阈值D

【专利技术属性】
技术研发人员：陆龙飞，林志赟，韩志敏，王博，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：