基于单目视觉与激光测距阵列的环境感知融合方法及系统技术方案

本发明专利技术公开了一种基于单目视觉与激光测距阵列的环境感知融合方法及系统，包括MCU电路、N个摄像头及N个激光测距阵列，所述摄像头及激光测距阵列分别与MCU电路连接，每个激光测距阵列的上方设置一个摄像头，N个激光测距阵列实现移动机器人的360度环境感知，相邻摄像头间隔角度差为360/N度，每个激光测距阵列包括M个激光测距模块，相邻激光测距模块的角度差为360/N

【技术实现步骤摘要】
基于单目视觉与激光测距阵列的环境感知融合方法及系统


[0001]本专利技术涉及移动机器人环境感知
，具体涉及基于单目视觉与激光测距阵列的环境感知融合方法及系统。

技术介绍

[0002]移动机器人环境感知技术是指移动机器人能够根据自身携带的传感器对所处环境进行信息的获取，提取环境中的有效信息，加以理解，最终得到所处环境的模型。移动机器人环境感知技术是实现机器人定位与导航的前提，视觉传感器是移动机器人环境感知系统中使用最为广泛的传感器，它获取的信息丰富、结构简单，通常与激光雷达、超声波传感器等传感器组合成为视觉系统。激光雷达拥有测量距离范围广、精度高、响应速度快等优点，能够给视觉提供较好的环境深度信息，但是激光雷达的价格昂贵；超声波传感器价格低，但是它的分辨率低、响应速度慢，无法与视觉信息较好地融合。

技术实现思路

[0003]为了克服现有技术存在的缺点与不足，本专利技术提供一种基于单目视觉与激光测距阵列的环境感知融合方法及系统。
[0004]本专利技术采用如下技术方案：
[0005]一种基于单目视觉与激光测距阵列的环境感知融合系统，包括MCU电路、N个摄像头及N个激光测距阵列，所述摄像头及激光测距阵列分别与MCU电路连接，每个激光测距阵列的上方设置一个摄像头，N个激光测距阵列实现移动机器人的360度环境感知，相邻摄像头间隔角度差为360/N度，每个激光测距阵列包括M个激光测距模块，相邻激光测距模块的角度差为360/N
×
M。
[0006]进一步，每个激光测距阵列的测量范围大于对应摄像头的视野范围。
[0007]进一步，包括四个摄像头及四个激光测距阵列，相邻摄像头间隔90度角，每个激光测距阵列包括五个激光测距模块实现前方90度的探测，相邻两个激光测距模块的平面夹角18
°
。
[0008]进一步，所述激光测距模块包括激光测距传感器，型号为VL53L1X。
[0009]进一步，所述摄像头的型号OV5640，其视场角为63
°
，其中三个激光测距模块位于摄像头的视野范围内。
[0010]进一步，所述融合方法包括如下：
[0011]S1初始化摄像头及激光测距模块，所述激光测距模块为五个，分别为第一、第二、第三、第四及第五激光测距模块；
[0012]S2摄像头获取一帧图像，输入MCU电路，得到位于摄像头视野范围内的第二、第三及第四激光测距模块的测距信息D2、D3及D4，进一步得到三个测距信息中的最小距离值d
min
；
[0013]S3最小距离值与设定的避障距离阈值进行比较，若小于避障距离阈值，则执行S6
避障流程，若大于避障距离阈值，则执行下一步骤；
[0014]S4将获得的障碍物与地板间的边界从世界坐标系投影至像素坐标系，得到障碍物与地板间的边界在像素坐标系中的v轴坐标v1；
[0015]S5从图像中分割出含有障碍物的子图像，并处理后进行障碍物边缘提取，得到视野内障碍物在像素图像中的左右边界信息；
[0016]S6执行避障流程。
[0017]进一步，执行避障流程之前还包括设置优先级步骤，具体为：
[0018]将机器人前方45
°
到135
°
的区域划分为五个扇区，每个扇区内都包含一个偏转方向，相邻两个偏转方向间隔18
°
，每个扇区占有的角度为18
°
，五个扇区分别映射到像素坐标U轴的I、II、III、IV、V五个分区，其中分区III的优先级为1，分区II和IV的优先级为2，分区I和V的优先级为3，机器人优先向高优先级区域进行偏转。
[0019]进一步，所述避障流程包括：
[0020]首先，根据障碍物边界信息判断五个分区中是否含有障碍物，对于分区II、III、IV，根据障碍物左右边界的u轴坐标来判断分区内是否含有障碍物；对于分区I和V，根据第一及第五激光测距模块测得的距离值来判断，若激光测距模块的距离值小于避障阈值d
th
，则代表分区内有障碍物；
[0021]接着获取最优的偏转方向，若分区III内没有障碍物，系统保持原方向不变偏转角度为0
°
；若分区III内含有障碍物，分区II或IV内没有障碍物，则机器人向分区II或IV内的偏转方向旋转，若分区II和IV内都不含障碍物，则需要根据分区I和分区V的信息做判断，若分区I和分区V都含有或都未含有障碍物，则机器人随机向分区II或IV内的偏转方向旋转，若分区I内含有障碍物并且分区V内没有障碍物，机器人向分区II内的偏转方向旋转，反之，向分区IV内的偏转方向旋转；若分区I、II、III内都含有障碍物，并且分区I或V内没有障碍物，机器人向分区I或分区V内的偏转方向旋转，否则随机向其中一个方向旋转。
[0022]进一步，所述融合方法还包括：
[0023]摄像机参数标定，确定摄像机倾斜角及得到被测物体在像素坐标v轴上的近似投影位置。
[0024]进一步，S5中得到视野内障碍物在像素图像中的左右边界信息，具体为：
[0025]对于左边界，从子图像第一列开始，遍历到最后一列，得到的第i个左边界，满足以下条件：列数为第i列并且该列所有像素点的值不全为零，或者该列所有像素点的值不全为零并且前一列所有像素点的值都为零，记录下该左边界的列数L
i
，最终得到一个左边界点的集合L＝{L1,...,L
i
}；
[0026]对于右边界，从子图像的最后一列开始，遍历到第一列，得到的第i个右边界满足以下条件：列数为最后一列并且该列所有像素点的值不全为零，或者该列所有像素点的值不全为零并且后一列所有像素点的值都为零，记录下该左边界所在的列数R
i
，最终得到一个右边界的集合R＝{R1,...,R
i
}，最后将集合L中的L
j
和集合R中的R
i
‑
j
进行配对，得到视野中多个障碍物的左右边界信息。
[0027]本专利技术的有益效果：
[0028](1)本专利技术把单目相机和激光测距传感器阵列结合起来，成本低、精度高，可广泛应用于自主机器人(如扫地机器人等)的组成部件中。
[0029](2)机器视觉的软件部分采用OpenMV方式来实现，通过激光测距阵列对视觉处理区域的提取，大大减少视频图像数据量，使得采用通用STM32H7单片机就可以完成机器视觉的软件运行，实现了低成本。
[0030](3)将激光测距阵列的信息与视觉信息相融合，结合坐标系转换，估算出被测物体在像素坐标的投影，无需处理整幅图像，提高了障碍物检测的速度，特别适合高度较低的贴着地面运行的扫地机器人等自主系统。
[0031](4)采用MCU完成整个系统的激光测距和图像处理，功耗低，不到1.5W，具有良好的应用前景。
附图说明
[0032]图1是本专利技术的结构示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉与激光测距阵列的环境感知融合系统，其特征在于，包括MCU电路、N个摄像头及N个激光测距阵列，所述摄像头及激光测距阵列分别与MCU电路连接，每个激光测距阵列的上方设置一个摄像头，N个激光测距阵列实现移动机器人的360度环境感知，相邻摄像头间隔角度差为360/N度，每个激光测距阵列包括M个激光测距模块，相邻激光测距模块的角度差为360/N
×
M。2.根据权利要求1所述的环境感知融合系统，其特征在于，每个激光测距阵列的测量范围大于对应摄像头的视野范围。3.根据权利要求1或2所述的环境感知融合系统，其特征在于，包括四个摄像头及四个激光测距阵列，相邻摄像头间隔90度角，每个激光测距阵列包括五个激光测距模块,每个激光测距模块实现前方90度的探测，相邻两个激光测距模块的平面夹角18
°
。4.根据权利要求3所述的环境感知融合系统，其特征在于，所述激光测距模块包括激光测距传感器，型号为VL53L1X。5.根据权利要求3所述的环境感知融合系统，其特征在于，所述摄像头的型号OV5640，其视场角为63
°
，其中三个激光测距模块位于摄像头的视野范围内。6.一种实现权利要求3所述的环境感知融合系统的融合方法，其特征在于，包括如下：S1初始化摄像头及激光测距模块，所述激光测距模块为五个，分别为第一、第二、第三、第四及第五激光测距模块；S2摄像头获取一帧图像，输入MCU电路，得到位于摄像头视野范围内的第二、第三及第四激光测距模块的测距信息D2、D3及D4，进一步得到三个测距信息中的最小距离值d
min
；S3最小距离值与设定的避障距离阈值进行比较，若小于避障距离阈值，则执行S6避障流程，若大于避障距离阈值，则执行下一步骤；S4将获得的障碍物与地板间的边界从世界坐标系投影至像素坐标系，得到障碍物与地板间的边界在像素坐标系中的v轴坐标v1；S5从图像中分割出含有障碍物的子图像，并处理后进行障碍物边缘提取，得到视野内障碍物在像素图像中的左右边界信息；S6执行避障流程。7.根据权利要求6所述的融合方法，其特征在于，执行避障流程之前还包括设置优先级步骤，具体为：将机器人前方45
°
到135
°
的区域划分为五个扇区，每个扇区内都包含一个偏转方向，相邻两个偏转方向间隔18
°
，每个扇区占有的角度为18
°
，五个扇区分别映射到像素坐标U轴的I、II、III、IV、...

【专利技术属性】
技术研发人员：李向阳，赵明君，孙宗海，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：