基于多传感器融合的视觉导引AGV系统技术方案

基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二，阶段一是自适应学习阶段，阶段二是路面检测和路径规划阶段。本发明专利技术的优点：无需人工铺设导引标识，应用灵活，通用性强，能有效地降低AGV系统的整体构建成本；适用与多种复杂路况，以及各种天气条件；其自适应学习算法能有效的克服光照、阴影、车道线等因素对道路识别的影响。

【技术实现步骤摘要】
基于多传感器融合的视觉导引AGV系统
本专利技术涉及自动控制领域，特别是一种基于多传感器融合的视觉导引AGV系统。
技术介绍
自AGV诞生60多年以来，已经发展成为现代化生产物流系统中不可缺少的重要组成部分，并出现产业化发展的趋势。同时，AGV系统的应用范围已经从车间内的物料搬运扩展到各种应用领域，包括室外长距离的物料运输(如港口的物料运输和装卸，厂区内车间之间的物料运输等)，物流自动化仓库，服务机器人的自动导航(展馆，会场等)，以及智能汽车等。相对于室内的AGV系统，室外AGV导引技术发展仍然相对滞后。受到室外环境因素的影响，传统的导引技术无法扩展到室外。以电磁导引为例，如将电磁导引所需要的轨道铺设于室外环境，不仅带来高昂的构建、维护和扩展成本，同时系统极易受到天气条件的影响。基于色带的导引同样无法扩展至室外环境。
技术实现思路
本专利技术提供了一种适应多种复杂路况和各种天气条件的适用于室外的基于多传感器融合的视觉导引AGV系统。本专利技术采用的技术方案是：基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，其特征在于：所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二；阶段一是自适应学习阶段，其具体步骤如下：步骤[11]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；步骤[13]：道路样本自动选择，在边缘检测获得的边缘轮廓信息的基础上提取道路主体部分的左右道路边界，即近端近似直线部分，将左右道路边界交叉点下方的边界内部分的像素点确定为样本区域；步骤[14]：聚类分析，从确定的样本区域获得表征当前路面颜色和纹理特征的聚类中心点；阶段二是路面检测和路径规划阶段，其具体步骤如下：步骤[21]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[22]：像素分类，对采集的道路图像进行逐像素处理，提取每个像素点的特征向量，和聚类分析中得到的聚类中心点进行比较，将像素点归为道路区域或者非道路区域，道路区域的像素点为黑色，非道路区域的像素点为灰色；步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的细微连接；步骤[24]：从图像底部道路区域内选择若干种子点进行区域生长算法，获得道路的完整形状，置为白色路面；步骤[25]：道路的模式判断和道路中心线提取，根据白色路面的整体分布情况，判断当前所处道路模式是直线道路、转弯道路、十字路口或三岔路口，AGV的路径规划模块根据道路的形状和模式，针对岔路口和非岔路口选用不同的策略进行路径规划，提取相应的行进参考曲线；对于非岔路，使用高次曲线拟合白色路面的左右边界，将代表左右边界的高次曲线的参数进行加权平均获得AGV的行进参考曲线；对于岔路口，根据白色路面的整体形状和道路交叉位置，以及AGV当前位置和目标位置的相对关系，使用恰当的模板对部分路面进行屏蔽，将岔路口处的路径规划问题转换为非岔路情况下的路径规划；步骤[26]：行进策略的制定，上位机结合提取好的行进参考曲线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的驱动模块。进一步，阶段一触发的设定条件为距离上一次运行时间间隔超过设定的阈值Tmax或是路面检测过程持续获得无效的检测结果。进一步，步骤[11]和步骤[21]中的图像预处理包括图像滤波、白平衡处理，图像滤波采用均值滤波去除由图像采集设备以及路面纹理引入的细微噪点，白平衡处理采用如下公式进行处理：式中，R′，G′，B′为白平衡处理后的R，G，B值，Ravg，Gavg，Bavg是RGB各通道的灰度均值。进一步，步骤[12]的边缘检测需要将R，G，B三通道图像转换成灰度图像，利用Canny算子提取出道路图像中的边缘轮廓信息，边缘检测过程输出二值图像，白色像素指示边缘区域，黑色像素指示非轮廓区域。进一步，步骤[13]中采用远距离超声波检测模块验证样本区域的有效性。进一步，步骤[14]将采集的样本区域中每个像素点转换到6维的向量空间中：式中，Rnor，Gnor，Bnor是归一化的R，G，B均值，Contrast、Energy、Correlation是从以当前像素为中心，16×16模板的灰度共生矩阵提出的纹理特征，分别是：对比度，能量以及协方差，采用K均值聚类分析算法。进一步，在步骤[25]完成行进参考曲线的提取后，对参考曲线的参数进行卡尔曼滤波环节，步骤[25]中的白色路面的左右边界经过多次曲线拟合。进一步，步骤[26]中通过行进参考曲线上所有点的一阶导数平均值，判断道路的转向，将右转道路的平均曲率半径设置为负数，左转道路平均曲率半径设置为正数，根据曲率半径和偏移的不同，将当前路况分为四种方式进行处理，并分别调整AGV的速度值和转半径值，AGV的速度和转弯半径计算如下式所示：式中，是行进参考曲线的平均曲率半径，c1和c2是常数因子，Rmax是实际运行过程中作为转弯半径无穷大的常量值，offset是参考线的偏移值，Rreal和V分别是计算得出的AGV需要的转弯半径值和速度值。进一步，步骤[26]的驱动模块在行驶时通过近距离超声波测距模块检测视觉盲区，辅助AGV的转弯过程以及紧急避障。进一步，所述远距离超声波测距模块和图像采集设备安装在车体前端的同一垂线上，所述远距离超声波测距模块位于图像采集设备的下方。本专利技术的优点：无需人工铺设导引标识，应用灵活，通用性强，能有效地降低AGV系统的整体构建成本；适用与多种复杂路况(包括结构化道路和非结构化道路)以及各种天气条件；其自适应学习算法能有效的克服光照、阴影、车道线等因素对道路识别的影响，同时极大的减少了系统运行过程中的人工操作，通常，基于学习算法的道路识别系统需要大量的人工操作应用于样本的选择和训练。附图说明图1是本专利技术的车体结构示意图。图2是本专利技术的远距离超声波测距模块的探测距离和角度示意图。图3是本专利技术的近距离超声波测距仪安装位置以及探测距离角度示意图。图4是本专利技术的AGV视觉导引方法的步骤流程图。图5是本专利技术阶段一的边缘检测和样本选择的示意图。图6是本专利技术的聚类分析的结果示意图。图7是本专利技术阶段二的路面检测示意图。图8是本专利技术的行进参考曲线示意图。图9是本专利技术的行进参考曲线的偏移和曲率半径计算示意图。图10是本专利技术的曲率半径和偏移的四种情况示意图。具体实施方式下面结合具体实施例来对本专利技术进行进一步说明，但并不将本专利技术局限于这些具体实施方式。本领域技术人员应该认识到，本专利技术涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。参照图1-10，基于多传感器融合的视觉导引AGV系统，其硬件部件包括车体1，所述车体1的前侧安装有远距离超声波测距模块和图像采集设备2，所述车体1的两侧均布有近距离超声波测距模块2，所述车体1上安装有GPS定位模块和上位机4、电源模块和电机驱动模块5。本实施例车体1前部采用轮毂式电机以差动方式进本文档来自技高网...

【技术保护点】
基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，其特征在于：所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二；阶段一是自适应学习阶段，其具体步骤如下：步骤[11]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；步骤[13]：道路样本自动选择，在边缘检测获得的边缘轮廓信息的基础上提取道路主体部分的左右道路边界，即近端近似直线部分，将左右道路边界交叉点下方的边界内部分的像素点确定为样本区域；步骤[14]：聚类分析，从确定的样本区域获得表征当前路面颜色和纹理特征的聚类中心点；阶段二是路面检测和路径规划阶段，其具体步骤如下：步骤[21]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[22]：像素分类，对采集的道路图像进行逐像素处理，提取每个像素点的特征向量，和聚类分析中得到的聚类中心点进行比较，将像素点归为道路区域或者非道路区域，道路区域的像素点为黑色，非道路区域的像素点为灰色；步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的细微连接；步骤[24]：从图像底部道路区域内选择若干种子点进行区域生长算法，获得道路的完整形状，置为白色路面；步骤[25]：道路的模式判断和道路中心线提取，根据白色路面的整体分布情况，判断当前所处道路模式是直线道路、转弯道路、十字路口或三岔路口，AGV的路径规划模块根据道路的形状和模式，针对岔路口和非岔路口选用不同的策略进行路径规划，提取相应的行进参考曲线；对于非岔路，使用高次曲线拟合白色路面的左右边界，将代表左右边界的高次曲线的参数进行加权平均获得AGV的行进参考曲线；对于岔路口，根据白色路面的整体形状和道路交叉位置，以及AGV当前位置和目标位置的相对关系，使用恰当的模板对部分路面进行屏蔽，将岔路口处的路径规划问题转换为非岔路情况下的路径规划；步骤[26]：行进策略的制定，上位机结合提取好的行进参考线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的驱动模块。...

【技术特征摘要】
1.基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，其特征在于：所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二；阶段一是自适应学习阶段，其具体步骤如下：步骤[11]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；步骤[13]：道路样本自动选择，在边缘检测获得的边缘轮廓信息的基础上提取道路主体部分的左右道路边界，即近端近似直线部分，将左右道路边界交叉点下方的边界内部分的像素点确定为样本区域；步骤[14]：聚类分析，从确定的样本区域获得表征当前路面颜色和纹理特征的聚类中心点；阶段二是路面检测和路径规划阶段，其具体步骤如下：步骤[21]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；步骤[22]：像素分类，对采集的道路图像进行逐像素处理，提取每个像素点的特征向量，和聚类分析中得到的聚类中心点进行比较，将像素点归为道路区域或者非道路区域，道路区域的像素点为黑色，非道路区域的像素点为灰色；步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的连接；步骤[24]：从图像底部道路区域内选择若干种子点进行区域生长算法，获得道路的完整形状，置为白色路面；步骤[25]：道路的模式判断和道路中心线提取，根据白色路面的整体分布情况，判断当前所处道路模式是直线道路、转弯道路、十字路口或三岔路口，AGV的路径规划模块根据道路的形状和模式，针对岔路口和非岔路口选用不同的策略进行路径规划，提取相应的行进参考曲线；对于非岔路，使用高次曲线拟合白色路面的左右边界，将代表左右边界的高次曲线的参数进行加权平均获得AGV的行进参考曲线；对于岔路口，根据白色路面的整体形状和道路交叉位置，以及AGV当前位置和目标位置的相对关系，使用恰当的模板对部分路面进行屏蔽，将岔路口处的路径规划问题转换为非岔路情况下的路径规划；步骤[26]：行进策略的制定，上位机结合提取好的行进参考曲线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的电机驱动模块。2.根据权利要求1所述的基于多传感器融合的视觉导引AGV系统，其特征在于：阶段一触发的设定条件为距离上一次运行时间间隔超过设定的阈值Tmax或是路面检测过程持续获得无效的检测结果。3.根据权利要求1或2所述的基于多传感器融合的视觉导引AGV系统，其特征在于：...

【专利技术属性】
技术研发人员：林志赟，张雪菁，
申请(专利权)人：杭州精久科技有限公司，
类型：发明
国别省市：浙江;33