基于多传感器融合的非结构化环境理解方法技术

本发明专利技术公开了一种基于多传感器融合的非结构化环境理解方法。首先进行各个视觉传感器特征信息的配准与对齐，投影到当前车辆坐标系下；其次采用基于置信度加权的道路边沿特征提取方法，提取出融合的道路边沿；然后对融合的道路边沿进行帧间数据比较判断，获得较为稳定的道路边沿；再次从三位雷达数据中提取出可通行区域，和从视觉传感器获得稳定的道路边沿进行融合，获得最优道路边沿信息；最后进行道路边沿结果的帧间融合，减小帧间数据的变化。最终实现对非结构化环境稳定可靠的理解。本发明专利技术采用基于置信度加权的路边融合算法，解决单个传感器或者单帧数据道路边沿特征不能有效提取的问题。

【技术实现步骤摘要】

本专利技术属于智能信息处理
，特别是一种。
技术介绍
智能移动平台处于某个环境中，要实现在未知环境下的自主导航。智能体必须知道自己处在什么样的环境中，具体在什么位置和方位，周围哪些地方是安全区域，哪些地方存在危险，而且必须准确知道危险所在的位置，这些都必须以有效而可靠的环境感知为基石出。由于智能移动平台的工作环境不是光照、景物等相对恒定的室内环境，而是光照、景物、天气、季节及地理位置都复杂多变的室外环境。并且单一传感器本身具有局限性，单一传感器难以提供环境的全面描述，因此如今的智能移动平台基本上都配备了多种传感器。它们在不同频段，不同方位同时工作，按照一定频率获取其自身位置和外部环境的信息。这些信息之某种程度上可能具有冗余性，也具有互补性，系统必须采用某种处理机制和方法对这些多源的信息进行必要的处理，并将其数据整合到当前智能体的世界中，达到对自身和外部环境信息的统一的，一致的描述，给予智能体当前环境的感知。智能移动平台的视觉感知系统完成对环境内部模型的外部观测任务，需实时维持对外部环境描述的更新，但是各传感器对外部信息的观察总是有误差的，创建局部地图时，系统需对这些观测到不确定性进行建模，并分析来自多传感器信息的不确定度对决策所造成的影响，并考虑采用何种融合结构和方法尽可能消除不确定性的影响，达到对环境更可靠的描述。因此，智能移动平台的多传感器系统必须考虑多传感器的管理以及具体的传感器间的融合方法等。信息融合主要在特征上进行，其中主要包括多传感器标定技术、特征匹配技术、传感器建模技术、数据融合技术、障碍物检测技术等。多种传感器的信息，经过信息融合模块，使局部规划模块得到环境的局部模型信息。另外，智能移动平台的当前位置和姿态信息是关系到其能否正确完成导航认为的关键因素之一。目前这些信息主要采用惯性导航系统和全球定位系统(GPQ等方法来获取。由于乡村道路具有以下特点(1)道路表面覆盖物多种多样，可能是泥土、砂石、浙青和水泥；(2)道路宽度变化大，有些地方路面较宽，有些地方路面较窄，只能允许一辆车通过；(3)道路边界变化多样，大多是人工铺设路面与自然景物(植物)相交形成的道路边界，因此不能用简单的直线飙升，并且会随着季节变化；(4)道路平整度较差，可能凹凸不平，影响车辆的行驶速度；(5)路面存在多种多样的随机出现的静态或者动态障碍。因此已有的基于多传感器融合的环境理解方法不能很好的解决非结构化的乡村道路环境理解问题。
技术实现思路
本专利技术所解决的技术问题在于提供一种，将不同频段，不同方位同时工作的多个传感器信息感知融合在一起，从而提高智能系统对局部环境感知理解的可靠性。实现本专利技术目的的技术解决方案为一种，包括以下步骤步骤1、在车辆顶部设置两个以上视觉传感器来获取前方道路的视觉图像信息；在车辆顶部设置一个三维激光雷达传感器，在车辆头部设置两个单线雷达，用于获取车身周围的激光雷达信息；步骤2、从各个视觉传感器获得的道路图像中提取出道路的边沿特征信息Rs (i代表传感器序号)，同时给该特征信息打上时间戳，该时间戳对应采集图像时车辆的位姿以及在全局坐标系统下的坐标；步骤3、对边沿特征信息Rs进行预处理，具体是将道路边沿特征信息从图像坐标系转化到车辆当前的世界坐标系中，形成车辆世界坐标系下的道路边沿特征信息Rw ；步骤4、判断历史信息缓冲数组1 是否满，如果不满，则将道路边沿特征信息Rw保存在历史信息缓冲数组Mi中，转入步骤5 ；否则使用历史信息缓冲数组1 对道路边沿特征信息Rw的边界属性进行判断，如果边界属性正确，则将Rw保存于Mi中，如果边界属性错误，则调整该道路边沿特征信息的边界属性，最后将Rw保存在Mi中；步骤5、基于置信度加权的路边特征融合，首先将历史信息缓冲数组Mi中的所有道路边沿特征信息进行置信度分析处理，然后采用基于置信度加权的道路边沿特征时空融合算法，提取出最可信的道路边沿特征Rf ；步骤6、将提取出的道路边沿特征信息Rf与历史道路边沿特征融合信息IC1进行帧间融合处理，获得融合后的特征信息Rm ；步骤7、在三维激光雷达数据中提取出道路的可通行区域Rr ；步骤8、使用步骤7提取的道路的可通行区域Rr对当前融合边I^m进行约束，得到激光雷达与视觉融合的最优特征信息Rm ；步骤9、对当前融合边进行平滑处理，具体是将当前融合边Rm和历史融合数据Rnrl进行平滑处理，使当前融合边Rm与历史融合数据Rnrl相比，路边的横向位移减小，且不超过设定的横向位移阈值，实现对非结构化环境的理解。本专利技术与现有技术相比，其显著优点为1)采用基于置信度加权的路边融合算法，解决单个传感器或者单帧数据道路边沿特征不能有效提取的问题；2)对置信度加权融合后的路边进行帧间融合，使融合的结果更加稳定；3)采用利用激光雷达数据提取可通行区域的边界来约束通过视觉传感器提取的最优道路边沿特征，解决视觉传感器在阴影或者障碍物阻碍时不能很好提取道路边沿特征情况；4)对于约束后的结果，进行帧间平滑处理，使融合的结果更加稳定。下面结合附图对本专利技术作进一步详细描述。附图说明图1是本专利技术一种的流程图。图2是本专利技术一种的基于雷达数据提取可通行区域边界的流程图。图3是本专利技术一种的实施例效果图。其中图(a)为可见光摄像机1道路边沿特征点提取效果图，图(b)为可见光摄像机2道路边沿特征点提取效果图，图(c)为红外摄像机1道路边沿特征点提取效果图，图(d)为三维激光雷达道路边沿特征提取效果图，图(e )为多传感器融合的复杂环境理解二维平面效果图。具体实施例方式结合图1，一种，包括以下步骤步骤1、在车辆顶部设置两个以上视觉传感器来获取前方道路的视觉图像信息；在车辆顶部设置一个三维激光雷达传感器，在车辆头部设置两个单线雷达，用于获取车身周围的激光雷达信息；由于三维激光雷达安装在车辆顶部，在车辆周围，特别是车头前面具有盲区，所以在车头前面安装两个单线雷达，消除车辆周围，特别是车头前面的雷达盲区，获得车身周围的障碍物信息；步骤2、从各个视觉传感器获得的道路图像中提取出道路的边沿特征信息Rs(i代表传感器序号)，同时给该特征信息打上时间戳，该时间戳对应采集图像时车辆的位姿以及在全局坐标系统下的坐标；所述全局坐标系统为大地坐标系下的笛卡尔坐标系统，原点位置可以任意设定；步骤3、对边沿特征信息Rs进行预处理，具体是将道路边沿特征信息从图像坐标系转化到车辆当前的世界坐标系中，形成车辆世界坐标系下的道路边沿特征信息Rw ；步骤4、判断历史信息缓冲数组1 是否满，如果不满，则将道路边沿特征信息Rw保存在历史信息缓冲数组他中，转入步骤5 ；否则使用历史信息缓冲数组Mi对道路边沿特征信息Rw的边界属性进行判断，如果边界属性正确，则将Rw保存于Mi中，如果边界属性错误，则调整该道路边沿特征信息的边界属性，最后将Rw保存在Mi中；使用历史信息缓冲数组Mi对道路边沿特征信息Rw的边界属性进行判断并调整该道路边沿特征信息的边界属性具体为步骤41、判断历史信息缓冲队列1 是否已满，如果缓冲队列不满或者其稳定稳定程度低于50%，则退出对当前道路边属性的判断，否则执行下一步；步骤42、计算车辆世界坐标系下的道路边沿特征信息Rw与历史信息缓冲数组Mi之间对应边及对称边的距离，如果当前道路本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：唐振民，陆建峰，刘家银，诸葛程晨，赵春霞，杨静宇，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：