一种基于多传感器融合的环境建模及路径规划方法技术

本发明专利技术公开了一种基于多传感器融合的环境建模及路径规划方法，同时采集无人车上相机视场内的图像和激光点云数据；根据图像和激光点云数据生成稠密点云深度图；以稠密点云深度图中的坐标值为输入，结合径向基神经网络，构建相机视场内的环境模型；以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定无人车的路径规划轨迹点序列；本发明专利技术将将激光点云数据和相机的图像进行融合作为环境模型构建的输入数据，障碍物的位置信息可以作为输入权重应用到环境建模中，可以增加环境模型中野外凹凸障碍物的定位准确性，而且降低了搜索时间。

【技术实现步骤摘要】
一种基于多传感器融合的环境建模及路径规划方法
本专利技术属于无人系统自主感知和障碍规避
，尤其涉及一种基于多传感器融合的环境建模及路径规划方法。
技术介绍
社会和科学的飞速发展给智能系统的研究带来了更广泛的技术支持。随着传感器和计算机技术的发展，地面智能移动无人平台的研究不断地深入，无人车系统即其中一个典型代表。无人车因行动灵活、可操纵性强、载荷大等特点，常常用来代替人类执行危险、复杂度高、重复性强的任务，比如侦查、搜救、运输、考古勘探、样本采集、军事打击等。地面移动无人车的研究工作对于未来无人系统的发展是具有广泛价值的。环境建模和路径规划是无人车自主行驶的基础和核心技术之一。与结构化的城市环境不同，野外环境具有地面起伏、障碍物种类繁多、无路标提示等特点，导致无人车的环境感知和路径规划出错率高，给无人车的环境感知与路径规划带来了巨大挑战。
技术实现思路
本专利技术的目的是提供一种基于多传感器融合的环境建模及路径规划方法，以提升无人车在野外环境中环境感知和路径规划的准确性。本专利技术采用以下技术方案：一种基于多传感器融合的环境建模及路径规划方法，包括以下步骤：同时采集无人车上相机视场内的图像和激光点云数据；根据图像和激光点云数据生成稠密点云深度图；以稠密点云深度图中坐标值为输入，结合径向基神经网络，构建相机视场内的环境模型；以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定无人车的路径规划轨迹点序列。进一步地，根据图像和激光点云数据生成稠密点云深度图包括：将激光点云数据投影到图像上，得到稀疏深度图；对稀疏深度图和图像进行联合双边滤波，得到稠密深度图；将稠密深度图转换为稠密点云深度图。进一步地，当采集到新的图像和激光点云数据时，计算当前时刻与环境模型的构建时刻之间的时间差，当时间差大于等于时间周期阈值时，根据新的图像和激光点云数据重新构建环境模型。进一步地，当采集到新的图像和激光点云数据时，计算当前时刻与环境模型的构建时刻之间的时间差，当时间差小于时间周期阈值时，根据新的图像和激光点云数据更新径向基神经网络，并根据更新后的径向基神经网络更新环境模型。进一步地，根据新的图像和激光点云数据更新径向基神经网络包括：根据新的图像和点云数据，确定径向基神经网络中的每个隐含神经元对新的图像和点云数据的贡献度；当隐含神经元的贡献度小于贡献度阈值时，丢弃掉该隐含神经元。进一步地，通过以下方式确定每个隐含神经元对新的图像和点云数据的贡献度：其中，E(r)表示第r个隐含神经元的贡献度，βr,n为连接第r个隐含神经元和输出之间的输出权重，n为新的图像和点云数据中点云的数量，S(Ω)表示采样范围的大小，br,n为第r个隐含神经元的偏置，X＝(x,y)T，(x,y)为新的图像和点云数据对应的稠密点云深度图中的横、纵坐标值，Wr,n为第r个隐含神经元的输入权重。进一步地，根据新的图像和激光点云数据更新径向基神经网络包括：向已有的隐含神经元中加入新的隐含神经元，新的隐含神经元的加入位置为Xn；其中，加入策略为：其中，Xn为新的图像和点云数据，Wr为第r个隐含神经元的输入权重，εn为距离阈值，en为Xn的输出误差，X为环境模型构建时的(x,y)，κ为重叠因子，emin为贡献度阈值。本专利技术的另一种技术方案：一种基于多传感器融合的环境建模及路径规划装置，包括：采集模块，用于同时采集无人车上相机视场内的图像和激光点云数据；生成模块，用于根据图像和激光点云数据生成稠密点云深度图；构建模块，用于以稠密点云深度图中坐标值为输入，结合径向基神经网络，构建相机视场内的环境模型；规划模块，用于以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定无人车的路径规划轨迹点序列。本专利技术的另一种技术方案：一种基于多传感器融合的环境建模及路径规划装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述的一种基于多传感器融合的环境建模及路径规划方法。本专利技术的另一种技术方案：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于多传感器融合的环境建模及路径规划方法。本专利技术的有益效果是：本专利技术将将激光点云数据和相机的图像进行融合作为环境模型构建的输入数据，障碍物的位置信息可以作为输入权重应用到环境建模中，可以增加环境模型中野外凹凸障碍物的定位准确性；通过考虑目的地距离、环境高度和环境梯度，对每一个搜索的位置进行评估，得到准确路径规划轨迹点序列，不仅能缩小搜索范围，而且降低了搜索时间。附图说明图1为本专利技术实施例一种基于多传感器融合的环境建模及路径规划方法的流程图；图2为本专利技术实施例中稠密点云深度图示意图；图3为本专利技术实施例中径向基神经网络的结构示意图；图4为本专利技术实施例无人车基于多约束的轨迹生成示意图；图5为本专利技术实施例一种基于多传感器融合的环境建模及路径规划装置的结构示意图；图6为本专利技术另一实施例一种基于多传感器融合的环境建模及路径规划装置的结构示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。在目前的研究中，对于无人车的路径规划多是基于简单或全局已知环境下进行的，在复杂野外环境中的方案相对空白。无人车能够进行自主决策并进行障碍规避离不开一个良好的感知系统。单传感器感知环境只适用于特定环境，局限性大。因此，本专利技术在研究无人车自主感知和规避技术的基础上，提出一种多传感器融合的环境建模算法和多约束优化下的路径规划方法，通过研究设计对三维环境的数学建模技术以及基于数学模型的路径规划技术使自主无人车在复杂野外环境中能够进行在线决策和安全行驶。本专利技术通过多传感器融合准确地感知野外复杂环境并对其建模，再规划无人车的行驶路径，尤其涉及对野外复杂环境下的环境建模和路径规划方法。如图1所示，本专利技术实施例公开了一种基于多传感器融合的环境建模及路径规划方法，包括以下步骤：步骤S110、同时采集无人车上相机视场内的图像和激光点云数据，即进行相机和激光雷达的多源信息融合，可以为后期的建模提供准确的输入；步骤S120、根据图像和激光点云数据生成稠密点云深度图；步骤S130、以稠密点云深度图中坐标值为输入，结合径向基神经网络，构建相机视场内的环境模型；步骤S140、以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定无人车的路径规划轨迹点序列。本专利技术将将激光点云数据和相机的图像进行融合作为环境模型构建的输入数据，障碍物的位置信息可以作为输入权重应用到环境建模中，可以增加环境模型中野外凹凸障碍物的定位准确性；通过考虑目的地距离、环境高度和环境梯度，对每一个搜索的位置进行评估，得到准确路径规划轨本文档来自技高网...

【技术保护点】
1.一种基于多传感器融合的环境建模及路径规划方法，其特征在于，包括以下步骤：/n同时采集无人车上相机视场内的图像和激光点云数据；/n根据所述图像和激光点云数据生成稠密点云深度图；/n以所述稠密点云深度图中坐标值为输入，结合径向基神经网络，构建所述相机视场内的环境模型；/n以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定所述无人车的路径规划轨迹点序列。/n

【技术特征摘要】
1.一种基于多传感器融合的环境建模及路径规划方法，其特征在于，包括以下步骤：
同时采集无人车上相机视场内的图像和激光点云数据；
根据所述图像和激光点云数据生成稠密点云深度图；
以所述稠密点云深度图中坐标值为输入，结合径向基神经网络，构建所述相机视场内的环境模型；
以轨迹点的高度和梯度最小为目标、环境特征向量阈值和单步步长为约束条件，确定所述无人车的路径规划轨迹点序列。


2.如权利要求1所述的一种基于多传感器融合的环境建模及路径规划方法，其特征在于，根据所述图像和激光点云数据生成稠密点云深度图包括：
将所述激光点云数据投影到所述图像上，得到稀疏深度图；
对所述稀疏深度图和所述图像进行联合双边滤波，得到稠密深度图；
将所述稠密深度图转换为稠密点云深度图。


3.如权利要求2所述的一种基于多传感器融合的环境建模及路径规划方法，其特征在于，当采集到新的图像和激光点云数据时，计算当前时刻与环境模型的构建时刻之间的时间差，当所述时间差大于等于时间周期阈值时，根据新的图像和激光点云数据重新构建环境模型。


4.如权利要求2所述的一种基于多传感器融合的环境建模及路径规划方法，其特征在于，当采集到新的图像和激光点云数据时，计算当前时刻与环境模型的构建时刻之间的时间差，当所述时间差小于所述时间周期阈值时，根据新的图像和激光点云数据更新所述径向基神经网络，并根据更新后的径向基神经网络更新环境模型。


5.如权利要求4所述的一种基于多传感器融合的环境建模及路径规划方法，其特征在于，根据新的图像和激光点云数据更新所述径向基神经网络包括：
根据新的图像和点云数据，确定所述径向基神经网络中每个隐含神经元对新的图像和点云数据的贡献度；
当所述隐含神经元的贡献度小于贡献度阈值时，丢弃掉该隐含神经元。


6.如权利要求5所述的一种基于多传感器融合的环境建模及路径规划方法，其特征在于，通过以下方式确定每个隐含神经元的对新的图像和点云数据的贡献度：

<...

【专利技术属性】
技术研发人员：胡劲文，赵春晖，徐钊，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61