基于异构深度学习的无人驾驶车辆/机器人行为规划方法技术

本发明专利技术公开了一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法。本发明专利技术设计了由不同类型深度学习网络组成的异构深度学习模型：在有限行为状态机的约束下，首先将输入图像进行降维编码，并将编码空间约束为正态分布空间，再在编码空间中实现对无人驾驶车辆/机器人的行为控制。本发明专利技术充分利用了不同种类深度学习模型的优势，包含基于擅长图像建模的卷积神经网络的自编码模型、基于擅长序列数据建模的循环神经网络的道路跟踪模型以及基于全连接神经网络的控制模型与评估模型；并利用当前传感信息、现行网络输出与驾驶员实际输出的偏差，从安全性、平滑性、快速性几个方面对多个相同结构的网络进行在线学习与评估，建立自主驾驶的终身学习机制。本发明专利技术有效解决了无人驾驶车辆/机器人自主规划的自学习问题，为基于视觉的自主导航提供了廉价、可行的解决方案。

【技术实现步骤摘要】
基于异构深度学习的无人驾驶车辆/机器人行为规划方法
本专利技术涉及无人驾驶车辆/机器人自主规划领域，特别是一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法。
技术介绍
学习一个从当前环境到无人驾驶车辆/机器人控制的映射是当前众多无人驾驶车辆/机器人应用的核心问题。该映射一般是利用车载传感器来感知无人驾驶车辆/机器人周围环境，并根据所获得的环境信息，来控制无人驾驶车辆/机器人的角速度和线速度，从而完成无人驾驶车辆/机器人的行为规划。当前无人驾驶车辆/机器人行为规划系统大多是通过预编程的方法实现，由领域内的专家对环境建模并定义控制逻辑，通过预编程已经成功的实现了在特定环境下对机器人的控制。但是由于环境的多样性，使得通过预编程使无人驾驶车辆/机器人在不同环境下都能完成行为规划变得非常复杂和困难，而且当无人驾驶车辆/机器人遇到更加复杂或者陌生的环境时，其控制将变得不稳定，即使对所有环境都能建模，但是其控制逻辑却并不一定稳定。机器学习技术已经被成功的应用在当今世界最先进的无人驾驶车辆/机器人上。例如在2005年DARPAGrandChallenge获得冠军的无人车Stanley，其在无人车历史上具有里程碑式的意义，因为机器学习技术在户外障碍物检测和地形测绘的普遍应用，使得Stanley在比赛中表现的非常鲁棒和精确。不过由于比赛环境是静态的，Stanley在交通流中并不能实现行为规划。基于视觉控制和强化学习的方法也取得了显著的成就，部分是依赖基于深度学习(DeepLearning，DL)的模型，机器人可对环境进行无约束访问以及对控制策略进行无限次的迭代，在这样的条件下，基于控制的人工神经网络(ANN)通过不断地训练就可以使用更好的策略重复访问并预测环境。在当前基于DL最成功的机器人应用中，大多是使用监督学习的方式训练ANN，来完成机器人的行为规划，而无监督的方式由于其理论和实践的欠缺，使得将ANN作为生成模型的成果较少。变分自编码在高斯先验分布的编码空间和原始数据空间中，成功的学习了生成模型，并给出了使用ANN训练该生成模型的方法，但是其解码使用的是均方误差代价函数，生成的图像看起来往往比较模糊、不自然，与真实图像相差较大。生成对抗网络(GenerativeAdversarialNetworks，GAN)很好地解决了这个问题，该网络通过同时训练生成网络和鉴别网络，使得生成网络生成的图像看起来更加清晰自然。Larsen等人将VAE和GAN结合起来，从而提出将图像编码后，更好解码还原图像的方法。Hotz等人利用VAE和GAN，完成了对无人车采集的道路图像的编码、道路跟踪、道路编码图像解码的任务。深度学习模型由于其强大的描述能力和简单的训练逻辑，近年来在诸多领域取得了显著的成功。
技术实现思路
本专利技术的目的在于提供一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法，从而解决无人驾驶车辆/机器人视觉导航的安全性与自学习性问题。实现本专利技术目的的技术解决方案为：一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法，步骤如下：(1)根据无人驾驶车辆/机器人获取的先验环境地图、全局任务路线以及无人驾驶车辆/机器人当前的位姿状态产生无人驾驶车辆/机器人的有限行为状态机。状态机的N个状态与N个异构深度学习网络模型一一对应，模型具有相同的结构和不同的参数取值。(2)基于输入图像，采用卷积神经网络自编码模型(AutoEncodingModel，AEM)进行图像降维、图像建模与图像预测；将道路图像空间转换为正态分布空间，每一副图像都对应编码空间中一个近似的标准正态分布，从相应分布的高概率密度处采样作为该图像的编码。(3)利用基于全连接神经网络的评估模型(EvaluationModel，EM)评估道路跟踪、控制模型的训练效果，以及在实际应用中对道路跟踪模型和控制模型的跟踪控制信号进行评估，使得模型能够对已遇到的路况进行准确的跟踪控制，并能避免对未知路况做出错误的决策。(4)使用擅长序列数据建模的循环神经网络(RecurrentNeuralNetworks，RNN)建立道路跟踪模型(RoadTrackingModel，RTM)来描述无人驾驶车辆/机器人在自主驾驶过程中所采集到图像序列间的关系。(5)控制模型(ControlModel，CM)通过当前道路图像的编码得到对无人驾驶车辆/机器人的控制信号。(6)利用传感器信息对驾驶员实际控制信号和神经网络产生的控制信号性能进行评估，对M个异构神经网络进行训练，与当前使用的神经网络模型竞争上岗，实现终身学习。(7)重复执行步骤(1)至(6)，直至产生外部干预或规划任务结束。本专利技术相比于现有技术，其优点在于：(1)引入有限行为状态机训练异构深度网络在不同行为状态下的参数，具有更高的准确性和安全性；(2)充分利用不同类型深度学习网络的优点，提升了异构深度网络的整体性能；(3)在应用过程中对多个网络参数进行在线训练与评估，建立了终身学习机制。附图说明图1是本专利技术自编码模型(AEM)结构图。图2是本专利技术评估模型(EM)结构图。图3是本专利技术评估模型(EM)损失函数的组成。图4是本专利技术道路跟踪模型(RTM)结构图。具体实施方式本专利技术使用不同类型的深度学习模型对环境建模，并实现道路跟踪和无人驾驶车辆/机器人控制，完成无人驾驶车辆/机器人的行为规划。下面结合附图对本专利技术作进一步描述。本专利技术基于异构深度学习的无人驾驶车辆/机器人行为规划方法，包括以下步骤：1.步骤1：基于有限行为状态机的异构深度学习网络构建(1)在图像输入下，无人驾驶车辆/机器人行为由有限行为状态机的状态所对应的异构深度学习网络产生，即相似的传感器信息输入可能会对应不同的控制行为。(2)无人驾驶车辆/机器人的有限行为状态机包括{道路跟踪，路口左转，路口右转，路口直行，换道，前车超越，前车跟随，越野漫游，暂停等待，紧急避险}。2.步骤2：卷积神经网络自编码模型的构建：(1)利用卷积神经网络自编码模型将道路图像空间转换为正态分布空间，每一副图像都对应编码空间中一个近似的标准正态分布，从相应分布的高概率密度处采样作为该图像的编码。自编码模型如下式所示：(μt，σt)＝AEM(It)(1)其中It表示t时刻的道路图像，μt，σt分别表示在编码空间中与It对应的分布的均值与标准差，AEM()表示自编码模型，其结构如附图1所示。(2)在实际利用VAE时，因为不使用解码模型，自编码模型的编码效果须要重新评估，与VAE损失函数不同的是，为了进一步加强AEM的稀疏性，尽量避免将差异较大的图像编码为相似的分布，，在训练AEM模型时，我们对均值进行了稀疏化约束，使用如下的损失函数：其中表示σt二范数的平方，表示σt的维度，表示均值的二范数平方，β是[0，1]间的实数，为正则化参数。此损失函数描述了AEM定义的编码空间与标准正态本文档来自技高网...

【技术保护点】
1.一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法，其特征在于，步骤如下：/n(1)根据无人驾驶车辆/机器人获取的先验环境地图、全局任务路线以及无人驾驶车辆/机器人当前的位姿状态产生无人驾驶车辆/机器人的有限行为状态机；状态机的N个状态与N个异构深度学习网络模型一一对应，模型具有相同的结构和不同的参数取值；/n(2)基于输入图像，采用卷积神经网络自编码模型AEM进行图像降维、图像建模与图像预测；将道路图像空间转换为正态分布空间，每一副图像都对应编码空间中一个近似的标准正态分布，从相应分布的高概率密度处采样作为该图像的编码；/n(3)利用基于全连接神经网络的评估模型EM评估道路跟踪、控制模型的训练效果，以及在实际应用中对道路跟踪模型和控制模型的跟踪控制信号进行评估；/n(4)使用擅长序列数据建模的循环神经网络RNN建立道路跟踪模型RTM来描述无人驾驶车辆/机器人在自主驾驶过程中所采集到图像序列间的关系；/n(5)控制模型CM通过当前道路图像的编码得到对无人驾驶车辆/机器人的控制信号；/n(6)利用传感器信息对驾驶员实际控制信号和神经网络产生的控制信号性能进行评估，对M个异构神经网络进行训练，与当前使用的神经网络模型竞争上岗，实现终身学习；/n(7)重复执行步骤(1)至(6)，直至产生外部干预或规划任务结束。/n...

【技术特征摘要】
1.一种基于异构深度学习的无人驾驶车辆/机器人行为规划方法，其特征在于，步骤如下：
(1)根据无人驾驶车辆/机器人获取的先验环境地图、全局任务路线以及无人驾驶车辆/机器人当前的位姿状态产生无人驾驶车辆/机器人的有限行为状态机；状态机的N个状态与N个异构深度学习网络模型一一对应，模型具有相同的结构和不同的参数取值；
(2)基于输入图像，采用卷积神经网络自编码模型AEM进行图像降维、图像建模与图像预测；将道路图像空间转换为正态分布空间，每一副图像都对应编码空间中一个近似的标准正态分布，从相应分布的高概率密度处采样作为该图像的编码；
(3)利用基于全连接神经网络的评估模型EM评估道路跟踪、控制模型的训练效果，以及在实际应用中对道路跟踪模型和控制模型的跟踪控制信号进行评估；
(4)使用擅长序列数据建模的循环神经网络RNN建立道路跟踪模型RTM来描述无人驾驶车辆/机器人在自主驾驶过程中所采集到图像序列间的关系；
(5)控制模型CM通过当前道路图像的编码得到对无人驾驶车辆/机器人的控制信号；
(6)利用传感器信息对驾驶员实际控制信号和神经网络产生的控制信号性能进行评估，对M个异构神经网络进行训练，与当前使用的神经网络模型竞争上岗，实现终身学习；
(7)重复执行步骤(1)至(6)，直至产生外部干预或规划任务结束。


2.根据权利要求1所述的基于异构深度学习的无人驾驶车辆/机器人行为规划方法，其特征在于：所述步骤(1)中基于有限行为状态机的异构深度学习网络详细描述如下：
(a)在图像输入下，无人驾驶车辆/机器人行为由有限行为状态机的状态所对应的异构深度学习网络产生；
(b)无人驾驶车辆/机器人的有限行为状态机包括{道路跟踪，路口左转，路口右转，路口直行，换道，前车超越，前车跟随，越野漫游，暂停等待，紧急避险}。


3.根据权利要求1所述的基于异构深度学习的无人驾驶车辆/机器人行为规划方法，其特征在于：所述步骤(2)中采用卷积神经网络自编码模型的步骤为：
(a)利用卷积神经网络自编码模型将道路图像空间转换为正态分布空间，每一副图像都对应编码空间中一个近似的标准正态分布，从相应分布的高概率密度处采样作为该图像的编码；自编码模型如下式所示：
(μT，σT)＝AEM(IT)
其中，IT表示t时刻的道路图像，μT、σT分别表示在编码空间中与IT对应的分布的均值与标准差，AEM()表示自编码模型；
(b)在训练AEM模型时，对均值进行稀疏化约束，使用如下的损失函数：



其中，表示σT二范数的平方，表示σT的维度，表示均值的二范数平方，β是[0，1]间的实数，为正则化参数；此损失函数描述了AEM定义的编码空间与标准正态分布空间的KL散度(Kullback-LeiblerDivergence)与均值二范数平方的和。


4.根据权利要求1所述的基于异构深度学习的无人驾驶车辆/机器人行为规划方法，其特征在于，所述步骤(3)中全连接神经网络的评估模型构建步骤如下：
(a)使用评估模型EM评估道路跟踪以及控制模型的训练效果，以及在实际应用中对道路跟踪模型和控制模型的跟踪控制信号进行评估，其评估值为[0，1]内的实数，越接近1表示模型训练越好或者所做出的决策越可靠，反之应对模型进行改进并加强训练或者做出即时的预警以防危险的发生；
(b)对编码空间中的向量进行降维，并结合控制信号构成评估模型，评估模型如下：
pT＝EM(Desampling(zT)，(ωT，vT))
其中，zT表示t时刻道路图像IT在编码空间的编码，且zT＝μT，表示zT从IT对应的高斯分布的最高概率密度处采样，Desampling()表示降采样网络，EM()表示将Desampling...

【专利技术属性】
技术研发人员：石朝侠，兰潇根，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32