一种基于迁移的自主换道方法和系统技术方案

本发明专利技术涉及一种基于迁移的自主换道方法和系统，属于车辆智能驾驶技术领域。本发明专利技术将车辆位置坐标离散化处理得到状态网格空间后，对状态网格空间赋值，再采用随机游走策略提取赋值后状态网格空间中的通行状态，采用时间差分学习算法确定不同通行状态间的转移关系得到状态转移矩阵，然后，建立场景迁移知识和观测区域的奖励网格空间，接着，基于奖励网格空间生成奖励矩阵后确定换道偏好评估值，最后，将换道偏好评估值作为车辆行驶轨迹的规划依据，选取换道运动基元库中的车辆控制信号，实现车辆安全、高效的自主换道，解决现有车辆换道技术存在的泛用性差、计算复杂等问题。计算复杂等问题。计算复杂等问题。

【技术实现步骤摘要】
一种基于迁移的自主换道方法和系统


[0001]本专利技术涉及车辆智能驾驶
，特别是涉及一种基于迁移的自主换道方法和系统。

技术介绍

[0002]随着汽车保有量的不断提升和智能驾驶技术的不断进步，智能车辆逐渐进入公众视野，其中自主换道系统日益受到世界研究人员的关注。然而，目前世界对自主换道系统的研究还存在一定的缺陷。
[0003]对于智能驾驶系统而言，自主换道是危险性和复杂性较高的驾驶场景之一。然而，在现有的智能车自主换道系统中，基于A*算法和快速搜索随机树（RRT）等传统规划方法的换道系统，普遍存在泛用性较差、算法复杂度高等问题。而基于传统强化学习方法的自主换道系统对环境的泛化能力差，缺乏对场景转换的自适应能力，目前还难以应用于真实驾驶环境中。

技术实现思路

[0004]为解决现有技术存在的问题，本专利技术提供了一种基于迁移的自主换道方法和系统。
[0005]为实现上述目的，本专利技术提供了如下方案：一种基于迁移的自主换道方法，包括：获取原场景内的车辆位置坐标；将所述车辆位置坐标进行离散化处理构建得到状态网格空间；对所述状态网格空间进行赋值处理；采用随机游走策略提取赋值后的所述状态网格空间中的通行状态；采用时间差分学习算法确定不同通行状态间的转移关系，得到状态转移矩阵；基于所述状态转移矩阵建立场景迁移知识；针对观测区域建立奖励网格空间；基于所述奖励网格空间生成奖励矩阵；根据所述状态转移矩阵和所述奖励矩阵得到换道偏好评估值；基于车辆控制信号数据构建换道运动基元库；将所述换道偏好评估值作为车辆行驶轨迹的规划依据，选取所述换道运动基元库中的车辆控制信号，以实现车辆的自主换道。
[0006]优选地，所述对所述状态网格空间进行赋值处理，具体包括：将所述状态网格空间中障碍物占据的网格赋值为第一预设值，将所述状态网格空间中除障碍物占据的网格之外的网格赋值为第二预设值。
[0007]优选地，当所述第一预设值为1时，所述第二预设值为0。
[0008]优选地，所述采用采用时间差分学习算法确定不同通行状态间的转移关系，得到
状态转移矩阵，具体包括：采用时间差分学习算法对不同通行状态间的转移关系进行更新训练得到更新后的转移关系；基于所述更新后的转移关系形成状态转移矩阵。
[0009]优选地，所述奖励网格空间的尺寸与所述状态网格空间的尺寸相同。
[0010]优选地，所述基于所述奖励网格空间生成奖励矩阵，具体包括：将奖励网格空间中换道目标点所在网格的奖励值设置为第一预设值，将奖励网格空间中除目标车辆外的其他车辆所占据网格的奖励值设置为第二预设值，将奖励网格空间中除障碍物占据的网格之外的网格的奖励值设置为第三预设值。
[0011]优选地，所述第三预设值为
‑
1。
[0012]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的基于迁移的自主换道方法，通过场景迁移知识的建模、提取和迁移，实现对运动基元的选取和车辆的自动换道控制，实现车辆安全、高效的自主换道，解决现有车辆换道技术存在的泛用性差、计算复杂等问题。
[0013]此外，本专利技术还提供了一种基于迁移的自主换道系统，该系统包括：存储器，用于存储计算机软件程序；所述计算机软件程序用于实施上述提供的基于迁移的自主换道方法；处理器，与所述存储器连接，用于执行所述计算机软件程序。
[0014]因本专利技术提供的基于迁移的自主换道系统实现的技术效果与上述提供的基于迁移的自主换道方法实现的技术效果相同，故在此不再进行赘述。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术提供的基于迁移的自主换道方法的流程图；图2为本专利技术实施例提供的状态网格空间示意图；图3为本专利技术实施例提供的赋值后的状态网格空间示意图；图4为本专利技术实施例提供的换道场景示意图；图5为本专利技术实施例提供的基于迁移的自主换道方法的实施逻辑流程图；图6为本专利技术提供的基于迁移的自主换道系统的结构示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本专利技术的目的是提供一种基于迁移的自主换道方法和系统，能够通过对场景知识
的学习与迁移和对运动基元的选取来控制车辆，完成安全高效的自主换道。
[0019]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0020]如图1所示，本专利技术提供基于迁移的自主换道方法，包括：步骤100：获取原场景内的车辆位置坐标。
[0021]步骤101：将车辆位置坐标进行离散化处理构建得到状态网格空间。为避免连续状态导致的状态空间的无限化，本专利技术采用离散化的状态空间来建模车辆的观测区域，因此，需要利用网格坐标标记状态空间中的位置，进而采用迁移算法(Successor Representation，SR)表示状态空间内的状态转移关系。基于此，在本步骤中，针对直行道路自主换道问题，对所涉及的场景中的状态网格空间进行定义和构建，针对前车视野构建的状态网格空间如图2所示。在该状态网格空间中，前方车辆的位置坐标被离散成为了网格的坐标，同时，这将作为本专利技术中被迁移知识的来源场景。
[0022]步骤102：对状态网格空间进行赋值处理。例如，将状态网格空间中的障碍物（如其他车辆等）占据的网格的值赋值为
‑
1，将状态网格空间内剩余的区域全部划分为可通行区域，并将其赋值为0。赋值后的状态网格空间如图3所示。
[0023]步骤103：采用随机游走策略提取赋值后的状态网格空间中的通行状态。在本专利技术中，随机游走策略指的是：在该状态网格空间上，每次状态转移（即智能体移动）时，智能体（车辆）都在所有可通行的相邻网格中等可能地随机选择一个，完成状态转移后，进入下一个相邻网格中。所谓的可通行网格指的是除状态网格空间边缘的墙壁和状态网格空间中标记的障碍物外的所有其余可通行区域，即赋值为0的网格。
[0024]步骤104：采用时间差分学习算法确定不同通行状态间的转移关系，得到状态转移矩阵。具体的，为阐述状态转移矩阵M的具体训练过程，假设用一条由位置p起始的随机游走轨迹来进行状态转移矩阵M的训练。在这条从位置p出发的轨迹中，位置p
’
经过折扣后的访问次数记为M(p,p
’
)，存储在状态转移矩阵M中。通过训练对公式1所示的状态转移矩阵M中的各元素值进行更新，直至收敛。
...

【技术保护点】

【技术特征摘要】
1.一种基于迁移的自主换道方法，其特征在于，包括：获取原场景内的车辆位置坐标；将所述车辆位置坐标进行离散化处理构建得到状态网格空间；对所述状态网格空间进行赋值处理；采用随机游走策略提取赋值后的所述状态网格空间中的通行状态；采用时间差分学习算法确定不同通行状态间的转移关系，得到状态转移矩阵；基于所述状态转移矩阵建立场景迁移知识；针对观测区域建立奖励网格空间；基于所述奖励网格空间生成奖励矩阵；根据所述状态转移矩阵和所述奖励矩阵得到换道偏好评估值；基于车辆控制信号数据构建换道运动基元库；将所述换道偏好评估值作为车辆行驶轨迹的规划依据，选取所述换道运动基元库中的车辆控制信号，以实现车辆的自主换道。2.根据权利要求1所述的基于迁移的自主换道方法，其特征在于，所述对所述状态网格空间进行赋值处理，具体包括：将所述状态网格空间中障碍物占据的网格赋值为第一预设值，将所述状态网格空间中除障碍物占据的网格之外的网格赋值为第二预设值。3.根据权利要求2所述的基于迁移的自主换道方法，其特征在于，当所述第一预设值为1时，所述第二预设值为0。4.根据权利要求1所述的基于迁移的自主换道方法，其特征在于，所述采...

【专利技术属性】
技术研发人员：吕超，鲁洪良，王昊阳，陈丹妮，龚建伟，臧政，冯悦，
申请(专利权)人：慧动星球北京科技有限公司，
类型：发明
国别省市：