一种无人船路径规划方法及系统技术方案

本发明专利技术涉及一种无人船路径规划方法及系统，涉及智能船舶自主航行技术领域，用以解决智能船舶在复杂航行环境下的路径求解优化问题和收敛速度问题。所述无人船路径规划方法包括利用加权双重机制持续更新两个独立的Q表。所述无人船路径规划系统包括六个相互关联的系统单元，本发明专利技术提供的无人船路径规划方法及系统用于提升智能船舶航行时的自主行为决策能力。能力。能力。

【技术实现步骤摘要】
一种无人船路径规划方法及系统


[0001]本专利技术涉及智能船舶自主航行
，特别是涉及一种无人船路径规划方法及系统。

技术介绍

[0002]随着海上交通密度的增加和船舶航速的提升，人为进行船舶航行决策正面临着巨大的压力。因此国内外学者对船舶智能行为决策问题进行大量的理论研究。对上述学者的理论成果深入研究和分析后可知，现有的无人船路径规划方法在面对复杂环境下的路径规划问题时，其算法在收敛时会产生较大的正偏差，导致规划的路径波动较大，且很容易出现局部最优现象；或解决了正偏差过大的问题的同时会出现负偏差现象，导致其算法收敛速度较慢，无法满足实时性的需求。针对上述问题，本专利技术提出一种无人船路径规划方法及系统，在满足实时性需求的同时，避免规划的路径出现局部最优且波动较大的问题。

技术实现思路

[0003]本专利技术的目的是提供一种无人船路径规划方法及系统。用以解决传统无人船路径规划方法在复杂环境下规划路径时无法满足实时性要求，且容易出现规划的路径波动较大和局部最优现象等问题。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种无人船路径规划方法，包括以下步骤：
[0006]获取目标无人船的环境数据信息，根据环境数据信息设置虚拟无人船的路径规划虚拟训练环境；
[0007]初始化Q表1和Q表2，根据Q表1和Q表2得到目标Q表，并设置路径规划虚拟训练环境中的位置奖励值以及激励函数；
[0008]根据虚拟无人船在路径规划虚拟训练环境中所处的位置，在目标Q表中选择虚拟无人船能够得到最大动作函数值的目标动作；
[0009]控制虚拟无人船按照目标动作运行，更新虚拟无人船在路径规划虚拟训练环境中的位置状态，再根据位置奖励值和激励函数实时计算虚拟无人船在路径规划虚拟训练环境中的实时奖励值；
[0010]计算Q表1和Q表2各自的权值，根据权值以及实时奖励值更新Q表1和Q表2，并根据更新后的Q表1和Q表2得到新的目标Q表；
[0011]判断虚拟无人船是否到达目的地，若否，以更新后的新的目标Q表中对应的虚拟无人船在路径规划虚拟训练环境中的位置状态及动作价值函数值最高的目标动作控制无人船运行；并返回至“更新虚拟无人船在路径规划虚拟训练环境中的位置状态”；若是，根据更新后的目标Q表确定最终规划路径。
[0012]可选的，所诉目标无人船的环境数据信息包括障碍物位置信息、其他船舶位置信息、目标无人船自身位置信息以及目的地位置信息。
[0013]可选的，路径规划虚拟训练环境由电子海图系统对目标无人船的环境数据信息进行栅格化表示得到。
[0014]可选的，虚拟无人船的目标动作包括向前行驶、向后行驶、向左行驶、向右行驶、向左前45度行驶、向左后45度行驶、向右前45度行驶以及向右后45度行驶。
[0015]可选的，激励函数包括目的地导向激励函数和障碍物避障激励函数。
[0016]可选的，Q表存储有虚拟无人船在虚拟环境中所有状态位置以及在对应位置上的动作价值函数。
[0017]可选的，无人船路径规划方法还包括对最终规划路径进行检验，检验不合格则重新进行最终规划路径的确定，检验合格则根据最终规划路径控制目标无人船进行运行。
[0018]可选的，Q表1和Q表2的公式为：
[0019]Q
i
＝Q
i
+α
×
(r+β
×
γ
×
max_Q
i
+(1
‑
β)
×
γ
×
max_Q
j
‑
Q
i
)
[0020]其中，Q
i
表示Q表1的动作价值函数，Q
j
表示Q表2的动作价值函数，α表示学习率，r表示位置奖励值，β表示权值，γ表示虚拟无人船的奖励值。
[0021]可选的，Q表1的权值计算公式为：
[0022][0023]其中，q
(1)
(s',a
*
)表示Q表1虚拟无人船位于s
’
位置状态时采取a
*
动作的动作价值函数的数值，β表示权值，c表示经验值，q
(1)
(s
’
,a
l
)表示Q表1虚拟无人船位于s
’
位置状态时采取a
l
动作的动作价值函数的数值。
[0024]本专利技术还提供一种无人船路径规划系统，包括：
[0025]路径规划虚拟训练环境建立单元，用于获取目标无人船的环境数据信息，根据环境数据信息设置虚拟无人船的路径规划虚拟训练环境；
[0026]初始化以及参数设置单元，用于初始化Q表1和Q表2，根据Q表1和Q表2得到目标Q表，并设置路径规划虚拟训练环境中的位置奖励值以及激励函数；
[0027]目标动作选择单元，用于根据虚拟无人船在路径规划虚拟训练环境中所处的位置，在目标Q表中选择虚拟无人船能够得到最大动作函数值的目标动作；
[0028]实时奖励值计算单元，用于控制虚拟无人船按照目标动作运行，更新虚拟无人船在路径规划虚拟训练环境中的位置状态，再根据位置奖励值和激励函数实时计算虚拟无人船在路径规划虚拟训练环境中的实时奖励值；
[0029]目标Q表更新单元，用于计算Q表1和Q表2各自的权值，根据权值以及实时奖励值更新Q表1和Q表2，并根据更新后的Q表1和Q表2得到新的目标Q表；
[0030]虚拟无人船位置状态判断单元，用于判断虚拟无人船是否到达目的地坐标，若否，以更新后的新的目标Q表中对应的虚拟无人船在路径规划虚拟训练环境中的位置状态及动作价值函数值最高的目标动作控制无人船运行；并返回至“更新虚拟无人船在路径规划虚拟训练环境中的位置状态”；
[0031]若是，根据更新后的目标Q表确定最终规划路径。
[0032]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：相对于普通Q学习面对船舶在复杂环境下进行路径规划时，算法会产生较大的正偏差，且容易出现局部最优现象而言，本专利技术采用的双Q学习方法完美解决了该技术问题。同时本专利技术通过采用对Q表加
权的方法更新Q表，解决了Q表更新迭代过程中会出现负偏差的问题，提高了算法的收敛速度，满足了无人船规划路径的实时性需求。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术无人船路径规划方法流程示意图；
[0035]图2为本专利技术无人船路径规划结果对比图；
[0036]图3为本专利技术无人船路径规划系统单元示意图。
[0037]符号说明：1
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人船路径规划方法，其特征在于，包括：获取目标无人船的环境数据信息，根据所述环境数据信息设置虚拟无人船的路径规划虚拟训练环境；初始化Q表1和Q表2，根据所述Q表1和Q表2得到目标Q表，并设置所述路径规划虚拟训练环境中的位置奖励值以及激励函数；根据所述虚拟无人船在所述路径规划虚拟训练环境中所处的位置，在所述目标Q表中选择虚拟无人船能够得到最大动作函数值的目标动作；控制所述虚拟无人船按照所述目标动作运行，更新所述虚拟无人船在路径规划虚拟训练环境中的位置状态，再根据所述位置奖励值和所述激励函数实时计算所述虚拟无人船在所述路径规划虚拟训练环境中的实时奖励值；计算所述Q表1和Q表2各自的权值，根据所述权值以及所述实时奖励值更新所述Q表1和Q表2，并根据更新后的Q表1和Q表2得到新的目标Q表；判断所述虚拟无人船是否到达目的地，若否，以更新后的新的目标Q表中对应的所述虚拟无人船在路径规划虚拟训练环境中的位置状态及动作价值函数值最高的目标动作控制无人船运行；并返回至“更新所述虚拟无人船在路径规划虚拟训练环境中的位置状态”；若是，根据更新后的目标Q表确定最终规划路径。2.根据权利要求1所述一种无人船路径规划方法，其特征在于，所诉目标无人船的环境数据信息包括障碍物位置信息、其他船舶位置信息、目标无人船自身位置信息以及目的地位置信息。3.根据权利要求1所述一种无人船路径规划方法，其特征在于，所述路径规划虚拟训练环境由电子海图系统对所述目标无人船的环境数据信息进行栅格化表示得到。4.根据权利要求1所述一种无人船路径规划方法，其特征在于，所述虚拟无人船的目标动作包括向前行驶、向后行驶、向左行驶、向右行驶、向左前45度行驶、向左后45度行驶、向右前45度行驶以及向右后45度行驶。5.根据权利要求1所述一种无人船路径规划方法，其特征在于，所述激励函数包括目的地导向激励函数和障碍物避障激励函数。6.根据权利要求1所述一种无人船路径规划方法，其特征在于，所述Q表存储有虚拟无人船在虚拟环境中所有状态位置以及在对应位置上的动作价值函数。7.根据权利要求1所述一种无人船路径规划方法，其特征在于，对所述最终规划路径进行检验，检验不合格则重新执行无人船路径规划方法中的操作再次确定所述最终规划路径，检验合格则根据所述最终规划路径控制所述目标无人船进行运行。8.根据权利要求1所述一种无人船路径规划方法，其特征在于，所述所述Q表1的公式为：Q
i
＝Q
i
+α
×
(r+β
×
γ<...

【专利技术属性】
技术研发人员：关巍，赵明阳，张显库，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：