【技术实现步骤摘要】
本专利技术涉及水域自主导航，特别涉及一种基于深度强化学习的港口水域的船舶自主导航方法。
技术介绍
1、近些年如自主水面船、自动驾驶货船等自主船舶在安全性和可持续性方面展现了巨大潜力，然而自主决策系统在面对不同航行场景时仍存在较大局限性，无法紧跟自主船的高速发展，导致自主船的可航行水域受限，可航场景不足等情况。港口场景相对于其他航行水域，存在更多的船只、航标、码头设施和其他障碍物，实时的地图数据、水深数据、天气数据等需要实现高度统一。并且，港口区域的船舶交通一般受到严格的安全规定和法规约束，自适应导航系统需要满足这些法规，同时确保船只的安全操作。另外，一旦系统发生故障，也会威胁港口和自主船的财产安全。此时，提高系统的智能性，在自主导航过程中设置安全性触发器是十分必要的。
2、当前自主导航系统大多都是通过a*和蚁群等启发式算法实现的，而在船舶航行的局部未知环境中，这种启发式算法都需要完全了解环境，在面对港口中的多类型障碍时将导致计算量爆炸或者无法实时搜寻到最优路径的问题。并且，船舶的航行是一种连续状态空间的高维模型，上述算法无法对航行中的控制和跟踪起到很好的约束作用。
3、随着船舶定位设备和视觉融合技术的不断发展，在已知本船位置与港口信息的前提下，通过计算机对进港后安全路径的导航与避碰变得可行，目前的导航算法大都是在全局下的离散规划算法，这些算法在面对港口复杂环境时，无法生成不同种类障碍的避碰策略。所以如何设计出行之有效的导航算法来引导自主船在港口中航行至泊位的过程，成为当前自主系统在港口场景中进行自主导航的
4、深度强化学习算法是一种与环境互动来生成最优策略的算法，该算法可以将船舶自身视为智能体，并在包含各种障碍的港口中进行约束性训练，避免了启发式算法只能在全局下进行规划的缺陷，能够将障碍视为互动对象的特点，与船舶自主导航有着极高的适配性；深度强化学习法兼具很高的设计性，可以将航行法规等约束嵌入到训练环境中，对求解包含港口法规环境下的最优航线，有着很高的协调性。
技术实现思路
1、本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种基于深度强化学习的港口水域的船舶自主导航方法，解决了动/静态船舶、山体、浮标和其他可观测障碍的类型；同时考虑了港口浮标规则下，在遭遇不同浮标时，船舶的可航行水道的实时变化，有效地提高了港内航行的安全性；另外在算法输出与控制输入之间插入了安全性触发器，保证了港口和自主船的生命财产安全。
2、为了解决上述技术问题，本专利技术提供了如下的技术方案：
3、在本专利技术的第一方面，提供一种基于深度强化学习的港口水域的船舶自主导航方法，所述方法具体包括以下步骤：
4、步骤1、初始化船舶入港地理节点，按照港口海图生成0.1海里*0.1海里的栅格化网格，并对其进行编码；采用网格法对海洋静态环境进行建模，主要包括三个方面：图表栅格化，临时障碍物光栅化，障碍物膨化；生成矩阵m来存储栅格化的图表环境信息；将船舶位置从纬度坐标系转换为通用横轴墨卡托坐标系，根据雷达和自动识别系统获取附近船舶相对于本船的最近点距离dcpa和最近点时间tcpa；根据电子海图统计该港口区域的浮标数量、类型、和相对位置；
5、步骤2、更新栅格化的图表环境信息m，港内及附近的危险沉船区、对船舶安全构成威胁的浅滩礁石区、军事演习区、临时限制航行区等组成临时障碍区域矩阵r；在环境矩阵m中将临时障碍区域r设置为禁航区域；
6、对于其他的动/静态船舶，进一步通过dcpa和tcpa判断其移动方向，利用速度障碍法判断与本船的碰撞风险；
7、对于港内的浮标，通过红外视觉摄像机和港口海图信息计算与本船的相对距离和相对角度，并进一步判断安全航道的航向；
8、根据禁航区域、他船信息和浮标信息，得到更新后的地图信息矩阵g；
9、步骤3、使用深度强化学习算法进行导航；
10、通过步骤2中更新的地图信息矩阵g和本船的航行信息，计算本船与目标码头的距离和偏离航向，同时以本船为中心更新附近的障碍物信息，计算所有与本船有碰撞风险的动态船舶，通过深度强化学习算法生成最安全的可航路线；
11、步骤4、在步骤3的导航规划和避碰决策结果中，排除危险区域的地图中仍存在其他动态船舶，实时更新在本船四海里内的动态船，面对存在碰撞风险的船舶，对tcpa和dcpa进行碰撞检测并分析本船是否承担让路船责任，本船需要采取避让措施的情况中，对步骤3中的路径进行更新，生成的二次优化路径同样根据后续浮标指示信息进行实时调整；
12、步骤5、随着导航的进行，自主船根据环境信息不断调整避碰策略，根据触发器对舵机发送操纵指令，直至在距离目标码头0.1海里时完成整个导航任务，并记录导航过程中的航路节点。
13、作为本专利技术的一种优选技术方案，在步骤2中，判断风险的速度障碍法为：
14、当dcpa≤1海里并且tcpa≤20分钟时，目标船被判定为与本船可能存在碰撞风险，但当本船的速度向量侵犯目标船的速度障碍区域时，需要根据海上避碰规则来判定让路责任，当目标船出现在本船正前方或者右方时，本船需要给目标船让路，采取的操纵需要从目标船的船尾驶过；
15、通过浮标判断安全航道的规则为：
16、根据国际灯塔管理协会规定的浮标系统，安全水域标志表示进入港口附近的安全水域；推荐航道位于左侧面标志的右侧，右侧面标志的左侧；危险区域位于北方位标志南侧，南方位标志北侧，东方位标志西侧，西方位标志东侧；另外，危险水域标志和限制区域标志根据港口海图的指示进行限制，根据规则中的危险区域更新地图信息矩阵g。
17、作为本专利技术的一种优选技术方案，在步骤3中，所述深度强化学习算法具体包括以下步骤：
18、s1、将步骤1中得到的矩阵m作为环境信息，并根据步骤2中的危险区域划定，将可航行区域进行缩减，得到更新后的环境信息矩阵g，开始根据浮标和其他船舶进行导航和避碰决策的生成；
19、深度强化学习算法中评价函数的总计算公式为r＝r(t)+r(g)+r(s)+r(m)；
20、r(t)为从起始点到目标点的导航奖励r(t)＝-exp[d(t)+ψ(t)]；
21、r(g)为与静态障碍物之间的碰撞奖励r(g)＝-exp[d(g)]；
22、r(s)为动态船之间的碰撞奖励r(s)＝-exp[d(s)]；
23、r(m)为浮标指示信息奖励r(m)＝rpl+rsl+rnc+rwc+rsc+rec；
24、d()表示距离函数，ψ()表示角度函数；t表示目标点的地图节点，g表示步骤2中障碍区域和静态船舶的地图节点集合，s表示动态船舶的地图节点，m表示浮标的地图节点；
25、s2、从进港起始点出发，根据s1的导航奖励、静态碰撞奖励和浮标奖励生成初步的可航路径，系统在靠近动态船舶时给出是否采取避碰措施的决策，对于可航路径中所有出现的动态船舶，重复验本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的港口水域的船舶自主导航方法，其特征在于：
2.根据权利要求1所述方法，其特征在于：在步骤2中，判断风险的速度障碍法为：
3.根据权利要求2所述方法，其特征在于：
4.根据权利要求1或3所述方法，其特征在于：
5.根据权利要求4所述方法，其特征在于：通过数据触发器进行控制信号的输出；
6.一种基于深度强化学习的港口水域的船舶自主导航系统，其特征在于，所述系统包括环境感知器，数据处理器和控制触发器；
7.一种计算机可读存储介质，可读介质上存储有计算机程序，所述计算机程序执行时，实现权利要求1-5中任意一项所述的基于深度强化学习的港口水域的船舶自主导航方法。
8.一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据权利要求1-5任一所述的方法的步骤或者根据权利要求6所述的系统的功能。
【技术特征摘要】
1.一种基于深度强化学习的港口水域的船舶自主导航方法，其特征在于：
2.根据权利要求1所述方法，其特征在于：在步骤2中，判断风险的速度障碍法为：
3.根据权利要求2所述方法，其特征在于：
4.根据权利要求1或3所述方法，其特征在于：
5.根据权利要求4所述方法，其特征在于：通过数据触发器进行控制信号的输出；
6.一种基于深度强化学习的港口水域的船舶自主导航系统，其特征在于，所...
【专利技术属性】
技术研发人员：韩凤磊，赵毅铭，韩端锋，彭潇，赵望源，吴禹良，张嘉伟，杨健峰，林琪，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。