【技术实现步骤摘要】
本专利技术涉及路径跟踪，尤其是涉及一种基于pca-dqfd的无人水面艇自适应路径跟踪方法。
技术介绍
1、随着无人驾驶技术的高速发展，无人水面艇作为一种智能的海上运载装备，在海域巡逻、海底设备清污、水域监测等方面扮演了重要的角色，其能否按照既定路径航行是完成多样化任务需求的关键。然而，复杂的海域环境对无人水面艇的跟踪性能提出了挑战。
2、现有的无人艇路径跟踪算法难以实时处理非线性和时变性数据，在输出路径跟踪策略时具有一定的时延，难以应对风浪与暗流等潜在危险的影响，难以根据复杂的海况对路径跟踪策略进行自适应调整，这就限制了无人水面艇的应用场景和航行效能。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于pca-dqfd的无人水面艇自适应路径跟踪方法、设备及介质，可实现依据复杂海况下的路径跟踪策略自适应调整，提高了无人水面艇的路径跟踪成功率和航行效率。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供了一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，该方法包括：
4、获取无人水面艇的路径跟踪指标集，并采用主成分分析pca算法提取主体成分；
5、构建dqfd网络模型，将提取出的主体成分作为无人水面艇的状态空间，设置无人水面艇的动作空间，利用总损失函数进行预训练；其中，dqfd网络模型为学习演示的深度q学习网络模型；
6、基于dqfd网络模
7、优选地，所述采用主成分分析pca算法提取主体成分，包括：
8、对所述路径跟踪指标集的矩阵形式m去中心化，得到矩阵f；
9、计算矩阵f的协方差矩阵u，并基于特征值分解法分别计算矩阵f的协方差矩阵u的特征值λ与特征向量β；将指标的特征值按从大到小排序，选取前k个特征值对应的特征向量组成特征向量矩阵p；
10、将路径跟踪指标集进行主成分分析，得到降维后的方阵y＝pm，将方阵y作为无人水面艇的状态空间。
11、优选地，所述路径跟踪指标集中的指标包括路径跟踪里程、航行速度、航行时间、以及航行位姿。
12、优选地，所述动作空间包括无人水面艇的航行速度和舵角。
13、优选地，所述dqfd网络模型包括预测网络和目标网络，训练过程包括：
14、1)当无人艇处于st∈s状态时，基于路径跟踪策略π选取动作值at∈a，获得t时刻的奖励rt，并将自身状态改变为新的状态st+1；其中，s、a分别为无人水面艇的状态空间和动作空间；
15、2)一个回合结束后，无人水面艇将当前阶段样本＜st,at,rt,st+1＞添加到优先重放缓冲区中；在下一回合，无人艇从优先重播缓冲区中进行小批次采样；
16、3)计算dqfd网络模型的总损失函数，使用预测网络的参数定期更新目标网络的参数。
17、优选地，所述深度强化学习dqfd模型的奖励函数为平均路径跟踪误差率。
18、优选地，所述dqfd模型的总损失函数为多个损失函数的加权和；所述多个损失函数包括q网络损失函数，n步q网络损失函数，边际分类损失函数，以及l2正则化损失函数。
19、优选地，所述q网络损失函数jdq(q)为：
20、
21、式中：r为奖励函数，γ为折现因子；q(s,a；θ)为预测网络参数为θ状态s下执行动作a所获得的值函数；为使用预测网络计算下一个时刻状态st+1的最大动作值并基于目标网络计算该动作的值函数；
22、所述n步q网络损失函数jn(q)为：
23、
24、式中：n为设定步数，γn-1rt+n-1表示在时刻t+n-1和折现因子γn-1下获得的奖励值；表示在状态为st+n和折现因子为γn时执行动作a所获得的最大值函数；
25、所述边际分类损失函数，数学表达式为：
26、
27、式中：ae是预训练时无人水面艇在状态s时采取的动作；l(ae,a)表示值为正的边缘函数，当a＝ae时其值为0。
28、根据本专利技术的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现任一项所述的方法。
29、根据本专利技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项所述的方法。
30、与现有技术相比，本专利技术具有以下优点：
31、1)本专利技术通过pca算法对无人水面艇的路径跟踪指标集进行降维处理，通过对指标间的相关关系进行探测，有效提取指标集的主体成分并减少信息损失，并将提取出的主体成分作为无人水面艇的状态空间，再采用dqfd网络模型进行最优路径跟踪预测，实现了人水面艇在复杂海况下的自适应路径跟踪。
32、2)本专利技术通过dqfd网络模型，实现无人水面艇在复杂海况下的自适应路径跟踪，通过设置优先重放缓冲区进行小批次采样，有效降低路径跟踪指标集中不同样本间的相关性。
33、3)本专利技术采用q网络损失函数，n步q网络损失函数，边际分类损失函数，以及l2正则化损失函数的加权和作为dqfd网络模型的总损失函数，采用耦合计算的方式减少网络更新时的噪声，增强dqfd网络的更新速度，提升无人艇的路径跟踪率。
本文档来自技高网...【技术保护点】
1.一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述采用主成分分析PCA算法提取主体成分，包括：
3.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述路径跟踪指标集中的指标包括路径跟踪里程、航行速度、航行时间、以及航行位姿。
4.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述动作空间包括无人水面艇的航行速度和舵角。
5.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述DQFD网络模型包括预测网络和目标网络，训练过程包括：
6.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述深度强化学习DQFD模型的奖励函数为平均路径跟踪误差率。
7.根据权利要求1所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法
8.根据权利要求7所述的一种基于PCA-DQFD的无人水面艇自适应路径跟踪方法，其特征在于，所述Q网络损失函数JDQ(Q)为：
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
...【技术特征摘要】
1.一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，其特征在于，所述采用主成分分析pca算法提取主体成分，包括：
3.根据权利要求1所述的一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，其特征在于，所述路径跟踪指标集中的指标包括路径跟踪里程、航行速度、航行时间、以及航行位姿。
4.根据权利要求1所述的一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，其特征在于，所述动作空间包括无人水面艇的航行速度和舵角。
5.根据权利要求1所述的一种基于pca-dqfd的无人水面艇自适应路径跟踪方法，其特征在于，所述dqfd网络模型包括预测网络和目标网络，训练过程包括：
6.根据权利要求1所述的一种基于pca-dqfd...
【专利技术属性】
技术研发人员：张卫东，林源，耿雄飞，方宇凡，张安民，李世华，李涛，孙瑞胜，张云飞，何鹭飞，陆锦辉，孙永强，金春雷，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。