一种不确定条件下UUV自适应任务规划方法技术

本发明专利技术公开一种不确定条件下UUV自适应任务规划方法，一、根据任务需求将初始任务目标分为待执行目标集G0和备用目标集B0；二、根据G0生成初始任务计划Π0；并对Π0成功概率进行评估，若初始规划的任务计划成功概率满足给定的门限值要求，则将任务计划载入UUV控制系统开始执行；否则需要重新设定目标集；三、由UUV系统当前状态，根据任务类型分别评估后续任务计划成功率，并与设定门限值比较，若任务成功率较小，则调用删除任务目标算法RAMG，反之调用增加任务目标算法AAMG，生成新的目标集G，根据G重规划生成新的任务计划，UUV继续执行新任务计划；四、任务计划中的所有动作按顺序执行完毕，任务结束；本发明专利技术能有效提高UUV自主能力。本发明专利技术能有效提高UUV自主能力。本发明专利技术能有效提高UUV自主能力。

【技术实现步骤摘要】
一种不确定条件下UUV自适应任务规划方法


[0001]本专利技术属于水下无人航行器(Unmanned Underwater Vehicle，以下简称UUV)任务规划领域，具体涉及一种不确定条件下UUV自适应任务规划方法。

技术介绍

[0002]UUV在水下任务执行过程中，水文地理、任务目标、系统工作状态等因素都存在变化的可能，完全依靠人工远程遥控或按预编程方式工作，无法及时有效应对复杂多变的动态环境，因此需要UUV能够实现实时自主态势感知、评估以及动作规划，在无人工干预的情况下能够作出正确的决策。不确定条件下任务规划方法是近年热点研究问题，解决不确定性任务规划问题的相关研究方法主要包括马尔科夫决策过程方法、重规划方法、分支规划方法、规划问题分解方法、计划修改方法等。
[0003]1.基于马尔科夫决策过程的任务规划方法
[0004]马尔科夫决策过程(Markov Decision Process,MDP)通过构建“状态转移函数(transition function)”，对每个不确定效果都相应赋予相应的概率值，在给定状态转移概率的情况下，寻找能够获得最大回报值的最优策略。马尔科夫决策过程方法存在的主要问题是在状态空间规模较大的情况下，求解计算量很大(NP
‑
hard问题)，特别是对于状态变量是连续的情况(状态空间数量无限)，因此限制了实际应用的范围。一种解决思路是将连续状态空间离散化，或减小状态空间数量，但建模方法与具体解决的问题领域相关。例如，Capitan等采用部分可观测马尔科夫决策过程方法(POMDP)解决多无人机侦察多目标的任务规划问题，为了降低计算复杂性，每架UAV通过POMDP方法规划局部任务，并基于拍卖方法完成全局任务分配；Redding等提出一种成组聚合马尔科夫决策过程方法GA
‑
Dec
‑
MMDP，可以大幅缩减状态空间数量，适合用于较大规模的无人机集群任务规划问题，但无法实现最优化。此外，基于启发式前向状态空间搜索的值迭代算法也可以提高计算效率，存在的问题是返回的策略不一定是最优解，且算法是不完备的。
[0005]2.重规划方法
[0006]Yoon等提出一种重规划方法FF
‑
Replan解决不确定任务规划问题。
[0007]FF
‑
Replan以快速前向规划器FF为基础，在任务执行过程中系统进入非期望状态时，启动FF重规划，生成新的任务计划。由于FF是确定性任务规划方法，因此FF
‑
Replan采用两种方式来处理不确定性问题：一是执行动作只有一个确定性结果(可以采用相关启发式规则确定结果，如发生概率最大的结果等)，二是执行动作生成所有可能的结果。
[0008]在任务规划问题中，系统资源使用是连续性变化的，每个相关动作执行时都存在无限个可能的结果，因此使用FF
‑
Replan规划任务时，只能采用确定性单个结果的处理方式，如规定每个动作的能源消耗值为对应分布的均值。但是根据概率分布的特点，能耗等于均值的概率为0，这会导致FF
‑
Replan规划器在执行每个动作之后，都会判断系统进入未指定的状态，并由此触发任务重规划。UUV任务的另一个特点是可能出现系统故障或资源不足等异常情况，而FF
‑
Replan不具备针对特殊情况发生概率的评估能力以及处理异常事件的
规划能力，因此FF
‑
Replan方法不适合用于UUV任务规划。
[0009]3.分支规划方法
[0010]制定分支计划是处理不确定规划问题的一种解决方法，其主要思想是在出现不确定结果可能性较大的任务执行节点处，增加新的任务计划分支，根据任务计划实际执行情况，在分支节点位置对原任务进行调整。Coles提出一种不确定性资源条件下的分支任务规划方法，在离线任务规划阶段，该方法假设任务环境、任务目标、突发事件及可能发生的位置均为已知，据此在初始计划中确定分支节点及执行条件，存在的问题是使用灵活性较差，需要准确获取任务环境及所有可能发生的事件信息。Gough等在同一任务条件下对比分析了有分支和无分支两种规划方法的性能，分支计划规划方法虽然在一定程度上可以提高任务完成效益(18.31％)，但需要耗费大量的规划时间。
[0011]分支规划方法在实际应用中存在一些问题：一是确定合理的分支节点难度较大。离线任务规划阶段需要对初始任务计划进行评估，根据一定准则计算所需的分支计划节点，但任务执行时动作完成结果可能与预计相差较大，不适合用于复杂多变的任务场景；二是只能处理有限数量的动作结果，无法满足状态连续变化的不确定性规划问题需要。
[0012]4.问题分解规划方法
[0013]分解规划方法的基本思想是将复杂的问题分解为一系列相对独立的子任务，分别求解后合并为完整的任务计划。Yang提出一种任务目标分解方法GDECOMP，通过机器学习算法将初始任务目标划分为若干个目标子集，对每个目标子集分别规划得到相关的子任务计划，通过约束满足问题方法处理子计划之间的“冲突”。Bibai等提出基于状态分解的元启发式进化规划算法DAEX，但子任务合并的计算量较大，在线任务规划效率受启发算法影响较大。
[0014]问题分解规划方法在离线任务规划阶段，需要对指定的任务规划问题进行详细分析，综合考虑各类可能的任务执行结果，将任务总体分解为一系列任务子目标，在任务执行过程中根据实际情况合并相应的任务计划子集。这种处理方式存在的主要问题是需要预先全面考虑各类任务执行结果，不适用于较复杂或对实时性要求较高的任务。
[0015]5.计划修改规划方法
[0016]不同于任务重规划，计划修改方法的基本思想是通过修改初始任务计划的部分要素以满足新的任务需求。Cashmore等提出一种基于效益的AUV任务规划系统，可以实现在线任务调度，通过调整任务目标执行的顺序以适应AUV当前工况或获取更大的任务效益，但只能基于当前任务执行状态修改任务，而不能通过预测推理提前做出相关调整。Woods等提出一种基于模板的计划修改规划方法，在任务执行前根据突发事件的类型，离线生成一系列计划片段存入计划库，机器人在执行任务过程中遇到突发事件时，从计划库中调用相关计划片段插入当前任务计划。
[0017]直观上看，修改计划的代价(如计算量等)应该小于任务重规划，但Nebel等的研究表明，由于任务修改涉及到任务计划的匹配、比对、增加及删除动作等计算，使用任务重规划方法往往更具有优势。
[0018]经典规划方法能够高效生成满足规划目标的动作序列，但UUV的任务生成属于不确定规划领域，经典规划方法无法使用；基于马尔科夫决策过程的规划方法，状态空间数量过大，求解效率低；传统重规划方法处理模式单一，灵活性差；现有的分支规划方法、问题分
解方法以及计划修改方法大多需要根据预先设定的处理流程进行调整，存在计算量大、实现复杂等问题，对动态复杂环境条件适应性能较差。通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种不确定条件下UUV自适应任务规划方法，其特征在于，包括以下步骤：步骤一、在UUV下水前，根据任务需求，将初始任务目标分为待执行目标集G0和备用目标集B0；G0中为达到任务行动目的而必须完成的目标任务，属于待执行任务目标；B0中为异常情况下可调整的新任务目标，或在系统资源有剩余的情况下，完成更多的任务以提高使用效益；步骤二、任务规划器根据G0生成初始任务计划Π0；根据资源计算公式对Π0成功概率进行评估，如果初始规划的任务计划成功概率满足给定的门限值要求，则将任务计划载入UUV控制系统开始执行；否则需要重新设定目标集；步骤三、由UUV系统当前状态，根据任务类型分别评估后续任务计划成功率，并与设定门限值比较，如果任务成功率相对较小，则调用删除任务目标算法RAMG，反之调用增加任务目标算法AAMG，生成新的目标集G，根据目标集G重规划生成新的任务计划，UUV继续执行新任务计划；步骤四、任务计划中的所有动作按顺序执行完毕，任务结束。2.如权利要求1所述的一种不确定条件下UUV自适应任务规划方法，其特征在于，所述自适应任务规划方法由任务规划模块、任务目标管理模块和任务在线监控模块三个功能模块实现。3.如权利要求2所述的一种不确定条件下UUV自适应任务规划方法，其特征在于，所述任务在线监控模块具有与无人系统底层控制系统的数据通信接口，能够实时获取各系统组部件工作状态以及故障信息，根据系统工况实时对任务进行评估；实时监控系统工...

【专利技术属性】
技术研发人员：马硕，杨振宇，张炜，胡英娣，李卉，许杰，吴小兵，韩守鹏，刘海波，
申请(专利权)人：中国人民解放军九二五七八部队，
类型：发明
国别省市：