基于MDP的机载防撞系统逻辑单元的设计方法技术方案

本发明专利技术公开了基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，包括以下步骤：步骤1、建立相遇模型；步骤2、采用马尔科夫决策过程对飞机防碰撞问题进行建模；步骤3、根据建立的模型构建逻辑表，得到逻辑单元。本发明专利技术应用时能提升设计出的逻辑单元的可靠性，且在修改逻辑单元时操作便捷。如此，本发明专利技术不仅改善了飞机飞行过程中的安全性能，并且逻辑单元可以不断的被修改和重建。

Design method of logic unit of Airborne Collision Avoidance System Based on MDP

The invention discloses a design method of MDP logic unit based on Airborne Collision Avoidance System, which is characterized in that the method comprises the following steps: Step 1, the establishment of meeting model; step 2, the Markoff decision process of aircraft anti-collision problem modeling; step 3, according to the model construction of a logical table, get the logic unit. When applied, the invention can improve the reliability of the designed logic unit, and is convenient to operate when modifying the logic unit. Thus, the invention not only improves the safety performance in the flight process of the aircraft, but also the logic unit can be modified and rebuilt continuously.

【技术实现步骤摘要】
基于MDP的机载防撞系统逻辑单元的设计方法
本专利技术涉及机载防撞系统，具体是基于MDP的机载防撞系统逻辑单元的设计方法。
技术介绍
逻辑单元模块是空中交通防碰撞系统(TCAS)的一个重要模块，其用于判断入侵机是否会对本机构成威胁，并进一步判断是否发出决策咨询。当前TCAS逻辑单元的开发过程主要采用伪代码定义逻辑单元，其包含了复杂的启发式法则和参数设置，这使得逻辑单元的修改变得非常困难，而且还可能在修改过程中引入新的问题。TCAS逻辑单元设有预测飞机下一时刻位置的模型，现有TCAS逻辑单元的预测模型普遍采用直线型预测模型。直线型预测模型应用时，如果预测到入侵机进入了冲突范围内，就会认为发出报警是必要的，然后会预测每一个可以选择建议产生的结果，最终会选择一个最优的建议来阻止碰撞事故的发生。直线型预测模型的预测结果是飞机在下一时刻最可能所在的位置，其没能够考虑到小概率的飞机发生碰撞的情况，这会对逻辑单元做出决策的可靠性产生影响。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供了一种基于MDP的机载防撞系统逻辑单元的设计方法，其应用时能提升设计出的逻辑单元的可靠性，且在修改逻辑单元时操作便捷。本专利技术的目的主要通过以下技术方案实现：基于MDP的机载防撞系统逻辑单元的设计方法，包括以下步骤：步骤1、建立相遇模型；步骤2、采用马尔科夫决策过程对飞机防碰撞问题进行建模；步骤3、根据建立的模型构建逻辑表，得到逻辑单元。本专利技术应用时是在TCAS系统可以完全获得外界状态的前提下实施的，在马尔科夫模型中，系统的状态是根据动态模型发生变化的，马尔科夫的解是在某一个性能指标下获得的一个最优策略。本专利技术直接对要解决的问题进行建模，然后根据提供的一组性能指标用优化的方法自动推导出逻辑单元。与之前的伪代码相比，先确定性能指标再对飞机相遇的问题进行建模来设计逻辑单元的方法更加方便。本专利技术应用时不需要再去研究各条启发式规则之间的关系，只需要把工作重心放在对相遇模型和性能指标的研究上，这会加快整个逻辑模块的开发过程。对于生产制造商实现逻辑表只需把每个状态的状态信息和状态对应的最优动作放在一个索引文件里即可，这样也避免了生产过程中的偏差。飞机防撞系统的设计主要是为了提高飞机的安全性，因此安全性是主要也是首要的性能指标，随着TCAS的不断发展，可能的空中碰撞(NMAC)成为衡量安全性的标准，早期的NMAC是指两架飞机垂直距离小于500英尺，水平距离小于100英尺，即有可能发生碰撞的不安全范围。飞机在一定的距离范围内TCAS会向飞行员提供报警，虽然报警对飞行员有警示作用，但是过于频繁的报警会干扰到飞行员的正常行驶思维，不必要的报警也称为虚警，有效的警示是可执行性的性能指标，因此目前TCAS的研究是要保证安全的情况下，降低虚警率。进一步的，所述逻辑表的构建包括以下步骤：步骤3.1、生成一个状态动作效用函数U(s,a)，其中，状态动作效用函数U(s,a)给出在状态s时执行动作a获得的期望效用；步骤3.2、根据离散状态转移概率T和末态的期望效用U(sf)＝U(xf,yf,ASf)，确定前一个状态sp＝{xp,yp,ASp}对应动作a的状态动作效用，如公式(1)所示：步骤3.3、采用式(1)计算出每个动作的状态动作效用，其中，末态的前一个状态sp的期望效用是状态sp所有状态动作效用中的最大值，其求取公式如公式(2)所示：步骤3.4、使当前状态的状态动作效用最大的动作a是当前状态的输出策略π(sp)；步骤3.5、根据公式(2)，确定状态集xp中每个状态的效用；步骤3.6、根据下一时刻的状态集xq转移到状态集xp的概率分布，确定状态集xq中每个状态的效用；步骤3.7、重复步骤3.1～步骤3.6，直到获得整个状态空间状态的效用并获得整个状态空间的最优动作策略，即可求出逻辑表。进一步的，所述离散状态转移概率的计算公式如公式(3)所示：其中，Pr(s|x)为在给定的连续状态下离散状态的概率；x'＝f(s,a,a0,a1)，其为在状态s执行动作a且加速对为(a0，a1)时，根据动态模型得到的状态；对于N个加速度采样点，Pr(x’|s，a)采用以下公式进行拟合：其中当x＝y时，δ(x,y)＝1，反之为0，是每个采样点的权值。进一步的，所述最优策略的求取公式如下所示：其中，马尔科夫决策过程由S、A、T、γ及R五元组构成，S表示状态集，A表示一组动作，S中的一个状态到另一个状态的转移概率只与当前状态s和执行动作a有关，T表示的是在当前s∈S状态下，经过a∈A作用后，会转移到其它状态的概率，γ是折扣因子，γ∈(0，1)，和是在当前状态s执行最优动作a后，获得的最大未来折算回报和的期望值。进一步的，所述步骤2中建立的模型符合下式：两架飞机的运动方程，如公式(6)所示：两架飞机在垂直方向加速度的变化情况如公式(7)所示：其中，h为入侵机相对本机的高度，τ为两架飞机到水平方向距离为0时所需要的时间，h1为本机在垂直方向的速度，h2为入侵机在垂直方向的速度,sRA为RA的状态变量，饱和函数φL(y)＝max(-L,min(L,y))表示垂直方向的速度不超过飞机的极限速度。进一步的，所述相遇模型建立时两架飞机的相遇过程满足以下条件：TCAS系统决策频率为1Hz、两架飞机没有水平方向的机动、传感器测量数据精确、两架飞机之间没有协调、以及单架入侵机。其中，TCAS系统决策频率为1Hz：每一秒钟内TCAS系统判断一次，以使本专利技术的频率与当前TCAS系统使用的决策频率相同；两架飞机没有水平方向的机动：本机和入侵机在水平方向以恒定的速度接近对方，两架飞机在水平方向都不做出机动，例如做出转向的机动，由于两架飞机都以恒定的速度接近对方，并且在水平方向不做出机动，那么两架飞机在两维平面内飞行；传感器测量数据准确：传感器可以准确测量飞机的运动状态如本机的垂直速度、入侵机的垂直速度等；两架飞机之间没有协调：本机与入侵机不可以相互交流当前执行的动作；单架入侵机：只有一架入侵机从本机对面飞来。综上所述，本专利技术具有以下有益效果：(1)本专利技术基于马尔可夫决策过程，根据飞机相遇模型和性能指标来确定逻辑单元，采用概率型预测模型，能提升本专利技术的可靠性，在空域模型或监视系统发生改变时，只需修改相应的模型，然后进行优化，操作便捷，不仅改善了飞机飞行过程中的安全性能，并且逻辑单元可以不断的被修改和重建。因此，本专利技术能够满足空域和监视技术快速发展的要求，并能够提高防碰撞系统的健壮性。(2)本专利技术的概率型预测模型的算法采用动态规划的方法，根据飞机的预测模型和一组性能指标求出最优策略，这种开发框架与用伪代码定义逻辑单元的开发框架相比，需要调节的参数更少，开发时间短，能够达到航空业和监视技术快速发展的要求。本专利技术在求解时需要使用许多飞行轨迹样本，但只在离线阶段求解逻辑表时需要大量的计算，而在飞机飞行过程中只需直接查询逻辑表，需要的计算量非常小，因此，本专利技术应用时更能保证飞机飞行的安全性。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1为本专利技术一个具体实施例的流程图；图2为本专利技术中报警结果的分类图；图3为末态值的定义图；图4为具有报警状态变量本文档来自技高网...

【技术保护点】
基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，包括以下步骤：步骤1、建立相遇模型；步骤2、采用马尔科夫决策过程对飞机防碰撞问题进行建模；步骤3、根据建立的模型构建逻辑表，得到逻辑单元。

【技术特征摘要】
1.基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，包括以下步骤：步骤1、建立相遇模型；步骤2、采用马尔科夫决策过程对飞机防碰撞问题进行建模；步骤3、根据建立的模型构建逻辑表，得到逻辑单元。2.根据权利要求1所述的基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，所述逻辑表的构建包括以下步骤：步骤3.1、生成一个状态动作效用函数U(s,a)，其中，状态动作效用函数U(s,a)给出在状态s时执行动作a获得的期望效用；步骤3.2、根据离散状态转移概率T和末态的期望效用U(sf)＝U(xf,yf,ASf)，确定前一个状态sp＝{xp,yp,ASp}对应动作a的状态动作效用，如公式(1)所示：步骤3.3、采用式(1)计算出每个动作的状态动作效用，其中，末态的前一个状态sp的期望效用是状态sp所有状态动作效用中的最大值，其求取公式如公式(2)所示：步骤3.4、使当前状态的状态动作效用最大的动作a是当前状态的输出策略π(sp)；步骤3.5、根据公式(2)，确定状态集xp中每个状态的效用；步骤3.6、根据下一时刻的状态集xq转移到状态集xp的概率分布，确定状态集xq中每个状态的效用；步骤3.7、重复步骤3.1～步骤3.6，直到获得整个状态空间状态的效用并获得整个状态空间的最优动作策略，即可求出逻辑表。3.根据权利要求2所述的基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，所述离散状态转移概率的计算公式如公式(3)所示：其中，Pr(s|x)为在给定的连续状态下离散状态的概率；x'＝f(s,a,a0,a1)，其为在状态s执行动作a且加速对为(a0，a1)时，根据动态模型得到的状态；对于N个加速度采样点，Pr(x’|s，a)采用以下公式进行拟合：其中当x＝y时，δ(x,y)＝1，反之为0，是每个采样点的权值。4.根据权利要求2所述的基于MDP的机载防撞系统逻辑单元的设计方法，其特征在于，所述最优策略的求取公式如下所示：

【专利技术属性】
技术研发人员：林云松，彭良福，王黎，李朋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51