一种多模式自适应监视数据处理自动化部署系统技术方案

技术编号:36543348 阅读:12 留言:0更新日期:2023-02-01 16:48
本发明专利技术公开了一种多模式自适应监视数据处理自动化部署系统,包括:部署配置界面,为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面;部署管理服务,根据输入数据源和可用服务器信息生成或调整系统部署架构,并生成服务运行配置参数;代理服务,根据收到的配置参数进行并执行决策,并为部署管理服务提供所在服务器状态信息;数据处理服务,实现数据处理功能的初始化或动态调整,执行监视数据处理流程;数据中间件,支持部署架构下不同服务器上的数据处理服务间的数据交互。本发明专利技术能够适用于不同场景下的监视数据处理,无需针对不同的场景进行重复性设计和开发,提高了系统的鲁棒性,降低了系统开发成本。本。本。

【技术实现步骤摘要】
一种多模式自适应监视数据处理自动化部署系统


[0001]本专利技术属于航空监视数据处理
,具体涉及一种多模式自适应监视数据处理自动化部署系统。

技术介绍

[0002]随着通用航空和无人机的不断发展,在空中交通管制领域,从传统的机场、区域、全国航管,拓展到低空通航、无人机等管理管制,在通航机场、通航服务站、无人机管理平台、通航服务中心、通航旅游服务、无人机物流管理等不同的空中交通管理场景下,航空器的数量、监视设备数量、信息系统的规模等各不相同,通过构建可自适应不同监视设备数量、数据处理能力要求和信息系统规模的便于部署的监视数据处理架构,可以快速响应不同场景的监视数据处理能力建设需求,降低监视数据处理系统部署和运维成本,支持对已部署系统的处理能力、系统规模的快速扩展,对提高监视保障能力建设效能,促进空管现代化,及通用航空和无人机应用领域的发展具有重要意义。
[0003]然而,现有技术已存在多种监视数据处理技术,然而其主要针对解决监视数据处理本身的问题,没有解决在不同的场景下如何部署应用的问题。现有技术存在如下缺点:
[0004](1)没有考虑不同应用场景下所需监视系统架构的差异,针对不同的场景需要重复性设计和开发监视数据处理系统。
[0005](2)没有考虑复杂应用场景下自动化配置以降低部署难度和成本的问题。
[0006](3)没有考虑在运行过程中所需监视能力需求变更或硬件资源变化的问题,不能动态适应业务场景需求或条件的变化。

技术实现思路

[0007]针对现有技术没有考虑不同应用场景下所需监视系统架构的差异,需要针对不同的场景重复性设计和开发监视数据处理系统的问题,本专利技术提供了一种多模式自适应监视数据处理自动化部署系统。本专利技术建立了可适用于不同场景需求的自动化系统部署功能架构。
[0008]本专利技术通过下述技术方案实现:
[0009]一种多模式自适应监视数据处理自动化部署系统,包括:
[0010]部署配置界面,为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面;
[0011]部署管理服务,根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整系统部署架构,并根据系统部署架构为每个服务器生成对应的服务运行配置参数;
[0012]代理服务,根据收到的配置参数进行并执行决策,包括重启本机数据处理服务或在数据处理服务运行中动态应用新配置参数,并为部署管理服务提供所在服务器状态信息,代理服务在各服务器中配置为开机自动启动;
[0013]数据处理服务,根据配置参数实现数据处理功能的初始化或动态调整,执行监视数据处理流程;
[0014]数据中间件,支持部署架构下不同服务器上的数据处理服务间的数据交互,以及作为监视数据处理结果的输出平台。
[0015]本专利技术通过构建可适用于不同场景需求的自动化系统部署功能架构,能够适用于不同场景下的监视数据处理,无需针对不同的场景进行重复性设计和开发,提高了系统的鲁棒性,降低了系统开发成本。
[0016]本专利技术提出的自适应监视数据处理自动化部署系统,能够实现基于数据源和硬件配置的部署架构及配置参数自动生成,降低了相关人员的工作难度和人力成本。
[0017]本专利技术提出的自适应监视数据处理自动化部署系统,能够实现基于配置参数变化的自动参数执行,同时能够实现基于输入数据源变化和硬件资源变化的系统部署架构及人物分配自适应,满足了运行过程中所需监视能力需求变更或硬件资源变化的动态自适应需求。
附图说明
[0018]此处所说明的附图用来提供对本专利技术实施例的进一步理解,构成本申请的一部分,并不构成对本专利技术实施例的限定。在附图中:
[0019]图1为本专利技术实施例的系统架构图。
[0020]图2为本专利技术实施例的系统工作原理图。
[0021]图3为本专利技术实施例的监视数据处理原理图。
[0022]图4为本专利技术实施例的监视数据处理服务线程关系示意图。
[0023]图5为本专利技术实施例的部署管理服务的业务流程图。
[0024]图6为本专利技术实施例的自动生成部署架构的流程示意图。
[0025]图7为本专利技术实施例的删除服务器后的部署架构自适应流程示意图。
[0026]图8为本专利技术实施例的数据处理服务配置参数构成。
[0027]图9为本专利技术实施例的配置参数生成流程示意图。
[0028]图10为本专利技术实施例的删除服务器后的参数自适应流程示意图。
[0029]图11为本专利技术实施例的数据处理服务初始化流程示意图。
具体实施方式
[0030]为使本专利技术的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本专利技术作进一步的详细说明,本专利技术的示意性实施方式及其说明仅用于解释本专利技术,并不作为对本专利技术的限定。
[0031]实施例
[0032]针对现有技术没有考虑不同应用场景下所需监视系统架构的差异问题,本实施例提出了一种多模式自适应监视数据处理自动化部署系统。
[0033]具体如图1所示,本实施例提出的系统包括部署配置界面、部署管理服务、代理服务、数据处理服务和数据中间件。其中需要为系统中每个应用服务器配置一个代理服务和一个数据处理服务。
[0034]其中,部署配置界面为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面。
[0035]部署管理服务根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整部署架构,并根据部署架构为每个服务器生成对应的服务运行配置参数。
[0036]代理服务根据收到的配置参数进行并执行决策,包括重启本机数据处理服务或在数据处理服务运行中动态应用新配置参数,代理服务是动态部署得以实施的保障,为部署管理服务提供所在服务器状态信息,需在各应用服务器中配置为开机自动启动;数据处理服务根据配置参数实现数据处理功能的初始化或动态调整,执行监视数据的接收、解析、单路处理、数据融合等功能。
[0037]数据中间件支持部署体系下不同服务器上的数据处理服务件的数据交互,以及作为数据融合处理结果的输出平台。
[0038]如图2所示,本专利技术实施例提出的系统工作流程如下:
[0039](1)配置输入数据源和可用服务器信息;
[0040](2)根据输入数据源和可用服务器信息生成或更新部署架构和任务分配;
[0041](3)基于部署架构和任务分配为各服务器构建配置参数;
[0042](4)各服务器代理服务根据收到的指令更新参数并重启数据处理服务;
[0043](5)数据处理服务根据配置参数完成服务的初始化和启动;
[0044](6)数据处理服务执行监视数据处理流程并输出结果。
[0045]作为一种可选的实施方式,数据处理服务主要用于接收和处理空管监视数据,核心功能包括数据接收、数据解析、单路数据处理、数据融合等,如图3所示本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种多模式自适应监视数据处理自动化部署系统,其特征在于,包括:部署配置界面,为系统自动部署的输入数据源和可用服务器信息的配置提供数据规范和交互界面;部署管理服务,根据输入数据源和可用服务器信息生成系统部署架构,或根据输入数据源和可用服务器信息调整系统部署架构,并根据系统部署架构为每个服务器生成对应的服务运行配置参数;代理服务,根据收到的配置参数进行并执行决策,包括重启本机数据处理服务或在数据处理服务运行中动态应用新配置参数,并为部署管理服务提供所在服务器状态信息,代理服务在各服务器中配置为开机自动启动;数据处理服务,根据配置参数实现数据处理功能的初始化或动态调整,执行监视数据处理流程;数据中间件,支持部署架构下不同服务器上的数据处理服务间的数据交互,以及作为监视数据处理结果的输出平台。2.根据权利要求1所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述部署配置界面的功能包括输入数据源配置、可用服务器信息配置和配置可用性检查;所述部署配置界面还支持为数据处理服务配置统一的数据中间件地址信息;其中,单路输入数据源的参数包括:数据源编号、数据源类型、数据协议类型、数据协议版本、数据更新周期、对应监视设备部署位置;单个可用服务器信息数据包括:设备编号、设备IP地址、设备物理地址;系统接入的数据源数量为N,则系统除数据中间件外,至少需要1台服务器,最大可占用的服务器数量M为:M=3
×
N+1。3.根据权利要求2所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述输入数据源配置包括新增数据源、修改数据源和删除数据源时的配置;其中,新增数据源即需要数据处理服务支持新的数据源的接入和处理;修改数据源即调整原有数据源的接收端口或对应监视设备部署位置;删除数据源即对不再接入的数据源信息删除,释放对应空线程占用的系统资源。4.根据权利要求2所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述可用服务器信息配置包括新增服务器、删除服务器和更换服务器时的配置;其中,新增服务器即根据处理能力扩展需求,为系统增加服务器;删除服务器是削减系统数据处理能力或移除故障的服务器;更换服务器是将一个服务器替换为另一个服务器,实现程序运行的自动移植。5.根据权利要求2所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,在初始部署时,所述配置可用性检查过程如下:获取输入数据源数量N;获取可用服务器数量m;计算最大可用服务器数量M;若满足1≤m≤M则通过检查;若可用服务器数量为0则提示服务器不满足要求,停止配置提交;若可用服务器数量大于M则提示服务器数量超配,确认自动选择分配空闲服务器后
提交;在系统运行过程中动态调整时,若涉及新增数据源、修改数据源和更换服务器时,无需进行检查;若涉及删除数据源、新增服务器和删除服务器时,需进行检查,检查流程与初始部署时的检测流程相同。6.根据权利要求1所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述部署管理服务的功能包括服务器可用性检查、部署架构生成或调整、各服务器配置参数构建、部署参数发布和各服务器状态监视。7.根据权利要求6所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述服务器可用性检查过程如下:从配置信息中提取服务器配置信息,构成配置服务器集合;从服务器状态监视信息中提取状态正常的服务器信息,构成在线服务器集合;从配置服务器集合中移除存在于在线服务器集合的所有服务器;若结果集合为空,则所有服务器可用,检查结束;若结果集合不为空,则进入下一步;根据物理地址尝试对状态不正常的服务器进行网络唤醒,等待预设时间以便服务器启动后对应的代理服务自启动;单独检测本次唤醒的各服务器状态信息,若所有服务器状态正常,则所有服务器进入可用状态,检查结束;否则为不可用服务器生成提示日志进行记录,并返回到部署配置界面进行提示,此状态下不进行后续的部署架构生成或调整操作。8.根据权利要求6所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述数据处理服务的核心功能包括数据接收、数据解析、单路处理和数据融合;根据数据处理服务的核心功能构成,数据处理服务可单服务器全功能运行,在多个服务器情况下,可分别配置为“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单路处理+数据融合”三种模式;系统初次部署时,部署架构生成包括部署架构人工初始化生成和部署架构自动初始化生成。9.根据权利要求8所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述部署架构人工初始化生成过程如下:选择系统部署模式;为模式的各阶段分配服务器并提交检测;系统对服务器分配进行检测,所选模式下数据融合阶段有且只有一个服务器,其他阶段的服务器数量不应超过输入数据源的数量,不符合要求则退回前一步提示修改,符合则进入下一步;为各阶段的各服务器分配处理任务,同一个数据源在同一阶段不能重复分配,完成后保存和应用;系统记录当前的部署架构和任务分配,发起配置参数的初始化构建,结束部署架构初始化。10.根据权利要求8所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述部署架构自动初始化生成过程如下:确定运行模式:系统运行模式按照可用服务器数量m和输入数据源数量N进行综合判
断,当只有一台服务器可用时只能采用全功能运行模式,服务器数量大于1时按照:分别计算“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单独处理+数据融合”模式下数据融合以外的服务器分配基数n1、n2、n3,然后基于模式下最大服务器占用的约束1≤n≤N剔除不满足约束的模式;对符合约束的模式,按照最佳负载均衡的方式进行选择;确定服务器分配:根据运行模式进行处理,首先为具备融合功能的节点分配一台服务器,剩下的服务器按照从第一个阶段按照取整进行分配;数据处理任务分配:对每个阶段对应的服务器数量m

,按照输入数据源数量N进行任务分配,针对服务器IP排序后,第n输入数据源分配的服务器序号i为:i=n%m

,1≤n≤N。11.根据权利要求10所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,输入数据源变化时,部署架构自适应变化;输入数据源变化包括新增数据源、变更数据源和删除数据源;其中,新增数据源时按照部署架构初始化生成步骤进行继续分配,且优先分配给各阶段任务最轻的服务器;变更数据源时不变更任务分配;删除数据源时将对应分配移除,同时检查对应各阶段的任务分配情况。12.根据权利要求11所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,删除数据源时将对应分配移除,同时检查对应各阶段的任务分配情况,具体包括:若删除数据源后对应阶段当前服务器处理任务数量相对同阶段任务最重服务器差为2,则将最重任务服务器的一个任务重新分配给当前服务器;若删除数据源后对应阶段当前服务器无任务,且其他服务器都只有一路数据源任务,即不满足任务调整条件时,当前服务器标记为无任务,当新增数据源时优先分配。13.根据权利要求8所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,可用服务器变化时,部署架构自适应变化;可用服务器变化包括新增服务器、替换服务器和删除服务器;其中,新增服务器时,按照除数据融合节点外的阶段服务器数量最少的部分进行分配,阶段服务器数量一致时,顺序靠后的阶段优先分配,同时检查对应阶段的任务分配情况,若新增服务器处理任务数量相对同阶段任务最重服务器差为2,则将最重任务服务器的一个任务重新分配给当前服务器;更换服务器时,则将所选服务器的任务完整的分配给指定的新服务器,任务分配模式不变;删除服务器时,若有空闲或无任务服务器,则将对应任务按照优先级分配给一台无任务或空闲的服务器;若无空闲或无任务服务器,且删除服务器后当前阶段服务器与服务器最多的阶段服务器数量差大于2,则将服务器数量最多的阶段服务器分配一台给当前阶段,
并重新分配任务;若无空闲或无任务服务器,且其他阶段服务器数量不满足调整条件,则在本阶段服务器中重新分配;若本阶段无法再获得服务器资源,即不满足当前模式分配,则对分配模式进行降级。14.根据权利要求6所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,所述部署管理服务根据部署架构的组成和变化生成各服务器监视数据处理服务的配置参数,包括初始化配置参数构建、输入数据源变化后的参数自适应和服务器变化后的参数自适应;系统部署架构包括“单服务器全功能运行”,“接收解析单路处理+数据融合”、“接收解析+单路处理+数据融合”、“接收+解析+单路处理+数据融合”四种模式,对应到单个服务器的数据处理服务则包括“全功能”“单接收”“单解析”“单路处理”“数据融合”“接收解析”“接收解析单路处理”工7种运行模式,根据部署架构生成管理需要,添加“空闲”和“无任务”两种模式,其中“空闲”模式是指服务器还没有纳入当前部署架构体系,“无任务模式”是指当前服务器以分配给当前部署架构体系,但没有分配数据处理任务;数据处理服务的配置参数包括基础参数和四个核心功能运行参数;基础参数包括运行模式、数据源参数、数据源过程数据标识数据中间件地址;数据源过程数据标识包括各数据源对应的原始数据标识、解析数据标识、单路航迹标识;核心功能运行参数包括数据输入方式、数据源编号、数据源输出方式;数据源编号与数据源参数中定义的编号对应,数据源输入方式包括“中间件输入”和“内部任务队列”两种模式,数据源输出方法包括“中间件输出”和“内部任务队列”两种模式;四个核心功能中,数据接收功能通过网口接收数据,无需定义数据输入方式;数据融合在监视数据处理服务中没有后续处理任务,只支持输出到数据中间件,无需定义数据输出方式;数据接收、数据解析和单路数据处理功能,每路输入由单独的线程进行处理,需为每路任务数据源配置参数;数据融合功能,所有的输入由单线程统一进行融合;接收参数、解析参数、单路处理参数和融合参数根据服务的运行模式确定是否配置。15.根据权利要求14所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,初始化配置参数构建过程如下:为所有数据源生成系统内统一的过程数据标识,包括各数据源的原始数据标识、解析数据标识、单路航迹标识,原始数据标识用于对应数据源数据接收和数据解析之间的数据传递,解析数据标识用于对应数据源数据解析和单路数据处理间的数据传递,单路航迹标识是用于单路数据处理结果到数据融合的数据传递:数据融合的结果采用默认的唯一标识存入数据中间件,以传递给其他业务系统;基于系统部署架构和数据处理任务分配,为每个服务器生成对应的所需配置参数,配置参数生成过程包括:基础参数配置步骤:包括确定当前服务器数据处理服务的运行模式,确定系统统一配置的数据中间件的地址,根据为当前服务器分配的数据处理任务提取对应的数据源参数,即根据数据处理任务分配提取各数据源对应的过程数据标识,共同构成配置参数的基础参数部分;运行模式检测步骤:检测当前服务器数据处理服务运行模式,若包含数据接收则通过步骤C5生成数据接收参数,若包含数据解析则通过数据解析配置步骤生成数据解析参数,
若包含单路数据处理则通过单路处理配置步骤生成单路数据处理参数,若包含数据融合则通过数据融合配置步骤生成数据融合参数,若当前服务器空闲或无任务则不生成核心功能参数;数据接收配置步骤:数据接收通过网口接收和输出原始数据,需根据数据源ID从数据源参数中获取对应的接收网口,从过程数据标识中提取对应的原始数据标识;若当前服务需要执行数据解析操作,则将数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据接收功能,为每个数据源单独封装一组数据接收参数;数据解析配置步骤:数据解析对数据接收的原始数据进行解析并输出对应解析数据,需根据数据源ID从过程数据标识中提取对应的原始数据标识和解析数据标识;若当前服务同时也执行数据接收操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;若当前服务同时执行单路数据处理操作,则数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据解析功能,为每个数据源单独封装一组数据解析参数;单路处理配置步骤:单路数据处理对数据解析的解析数据进行数据处理并输出对应的单路航迹数据,需根据数据源ID从过程数据标识中提取对应的解析数据标识和单路航迹标识;若当前服务同时也执行数据解析操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;若当前服务同时执行数据融合处理操作,则数据输出模式设置为“内部任务队列”,否则将数据输出模式设置为“数据中间件”模式并配置数据中间件地址;为便于初始化数据解析功能,为每个数据源单独封装一组单路数据处理参数;数据融合配置步骤:数据融合参数对所有单路数据处理输出的单路航迹数据进行融合,输出一路系统航迹数据,需根据数据源ID从过程数据标识中单路航迹标识;若当前服务同时也执行单路数据处理操作,则输入为“内部任务队列输入”,否则为“数据中间件输入”;数据融合处理结果在数据处理系统中无后续处理,输出默认按照系统航迹标识输出到数据中间件,无需配置输出模式;数据融合不需要对单路航迹分别处理,给出参与融合的数据源ID的集合即可。16.根据权利要求14所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,输入数据源变化包括新增数据源、删除数据源和更换数据源;输入数据源变化后的参数自适应过程包括:新增数据源时按照部署架构生成对应流程处理后,体现为对应服务器分配处理任务的增加,按照参数构建规则处理包括:为新的数据源生成过程数据标识;找到对应的服务器参数;在基础参数中添加新数据源的ID及过程数据标识;根据相应的服务器运行模式,为服务器增加对应数据源的核心功能参数;删除数据源时按照部署架构生成对应流程处理后,体现为对应服务器分配处理任务的减少,按照参数构建规则的处理包括:确认对应的数据源ID;移除数据源对应的所有数据过程标识;找到涉及该路数据处理的所有服务器,包括数据融合服务器;从对应服务参数的基础参数中移除数据源及过程数据标识;从对应服务器的接收、解析和/或单路数据处理等核心功能参数中移除对应的参数块;从数据融合服务器对应的参数中移除数据源ID及过程数据标识;
更换数据源体现为对数据源参数的改变,任务分配不变,按照参数构建规则的处理包括:确认对应的数据源ID;找到涉及该路数据处理的所有服务器,包括数据融合服务器;从对应服务参数的基础参数中替换对应的数据源参数。17.根据权利要求14所述的一种多模式自适应监视数据处理自动化部署系统,其特征在于,可用服务器变化包括新增服务器、更换服务器和删除服务器;可用服务器变化后的参数自适应过程包括:新增服务器时触发对应的任务再分配,表现为原有的一个或几个分配的任务减少,而为新增服务器初始化新的任务,按照参数构建规则的处理包括:获取任务减少的服务器及减少的数据源ID;从对应服务参数的基础参数中移除数据源及过程数据标识;从对应服务器的接收、解析和/或单路数据处理等核心功能参数中移除对应的参数块;根据新服务器参数的分配,按照初始化参数构建的流程构建新增服务器服务参数;更换服务器时触发任务的转移,任务的分配保持不变,表现为原有对应服务器整体任务的移除,以及新服务器所有任务的继承,按照参数构建规则的处理包括:获取原服务器及其完整的运行参数;从原服务器中清除数据源参数、过程数据标识和所有功能配置参数;将原服务器的完整运行参数设置为新服务器...

【专利技术属性】
技术研发人员:刘阳耿依田付燕丽王彦成李君惠
申请(专利权)人:四川九洲空管科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1