一种基于分布式集群的卫星海量数据处理方法、系统及介质技术方案

本发明专利技术实施例公开了一种基于分布式集群的卫星海量数据处理方法、系统及介质；该系统包括：服务器集群、遥测数据库、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。结果实时呈现于在轨卫星对应的数字孪生体。结果实时呈现于在轨卫星对应的数字孪生体。

【技术实现步骤摘要】
一种基于分布式集群的卫星海量数据处理方法、系统及介质


[0001]本专利技术实施例涉及卫星数据处理
，尤其涉及一种基于分布式集群的卫星海量数据处理方法、系统及介质。

技术介绍

[0002]地面卫星系统在接收在轨卫星的遥测数据过程中，由于传输带宽、卫星可见时长以及处理能力等影响，无法在同一时刻接收并处理大量在轨卫星遥测数据，容易造成地面卫星系统界面卡顿，数据丢失，软件崩溃等问题。
[0003]因此，目前常规的地面卫星系统方案，无法适应于大规模星座的遥测数据接收和处理。

技术实现思路

[0004]有鉴于此，本专利技术实施例期望提供一种基于分布式集群的卫星海量数据处理方法、系统及介质；能够实时快速地接收并处理海量的卫星遥测数据。
[0005]本专利技术实施例的技术方案是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种基于分布式集群的卫星海量数据处理系统，所述系统包括：服务器集群、遥测数据库、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，
[0007]所述服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至所述遥控遥测子系统；
[0008]所述遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
[0009]所述数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
[0010]所述数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
[0011]第二方面，本专利技术实施例提供了一种基于分布式集群的卫星海量数据处理方法，所述方法应用于第一方面所述的基于分布式集群的卫星海量数据处理系统，所述方法包括：
[0012]服务器集群中的服务器接收对应在轨卫星的遥测数据；
[0013]所述服务器将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至遥控遥测子系统；
[0014]所述遥控遥测子系统根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星
状态实时呈现所需的数据传输至数据处理子系统集群；
[0015]所述遥控遥测子系统在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；
[0016]所述数据处理子系统集群中的数据处理子系统将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；
[0017]所述数字孪生子系统生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
[0018]第三方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于分布式集群的卫星海量数据处理程序，所述基于分布式集群的卫星海量数据处理程序被至少一个处理器执行时实现第二方面所述基于分布式集群的卫星海量数据处理方法的步骤。
[0019]本专利技术实施例提供了一种基于分布式集群的卫星海量数据处理方法、系统及介质；利用服务器集群中服务器与在轨卫星之间的对应关系接收遥测数据，从而将在轨卫星海量的遥测数据通过多个服务器进行分担接收，并且利用数据处理子系统集群分担海量遥测数据的处理压力，从而通过集群负载平衡海量数据压力，使得海量遥测数据及时地接收并处理，满足数字孪生子系统实时呈现卫星状态的需求。
附图说明
[0020]图1为本专利技术实施例提供的一种基于分布式集群的卫星海量数据处理系统组成示意图；
[0021]图2为本专利技术实施例提供的数据处理子系统的组成示意图；
[0022]图3为本专利技术实施例提供的数据处理子系统的架构设计示意图；
[0023]图4为本专利技术实施例提供的一种基于分布式集群的卫星海量数据处理方法流程示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0025]对于地面的数字化卫星系统来说，利用数字孪生仿真的手段，基于在轨卫星下传的遥测数据进行实时仿真、计算及处理，能够更加真实和直观地呈现在轨卫星的实时状态。
[0026]随着卫星运载能力的不断提升，卫星功能的不断增加，单颗卫星在轨运行过程中需要进行下传的遥测数据的数据量也随之增长；再结合大规模卫星星座的应用，在轨卫星形成的海量遥测数据需要及时地被地面的数字化卫星系统接收并处理，才能够满足实时呈现卫星状态的需求。
[0027]基于此，参见图1，其示出了本专利技术实施例提供的一种基于分布式集群的卫星海量数据处理系统10，该系统10可以包括：服务器集群11、遥测数据库12、遥控遥测子系统13、数据处理子系统集群14以及数字孪生子系统15；其中，
[0028]所述服务器集群11包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库12中并将接收到的遥测数
据上报至所述遥控遥测子系统13；
[0029]所述遥控遥测子系统13，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群14；以及，在数据处理子系统集群14中，为在轨卫星配置对应的数据处理子系统；
[0030]所述数据处理子系统集群14包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统15；
[0031]所述数字孪生子系统15，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。
[0032]通过上述技术方案，利用服务器集群中服务器与在轨卫星之间的对应关系接收遥测数据，从而将在轨卫星海量的遥测数据通过多个服务器进行分担接收，并且利用数据处理子系统集群分担海量遥测数据的处理压力，从而通过集群负载平衡海量数据压力，使得海量遥测数据及时地接收并处理，满足数字孪生子系统实时呈现卫星状态的需求。
[0033]结合图1所示的系统10，对于服务器集群来说，在一些示例中，服务器集群11中包括了多个服务器设备，以3个为例，分别可以标志为服务器11
‑
1、11
‑
2以及11
‑
3，每个服务器均对应多颗在轨卫星，也就是说，可以将大规模卫星星座中的在轨卫星进行划分，获得多个卫星群，每个卫星群均可以对应一个服务器。基于该对应关系，每个服务器就能够接收自身所对应的多颗卫星的遥测数据，从而将卫星星座中的海量遥测数据通过服务器集群的方式进行划分，从而分担了海量数据的接收压力。对于每个服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式集群的卫星海量数据处理系统，其特征在于，所述系统包括：服务器集群、遥测数据库、遥控遥测子系统、数据处理子系统集群以及数字孪生子系统；其中，所述服务器集群包括一个或多个服务器，每个服务器对应接收多颗在轨卫星下传的遥测数据，以及将接收到的遥测数据保存在所述遥测数据库中并将接收到的遥测数据上报至所述遥控遥测子系统；所述遥控遥测子系统，用于根据遥测数据生成在轨卫星的JSON协议数据，并将在轨卫星状态实时呈现所需的数据传输至数据处理子系统集群；以及，在数据处理子系统集群中，为在轨卫星配置对应的数据处理子系统；所述数据处理子系统集群包括一个或多个数据处理子系统，每个数据处理子系统，用于将对应的在轨卫星数据进行实时处理和计算，并将处理及计算结果传输至数字孪生子系统；所述数字孪生子系统，用于生成在轨卫星对应的数字孪生体，并将数据处理子系统的计算及处理结果实时呈现于在轨卫星对应的数字孪生体。2.根据权利要求1所述的系统，其特征在于，所述遥测数据库包括消息队列MQ缓冲中间件、Redis缓存以及主数据库；其中，在所述服务器将接收到的遥测数据保存至遥测数据库的过程中，利用MQ缓冲中间件按照在轨卫星的标识将遥测数据写入Redis缓存以及主数据库。3.根据权利要求1所述的系统，其特征在于，所述遥控遥测子系统，经配置为：在接收到服务器集群所上报的所有在轨卫星的遥测数据之后，对应生成这些卫星的JSON协议数据；以及，将能够作为数字孪生子系统进行状态呈现所需要的数据传输至后端的数据处理子系统集群；以及，将对于数字孪生子系统的状态呈现没有作用的数据进行保存；以及，在数据处理子系统集群中，针对在轨卫星分配对应进行数据仿真计算和处理的数据处理子系统。4.根据权利要求1所述的系统，其特征在于，所述数据处理子系统集群中的每个数据处理子系统，经配置为：针对遥控遥测子系统传输的数据进行仿真计算及处理并将计算和处理结果整理成符合数字孪生子系统所规定的数据格式并实时进行推送；以及，从缓冲区中获取缓存的遥测数据，并针对该遥测数据进行处理计算，将计算结果保存到遥测数据库的主数据库中，且将所述计算结果传输至数字孪生子系统，以驱动数字孪生模型，通过数字孪生体实时呈现在轨卫星状态。5.根据权利要求1所述的系统，其特征在于，所述每个数据处理子系统，包括：参数配置模块、遥测数据接收模块、遥测数据分发模块、命令处理模块、遥测数据发送模块以及仿真计算模块；其中，所述参数配置模块，用于提供维护系统运行所需的卫星参数、采集数据参数、运行参数信息；所述遥测数据接收模块，用于接收来自遥控遥测子系统的卫星数据并将其推送至遥测数据分发模块；
所述遥测数据分发模块，用于将卫星数据进行分类整理，并将需要进行仿真计算和处理的卫星数据推送至仿真计算模块，将符合数字孪生子系统协议格式的数据推送至遥测数据发送模块；所述遥测数据发送模块，用于将收到的推送数据发送至数字孪生子系统对应的显示设备上；所述仿真计算模块，用于将仿真计算和处理的计算结果通过协议文件保存至数字孪生子系统的共享路径下，并将仿真计算和处理的完成指示发送至数字孪生子系统对应的显示设备上；所述命令处理模块，用于接收来自遥控遥测子系统的数据源系统的控制命令，并将执行结果返回给遥控遥测子系统的数据源系统。6.根据权利要求5所述的系统，其特征在于，所述参数配置模块，经配置为：通过设计好的交互界面，由用户自主维护系统需要采集的卫星参数、数据参数以及运行参数等信息；所述遥测数据接收模块，经配置为通过数据接收线程接收来自遥控遥测子系统发送过来的JSON格式的数据并将其存放至数据接收队列缓冲区中。所述遥测数据分发模块，经配置为通过数据分发线程从数据接收队列缓冲区中将遥控遥测...

【专利技术属性】
技术研发人员：马丽娜，李明林，关聪，
申请(专利权)人：哈尔滨工大卫星技术有限公司，
类型：发明
国别省市：