一种数据处理方法技术

本发明专利技术公开了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、设备和存储介质


[0001]本专利技术实施例涉及航空航天及大数据
，尤其涉及一种数据处理方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]现有技术中，分布式并行处理成为处理大载荷数据文件的有效的方法
。
然而在直接的并行处理过程中，各个分布式节点仅处理分配给本节点的部分数据文件，一个大的载荷数据文件拆分成几个部分之后，子
(
部分
)
数据文件之间并不存在优先级，这就导致了拆分之前的载荷数据文件中的顺序没有得到保持
。
如果希望保持顺序，则只能利用单一节点对大载荷数据文件进行串行处理，这样则会导致解析时间过长，不能充分利用分布式并行处理带来的好处
。

技术实现思路

[0003]本专利技术实施例提供一种数据处理方法
、
装置
、
设备和存储介质，以实现能够解决分布式处理及全局顺序保持存在矛盾的问题，可以提升分类有序载荷数据文件的解析效率
。
[0004]根据本专利技术的一方面，提供了一种数据处理方法，包括：
[0005]获取初始载荷数据文件；
[0006]根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；
[0007]将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；
[0008]对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据
。
[0009]根据本专利技术的另一方面，提供了一种数据处理装置，该装置包括：
[0010]获取模块，用于获取初始载荷数据文件；
[0011]拆分模块，用于根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；
[0012]存储模块，用于将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；
[0013]排序模块，用于对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据
。
[0014]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理方法
。
[0018]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理方法
。
[0019]本专利技术实施例通过获取初始载荷数据文件，根据预设并行度对初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段，将每个载荷数据段中的载荷数据分别存储至至少一个预设主题中，对每个预设主题中的载荷数据进行排序，得到初始载荷数据文件对应的目标载荷数据
。
通过本专利技术的技术方案，能够解决分布式处理及全局顺序保持存在矛盾的问题，可以提升分类有序载荷数据文件的解析效率
。
[0020]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围
。
本专利技术的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
[0022]图1是本专利技术实施例中的一种数据处理方法的流程图；
[0023]图2是本专利技术实施例中的一种初始载荷数据文件的示意图；
[0024]图3是本专利技术实施例中的一种第一载荷数据段存入预设主题的示意图；
[0025]图4是本专利技术实施例中的一种第二载荷数据段存入预设主题的示意图；
[0026]图5是本专利技术实施例中的一种第三载荷数据段存入预设主题的示意图；
[0027]图6是本专利技术实施例中的一种第四载荷数据段存入预设主题的示意图；
[0028]图7是本专利技术实施例中的将所有载荷数据段存入预设主题后的示意图；
[0029]图8是本专利技术实施例中的一种目标载荷数据的示意图；
[0030]图9是本专利技术实施例中的一种数据处理装置的结构示意图；
[0031]图
10
是实现本专利技术实施例的数据处理方法的电子设备的结构示意图
。
具体实施方式
[0032]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0033]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法
、
产品
或设备固有的其它步骤或单元
。
[0034]实施例一
[0035]图1是本专利技术实施例中的一种数据处理方法的流程图，本实施例可适用于数据处理的情况，该方法可以由本专利技术实施例中的数据处理装置来执行，该装置可采用软件和
/
或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
[0036]S101、
获取初始载荷数据文件
。
[0037]在本实施例中，初始载荷数据文件可以是实时接收的初始的包含若干航天载荷数据的文件
。
[0038]S102、
根据预设并行度对初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段
。
[0039]其中，预设并行度可以是由用户根据实际情况预先设置的长度，本实施例对此不进行限定...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取初始载荷数据文件；根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据
。2.
根据权利要求1所述的方法，其特征在于，每个所述载荷数据段中包括至少一个载荷数据，每个所述载荷数据携带类别信息；将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中，包括：根据每个所述载荷数据携带的类别信息，对每个所述载荷数据段中的载荷数据进行归类，得到每个所述载荷数据段对应的至少一个载荷数据集合；将每个所述载荷数据段对应的至少一个载荷数据集合分别存储至至少一个预设主题中
。3.
根据权利要求2所述的方法，其特征在于，将每个所述载荷数据段对应的至少一个载荷数据集合分别存储至至少一个预设主题中，包括：建立与每种所述类别信息对应的预设主题；将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题中
。4.
根据权利要求3所述的方法，其特征在于，将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题中，包括：获取所述载荷数据段的目标数量；在每个所述预设主题中建立所述目标数量的分区；将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题的分区中
。5.
根据权利要求4所述的方法，其特征在于，将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题的分区中，包括：将同一个所述载荷数据段对应的每种载荷数据集合分别存储在每种类别信息对应的预设主题的相同位置的分区内
。6.
根据权利要求5所述的方法，其特征在于，对每个所...

【专利技术属性】
技术研发人员：周大创，刘兆富，
申请(专利权)人：北京和德宇航技术有限公司，
类型：发明
国别省市：