数据的处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据的处理方法及装置，方法包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。本发明专利技术实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

Data processing method and device

【技术实现步骤摘要】
数据的处理方法及装置
本专利技术涉及数据处理领域，特别涉及一种数据的处理方法及装置。
技术介绍
随着信息化建设和IT技术的快速发展，网络技术的应用更加广泛深入，但在得益于网络加快业务处理的同时，也出现许多网络安全问题，如窃取用户信息、传播计算机病毒、篡改数据信息等，这些网络安全问题都会给系统带来不可估量的损失。由此可见网络安全技术的重要性更加突出，网络安全是保障网络空间发展的前提与基础。网络安全设备运行过程中记录的数据是进行安全分析的重要数据来源。实际应用过程中，想要进一步分析网络中的攻击行为隐藏的特征、规律等，需要将海量数据导出后借助外部安全分析工具分析数据。为了提高海量数据导出效率，通常在导出海量数据前，先将海量数据分割为小数据块，然后再将所有小数据块导出到计算机。然而，将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，在数据导出后，如果某个数据块的数据存在问题，则查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。
技术实现思路
有鉴于此，本专利技术实施例提出了一种数据的处理方法及装置，用以解决现有技术的如下问题：将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。一方面，本专利技术实施例提出了一种数据的处理方法，包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。在一些实施例中，按照预定方式分割待导出数据，以得到分割后的多个数据块，包括：检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。在一些实施例中，生成多个具有预定标识的数据块之后，还包括：分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。在一些实施例中，按照预定方式分割所述待导出数据，包括：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。在一些实施例中，所述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的元素ID标识；根据数据块内容顺序生成的序列号标识。另一方面，本专利技术实施例提出了一种数据的处理装置，包括：分割模块，用于按照预定方式分割待导出数据，以得到分割后的多个数据块；标识模块，用于按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。在一些实施例中，所述分割模块包括：检测单元，用于检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；分割单元，用于在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。在一些实施例中，还包括：压缩模块，用于分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。在一些实施例中，所述分割模块具体用于：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。另一方面，本专利技术实施例提出了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本专利技术实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。附图说明图1为本专利技术第一实施例提供的数据的处理方法的流程图；图2为本专利技术第二实施例提供的数据的处理装置的结构示意图。具体实施方式为了使得本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。除非另外定义，本专利技术使用的技术术语或者科学术语应当为本专利技术所属领域内具有一般技能的人士所理解的通常意义。本专利技术中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本专利技术实施例的以下说明清楚且简明，本专利技术省略了已知功能和已知部件的详细说明。本专利技术第一实施例提供了一种数据的处理方法，该方法的流程如图1所示，包括步骤S101至S102：S101，按照预定方式分割待导出数据，以得到分割后的多个数据块。上述待导出数据的数据量非常大，又称之为海量数据。分割时，预定方式可以选择按照时间维度分割，即在待导出数据中依次获取具有固定时长的数据，则得到的每个数据块大小(即包含的数据量)不等，能够实现将一条完整数据分割在同一个数据块中；预定方式还可以选择按照数据大小维度分割，即在待导出数据中依次获取具有固定数据大小的数据，则得到的每个数据块大小相同。具体分割待导出数据时，预定方式还可以是将按照时间维度分割和按照数据大小维度分割结合使用。S102，按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。无论预定标识是什么，都可以按照时间顺序为先分割的数据块先设置预定标识。数据都具有一定的连续性，分割后相邻的数据块间也具有连续性，因此，可以按照分割的时间顺序依次为得到的各个数据块从1开始编号，如果分割得到N个数据块，则第N个数据块的预定标识可以为N。上述方式即根据数据块内容顺序生成的序列号标识，当然，预定标识还可以为根据数据块记录的起止时间生成的时间标识，或者，根据数据块的起止ID生成的元素ID标识等，也可以为同一数据块同时设置上述多种标识。本专利技术实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源本文档来自技高网...

【技术保护点】
1.一种数据的处理方法，其特征在于，包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。2.如权利要求1所述的方法，其特征在于，按照预定方式分割待导出数据，以得到分割后的多个数据块，包括：检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。3.如权利要求1所述的方法，其特征在于，生成多个具有预定标识的数据块之后，还包括：分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。4.如权利要求1至3中任一项所述的方法，其特征在于，按照预定方式分割所述待导出数据，包括：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。5.如权利要求1至3中任一项所述的方法，其特征在于，所述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的...

【专利技术属性】
技术研发人员：刘凯歌，范鸿雷，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京,11