一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，其中，该方法包括：对待处理文件进行划分，得到N份分割数据，其中，N为正整数；按照预设的上下文关联长度，对所述N份分割数据进行关联划分，生成N份分割关联数据，其中，所述分割关联数据与所述分割数据是一一对应的关系；对所述N份分割数据和所述N份分割关联数据进行合并处理，得到N份合并数据；对所述N份合并数据中的每份合并数据分别进行处理，得到N份处理结果；汇总所述N份处理结果，得到输出数据。本发明专利技术有效地解决了现有技术中因为丢失上下文信息而导致的数据处理结果不准确的技术问题，达到了有效提高数据处理结果准确性的技术效果。

A data processing method and device

The invention discloses a data processing method and device, wherein, the method comprises the following steps: treat the file division, N segmentation data, wherein N is a positive integer; according to the context length of presupposition, the N segmentation data association division, generating N split linked data, which the segmentation of related data and the segmentation data is the corresponding relationship; the N segmentation data and the N segmentation associated data merge, N combined data; the N combined data in each merge data were processed, N continuous processing results; a summary of the N processing results, get the output data. The invention effectively solves the technical problem that the data processing result is not accurate due to the loss of contextual information in the existing technology, and achieves the technical effect of effectively improving the accuracy of data processing results.

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及移动通讯领域，特别是涉及一种数据处理方法和装置。
技术介绍
随着互联网技术的不断发展，对于大数据处理的需要也越来越高，对于如何处理大数据，目前主要有两个处理方向：第一个方向：集中式计算，就是通过不断增加处理器的数量来增强单个计算机的计算能力，从而提高处理数据的速度；第二个方向：分布式计算，就是将一组计算机通过网络相互连接组成分散系统，然后，将需要处理的大量数据分散成多个部分，再交由分散系统内的计算机组同时计算，最后，将这些计算结果合并以得到最终的处理结果。尽管分散系统内的单个计算机的计算能力不强，但是，由于每个计算机只计算一部分数据，而且是多台计算机同时计算，因此，就分散系统而言，处理数据的速度会远高于单个计算机的处理速度。近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，数百TB(Terabyte，计算机存储容量单位，大小为2的40次方字节)甚至数十至数百PB(petabyte，计算机存储容量单位，大小为2的50次方字节)规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：对待处理文件进行划分，得到N份分割数据，其中，N为正整数；按照预设的上下文关联长度，对所述N份分割数据进行关联划分，生成N份分割关联数据，其中，所述分割关联数据与所述分割数据是一一对应的关系；对所述N份分割数据和所述N份分割关联数据进行合并处理，得到N份合并数据；对所述N份合并数据中的每份合并数据分别进行处理，得到N份处理结果；汇总所述N份处理结果，得到输出数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：对待处理文件进行划分，得到N份分割数据，其中，N为正整数；按照预设的上下文关联长度，对所述N份分割数据进行关联划分，生成N份分割关联数据，其中，所述分割关联数据与所述分割数据是一一对应的关系；对所述N份分割数据和所述N份分割关联数据进行合并处理，得到N份合并数据；对所述N份合并数据中的每份合并数据分别进行处理，得到N份处理结果；汇总所述N份处理结果，得到输出数据。2.如权利要求1所述的方法，其特征在于，对待处理文件进行划分，得到N份分割数据，包括：统计所述待处理文件的文件总大小；根据所述文件总大小，按照每份分割数据的大小相等的原则，将所述待处理文件划分为N份分割数据。3.如权利要求1所述的方法，其特征在于，对所述N份合并数据中的每份合并数据分别进行处理，得到N份处理结果，包括：将所述N份合并数据中的每份合并数据作为一个计算任务，得到N个计算任务；对所述N个计算任务并行进行处理。4.如权利要求1所述的方法，其特征在于，按照预设的上下文关联长度，对所述N份分割数据进行关联划分，生成N份分割关联数据，包括：按照所述预设的上下文关联长度，截取所述当前份分割数据的下一份分割数据中前所述预设的上下文关联长度的数据，作为与所述当前份分割数据对应的分割关联数据；或者，按照所述预设的上下文关联长度，截取所述当前份分割数据的上一份分割数据中后所述预设的上下文关联长度的数据，作为与所述当前份分割数据对应的分割关联数据。5.如权利要求1至4中任一项所述的方法，其特征在于，在对待处理文件进行划分，得到N份分割数据之后，所述方法还包括：对所述N份分割数据一一进行编号；在按照所述预设的上下文关联长度，对所述N份分割数据进行关联划分，生成N份分割关联数据之后，所述方法还包括：对所述N份分割关联数据一一进行编号，且每份分割关联数据与对应的分割数据的编号是相同的；相应的，对所述N份分割数据和所述N份分割关联数据进行合并处理，得到N份合并数据，包括：读取编号相同的分割数据和分割...

【专利技术属性】
技术研发人员：汤景柱，
申请(专利权)人：南京中兴软件有限责任公司，
类型：发明
国别省市：江苏,32