数据处理方法和装置制造方法及图纸

本申请实施例提供了一种数据处理方法和装置，在进行数据处理时，先接收数据处理请求；其中，数据处理请求中包括待处理数据的标识；根据待处理数据的标识，在关系型数据库管理系统中查找待处理数据所在的目标文件存储路径；根据目标文件存储路径，从分布式文件系统中获取待处理数据；其中，分布式文件系统中存储有各数据以及各数据所在的文件存储路径；对待处理数据进行处理。这样通过将数据分散存储在分布式文件系统中，由于分布式文件系统支持大量的数据存储，且吞吐量较大，因此，对存储在分布式文件系统中的数据进行处理时，其数据处理效率较高，可以有效地提高数据的处理效率。可以有效地提高数据的处理效率。可以有效地提高数据的处理效率。

【技术实现步骤摘要】
数据处理方法和装置


[0001]本专利技术涉及数据管理
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]通常情况下，在有数据存储需求时，是将数据存储在关系型数据库管理系统(My structured query language，简称MySQL)中。在对数据进行处理时，从MySQL中读取待处理数据，并对待处理数据进行分析处理，再将数据分析结果存储在MySQL中。
[0003]但是，当MySQL中存储有海量数据时，若从MySQL中读取待处理数据，并对待处理数据进行分析处理，会使得MySQL的数据处理量较大，从而导致数据处理效率较低。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法和装置，能够有效地提高数据处理的效率。
[0005]第一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法包括：
[0006]接收数据处理请求；其中，所述数据处理请求中包括待处理数据的标识。
[0007]根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据处理请求；其中，所述数据处理请求中包括待处理数据的标识；根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径；其中，所述关系型数据库管理系统中存储有多个数据中各数据的标识以及所述各数据所在的文件存储路径，且所述多个数据中包括所述待处理数据；根据所述目标文件存储路径，从分布式文件系统中获取所述待处理数据；其中，所述分布式文件系统中存储有所述各数据以及所述各数据所在的文件存储路径；对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述待处理数据的处理结果，在所述关系型数据库管理系统中对所述待处理数据的状态进行标记；其中，所述待处理数据的状态包括已处理或者未处理。3.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径之前，还包括：获取所述多个数据；将所述多个数据存储在所述分布式文件系统中，并生成所述多个数据各自所在的文件存储路径；根据所述多个数据中各数据的标识以及所述各数据所在的文件存储路径建立所述关系型数据库管理系统。4.根据权利要求3所述的方法，其特征在于，所述分布式文件系统中包括多个文件存储单元，所述将所述多个数据存储在所述分布式文件系统中，包括：确定所述多个文件存储容器中各文件存储单元可存储的数据容量；根据所述各文件存储单元可存储的数据容量，将所述多个数据存储所述分布式文件系统中；不同的文件存储单元对应的文件存储路径不同。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：输出所述待处理数据的处理结果...

【专利技术属性】
技术研发人员：郑永广，武宗涛，胡奎，赵锡成，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：