一种数据存储的方法技术

本申请适用于大数据技术领域，提供了一种数据存储的方法，用于解决现有技术中Kafka采集的数据无法及时进行数据分流和入库的问题，所述方法包括：从Kafka消息队列中获取待分流的目标数据；获取所述目标数据的目标属性标识；根据预设的属性标识和预设的存储空间的映射关系，确定所述目标属性标识对应的目标存储空间，所述目标存储空间为Hadoop分布式文件系统HDFS服务器上的存储空间；向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息。

A method of data storage

【技术实现步骤摘要】
一种数据存储的方法
本申请属于大数据处理
，尤其涉及一种数据存储的方法和一种服务器。
技术介绍
随着云时代的来临，大数据也吸引了越来越多的关注。大数据需要特殊的技术，以有效地处理大量的数据。例如，在进行大数据的采集和入库时，常见地可以应用Kafka和Hadoop两种技术。其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Hadoop是一种分布式系统基础架构，其核心设计包括Hadoop分布式文件系统(Hadoopdistributedfilesystem，HDFS)和MapReduce。HDFS是一种分布式文件系统，MapReduce是一种编程模型，用于对大规模数据集的并行运算。需要说明的是，由于大数据中往往包括各类数据，因此在进行入库时，需要实现数据的分流入库，也即，将各类数据存放到为各个数据类别预设的存储空间中。具体地，利用Kafka和Hadoop进行大数据的采集和入库时，首先需要采用Kafka完成数据的采集。之后，将Kafka中采集的数据先写入HDFS中，最后再利用MapRe本文档来自技高网...

【技术保护点】
1.一种数据存储的方法，其特征在于，包括：/n从Kafka消息队列中获取待分流的目标数据；/n获取所述目标数据的目标属性标识；/n根据预设的属性标识和预设的存储空间的映射关系，确定所述目标属性标识对应的目标存储空间，所述目标存储空间为Hadoop分布式文件系统HDFS服务器上的存储空间；/n向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息。/n

【技术特征摘要】
1.一种数据存储的方法，其特征在于，包括：
从Kafka消息队列中获取待分流的目标数据；
获取所述目标数据的目标属性标识；
根据预设的属性标识和预设的存储空间的映射关系，确定所述目标属性标识对应的目标存储空间，所述目标存储空间为Hadoop分布式文件系统HDFS服务器上的存储空间；
向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息。


2.根据权利要求1所述的方法，其特征在于，所述根据预设的属性标识和预设的存储空间的映射关系，确定所述目标属性标识对应的目标存储空间，包括：
根据所述目标数据的所述目标属性标识，利用flink引擎、storm引擎或sparkstreaming引擎从所述映射关系中查询确定所述目标属性标识对应的所述目标存储空间。


3.根据权利要求1或2所述的方法，其特征在于，所述目标属性标识包括所述目标数据的创建者标识，用户标识或数据类别标识中的至少一种。


4.一种数据存储的方法，其特征在于，包括：
Hadoop分布式文件系统HDFS服务器获取目标服务器发送的将目标数据写入目标存储空间的指示消息，所述目标数据由所述目标服务器从Kafka消息队列中获取，所述目标存储空间为所述目标服务器在确定所述目标数据的目标属性标识后，根据预设的属性标识和预设的存储空间的映射关系确定的与所述目标属性标识对应的存储空间；
所述HDFS服务器将所述目标数据写入所述目标存储空间。


5.根据权利要求4所述的方法，其特征在于，所述目标存储空间为所述目标服务器在确定所述目标数据的目标属性标识后，利用flink引擎、storm引擎或者sparkstreaming引擎从预设的属性标识和预设的存储空间的映射关系查询确定的与所述目标属性标识对应的存储空间。
<...

【专利技术属性】
技术研发人员：徐格，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东;44