一种大数据处理方法技术
【技术实现步骤摘要】
一种大数据处理方法
本专利技术涉及大数据处理
，特别是涉及。
技术介绍
随着网络技术的发展，网络上存在的数据量越来越大，对这些数据进行处理是一个亟待解决的技术问题。目前，互联网公司通常会根据各条数据的产生时间存储到存储服务器中，比如，在00:00:01产生了第一条数据，将该条数据打上时间戳00:00:01后，存储到存储服务器中；在00:00:02产生了第二条数据，将该条数据打上时间戳00:00:02后，存出道存储服务器中。在需要使用这些数据时，根据用户需求，从各个存储服务器中检索对应的数据，然后再使用这些数据。但是，现有技术按照产生的时间顺序存储各条数据，会将含有不同预设内容和/或不同预设信息的数据存储到同一存储服务器上，还可能会出现，将相同预设内容和/或相同预设信息的数据存储到不同的存储服务器上，这样在用户搜索这些数据时候，需要检索所有的服务器，导致用户检索数据的耗时较长。
技术实现思路
本专利技术实施例的目的在于提供一种大数据处理方法，以实现降低用户检索数据的耗时。具体技术方案如下：为解决现有技术问题，本专利技术实施例提供了一种大数据处理方法，所述方法包括：...
【技术保护点】
一种大数据处理方法，其特征在于，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息；针对每一子数据流，将该子数据流存储到对应的存储服务器中。
【技术特征摘要】
1.一种大数据处理方法，其特征在于，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息；针对每一子数据流，将该子数据流存储到对应的存储服务器中。2.根据权利要求1所述的方法，其特征在于，在根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流之前，所述方法还包括：对待处理数据流中的说是有数据进行合法性验证，以去除不合法的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流，包括：针对待处理数据流中的每一条数据，将包含所述预设内容的数据作为目标待处理数据；将获得的至少一条目标待处理数据的集合作为目标待处理数据流。4.根据权利要求1所述的方法，其特征在于，所述针对每一子数据流，将该子数据流存储到对应的存...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。