一种大数据处理方法技术

本发明专利技术实施例提供了一种大数据处理方法，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流；针对每一子数据流，将该子数据流存储到对应的存储服务器中。应用本发明专利技术实施例，降低了用户检索数据的耗时。

【技术实现步骤摘要】
一种大数据处理方法
本专利技术涉及大数据处理
，特别是涉及。
技术介绍
随着网络技术的发展，网络上存在的数据量越来越大，对这些数据进行处理是一个亟待解决的技术问题。目前，互联网公司通常会根据各条数据的产生时间存储到存储服务器中，比如，在00:00:01产生了第一条数据，将该条数据打上时间戳00:00:01后，存储到存储服务器中；在00:00:02产生了第二条数据，将该条数据打上时间戳00:00:02后，存出道存储服务器中。在需要使用这些数据时，根据用户需求，从各个存储服务器中检索对应的数据，然后再使用这些数据。但是，现有技术按照产生的时间顺序存储各条数据，会将含有不同预设内容和/或不同预设信息的数据存储到同一存储服务器上，还可能会出现，将相同预设内容和/或相同预设信息的数据存储到不同的存储服务器上，这样在用户搜索这些数据时候，需要检索所有的服务器，导致用户检索数据的耗时较长。
技术实现思路
本专利技术实施例的目的在于提供一种大数据处理方法，以实现降低用户检索数据的耗时。具体技术方案如下：为解决现有技术问题，本专利技术实施例提供了一种大数据处理方法，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息；针对每一子数据流，将该子数据流存储到对应的存储服务器中。可选的，在根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流之前，所述方法还包括：对待处理数据流中的说是有数据进行合法性验证，以去除不合法的数据。可选的，所述根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流，包括：针对待处理数据流中的每一条数据，将包含所述预设内容的数据作为目标待处理数据；将获得的至少一条目标待处理数据的集合作为目标待处理数据流。可选的，所述针对每一子数据流，将该子数据流存储到对应的存储服务器中，包括：读取存储服务器中存储的数据的所述预设信息，包含有所述预设信息的子数据流存储到该存储服务器中。可选的，所述方法还包括：针对每一子数据流，获取所述子数据流包含的数据量的大小；获取与所述子数据流包含的预设信息和预设内容对应的存储服务器，其中，所述存储服务器中存储的数据的具有与所述预设信息和预设内容相同的信息；获取各个所述存储服务器剩余容量的大小；判断是否存在剩余容量大于所述子数据流的包含的数据量的存储服务器；若是，将所述子数据流切分后，分别存储到至少两个剩余容量小于所述子数据流的包含的数据量的存储服务器上，且所述至少两个剩余容量小于所述子数据流的包含的数据量的存储服务器的剩余容量之和，不小于所述子数据流的包含的数据量，并在用于存储所述子数据流的存储服务器内建立指向其他用于存储所述子数据流的存储服务器的文件；若否，执行所述将该子数据流存储到对应的存储服务器中的步骤，其中，所述将该子数据流存储到对应的存储服务器中，包括：将所述子数据流存储到所述剩余容量大于所述子数据流的包含的数据量的存储服务器中。可选的，所述指向其他用于存储所述子数据流的存储服务器的文件为，指向所述其他用于存储所述子数据流的存储服务器中存储所述子数据流的位置的文件。本专利技术实施例提供了一种大数据处理方法，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流；针对每一子数据流，将该子数据流存储到对应的存储服务器中。应用本专利技术实施例提供的一种大数据处理方法，根据各条数据中包含的预设内容和预设信息，将不同的数据存储到对应的存储服务器上，在用户需要检索这些数据时，只需要检索对应的存储服务器，而不需要检索所有的存储服务器，相对于现有技术需要检索所有的存储服务器，检索的存储服务器的数量更少，因此，应用本专利技术实施例可以降低用户检索数据的耗时。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的第一种大数据处理方法。图2为本专利技术实施例提供的第二种大数据处理方法。图3为本专利技术实施例提供的第三种大数据处理方法。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为达到上述目的，本法专利技术实施例提供了一种大数据处理方法，下面对该方法进行详细介绍。图1为本专利技术实施例提供的一种大数据处理方法，如图1所示，该方法包括：S101：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录。在实际应用中，若用户需求为对用户ID为0001的数据进行处理。需要说明的是，预设内容包括但不仅限于用户ID、用户硬件ID以及用户的点击记录，本专利技术再次并不对其做出限定。S102：根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流。可选的，在本专利技术实施例的一种具体实施方式中，可以针对待处理数据流中的每一条数据，将包含所述预设内容的数据作为目标待处理数据；将获得的至少一条目标待处理数据的集合作为目标待处理数据流。在实际应用中，将包含用户ID为0001的所有数据归集到一起，作为目标待处理数据流。S103：根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息。在实际应用中，由于目标待处理数据流比较庞大，对其处理耗时较长，且目标待处理数据流中的每一条数据可能包含的预设信息比较多，因此根据每一条数据中包含的预设信息对目标待处理数据进行划分，得到多个子数据流。例如，得到了包含数据类型信息的子数据流A；包含时间信息的子数据流B，其中所述时间信息可以为2017年4月1日00:00:00时刻以前。需要强调的是，预设信息包括但不仅限于目标待处理数据中包含的各条数据对应的数据类型信息、目标待处理数据中包含的各条数据对应的时间信息，本专利技术实施例并不对预设信息包含的内容作出限定。S104：针对每一子数据流，将该子数据流存储本文档来自技高网...

【技术保护点】
一种大数据处理方法，其特征在于，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息；针对每一子数据流，将该子数据流存储到对应的存储服务器中。

【技术特征摘要】
1.一种大数据处理方法，其特征在于，所述方法包括：获得用户需求，其中，所述目标需求中包含预设内容，且所述预设内容，包括：用户ID、用户硬件ID以及用户的点击记录；根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流；根据所述目标待处理数据中包含的各条数据对应的预设信息，将所述目标待处理数据划分成多个子数据流，其中，所述预设信息包括：所述目标待处理数据中包含的各条数据对应的数据类型信息和/或所述目标待处理数据中包含的各条数据对应的时间信息；针对每一子数据流，将该子数据流存储到对应的存储服务器中。2.根据权利要求1所述的方法，其特征在于，在根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流之前，所述方法还包括：对待处理数据流中的说是有数据进行合法性验证，以去除不合法的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述用户需求，将待处理数据流中与所述预设内容对应的数据流提取出来，得到目标待处理数据流，包括：针对待处理数据流中的每一条数据，将包含所述预设内容的数据作为目标待处理数据；将获得的至少一条目标待处理数据的集合作为目标待处理数据流。4.根据权利要求1所述的方法，其特征在于，所述针对每一子数据流，将该子数据流存储到对应的存...

【专利技术属性】
技术研发人员：王焱华，
申请(专利权)人：王焱华，
类型：发明
国别省市：广东,44