数据处理方法、系统及计算机设备技术方案

本申请公开了一种数据处理方法、系统以及计算机设备。该数据处理方法包括：从多个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。该数据处理系统包括：来源线程、缓存线程、缓存、处理线程、消费者线程、以及管理线程。本申请解决了现有用户数据统计处理时处理速度缓慢，并且处理流程混乱繁琐的问题。

【技术实现步骤摘要】
数据处理方法、系统及计算机设备
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、系统及计算机设备。
技术介绍
随着互联网时代的飞速发展，网上学习已经赢得越来越多用户的接受和认可。据统计2017年网上学习的用户数量已经达到1.2亿人，面对如此庞大的用户数量，用户数据的统计与处理就显得越为重要。目前网上学习的用户数据统计处理一直是个难题，由于数据量巨大，处理起来十分缓慢并且流程十分繁琐，常见的处理方法为，先将大量数据进行存储，进而对数据进行定时轮询处理，这种处理方法处理过程十分缓慢，而且处理过程中很容易出错，导致统计结果不准确的问题。针对上述在用户数据统计处理上的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种数据处理方法，以解决现有用户数据统计处理时处理缓慢，以及处理流程混乱繁琐的问题。为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法。根据本申请的数据处理方法包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。进一步的，所述处理线程和所述消费者线程由如下步骤生成：接收输入的任务代码；根据所述任务代码生成对应的目标任务；根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。进一步的，所述处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，包括：对所述缓存中的所述用户点击数据进行归一化处理。进一步的，所述数据处理方法还包括：管理线程监测服务器的压力数据；当所述压力数据超过预设阈值时，管理线程发出警报信息。进一步的，所述管理线程监测服务器的压力数据，包括：所述管理线程获取每个所述缓存线程、处理线程、和消费者线程的压力状态，以及所述缓存的剩余存储容量。进一步的，当所述压力数据超过预设阈值时：所述管理线程建立任务处理序列，以使所述缓存线程、处理线程、和消费者线程根据所述任务处理序列依次进行任务处理。本申请的另一方面，提供了一种数据处理系统，该数据处理系统包括：来源线程，用于从至少一个数据来源获取用户点击数据；缓存线程，用于将所述用户点击数据存储到缓存中；处理线程，用于根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程，用于从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。进一步的，该数据处理系统还包括：任务生成模块，用于接收输入的任务代码，并根据所述任务代码生成对应的目标任务；线程创建模块，用于根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。进一步的，该数据处理系统还包括：管理线程，用于监测服务器的压力数据，并当所述压力数据超过预设阈值时，发出警报信息，以及建立任务处理序列，以使所述缓存线程、处理线程、和消费者线程根据所述任务处理序列依次进行任务处理。本申请的另一方面，提供了一种计算机设备，该计算机设备包括：存储器、处理器及储存在储存器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述数据处理方法。在本申请实施例中，在对大量数据进行处理时，先将用户数据存储在缓存中，再根据需要的策略制定出合适的算法对数据进行规整处理，得到需要的统计数据，以供后来的分析使用，从而实现了简化处理流程、加快处理速度的技术效果，进而解决了现有用户数据统计处理时处理缓慢，以及处理流程混乱繁琐的问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是第一实施例数据处理方法流程示意图；图2是第二实施例数据处理方法流程示意图；图3是第三实施例数据处理方法流程示意图；图4是第一实施例数据处理系统结构示意图；以及图5是第二实施例数据处理系统结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，本申请提供了一种用户数据统计处理，该方法包括步骤S101至步骤S104。步骤S101，从至少一个数据来源获取用户点击数据，在本步骤中，从多个数据来源获取收集到的用户点击数据，数据来源可以为移动设备端、PC端、数据库、或者实时接口中的一种或多种，在本申请的一可选实施例中，收集到的用户点击数据可以用于统计和分析试题的热门程度。步骤S102，缓存线程将所述用户点击数据存储到缓存中。本申请为了解决数据处理缓慢的问题，在数据处理时先将待处理数据存储到缓存中，由于从缓存中读取数据的速度远快与从内存或硬盘中读取数据的速度，因此先将待处理数据存储到缓存中，再进行数据处理，可以极大的提高处理速度。在本步骤中，缓存线程根据预设的加载规则自动将待处理数据加载到redis缓存中进行存储，形成数据缓存区，而缓存线程根据处理需要不断向数据缓存区加载用户数据以及删除数据。步骤S103，处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据。在本步骤中，针对存储在缓存中的待处理数据，先根据需要的处理策略制定出合适的处理方法，并生成处理方法对应的一个或多个处理线程，进而通过多处理线程配合进行数据统计处理，生成至少一个数据统计结果。在本步骤中，处理线程对缓存中数据进行处理为，处理线程根据其处理任务从缓存中提取目标数据，并进行预设处理，进而将数据处理结果传输回缓存中进行存储。在本申请的一可选实施例中，根据用户的点击数据统计和分析试题的热门程度可以为，先通过第一处理线程对缓存中的用户的点击数据进行筛选，去除错误数据或无意义的数据，进而通过第二处理线程根据用户的特征对用户进行分类，根据用户的分类将用户的点击数据分为多个数据组，进而通过第三处理线程来统计每个用户组下的用户对特定题目或试卷的欢迎程度，试题的欢迎程度可以由用户的点击率高低来体现。步骤S104，消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。在本步骤中，当处理线程完成对缓存中的数据进行预设处理，并生成相应的统计结果后，通本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。2.根据权利要求1所述的数据处理方法，其特征在于，所述处理线程和所述消费者线程由如下步骤生成：接收输入的任务代码；根据所述任务代码生成对应的目标任务；根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。3.根据权利要求1所述的数据处理方法，其特征在于，所述处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，包括：对所述缓存中的所述用户点击数据进行归一化处理。4.根据权利要求1所述的数据处理方法，其特征在于，还包括：管理线程监测服务器的压力数据；当所述压力数据超过预设阈值时，管理线程发出警报信息。5.根据权利要求4所述的数据处理方法，其特征在于，所述管理线程监测服务器的压力数据，包括：所述管理线程获取每个所述缓存线程、处理线程、和消费者线程的压力状态，以及所述缓存的剩余存储容量。6.根据权利要求4所述的数据处理方法，其特征在于，当所述压力数据超过...

【专利技术属性】
技术研发人员：兰涛，
申请(专利权)人：广西英腾教育科技股份有限公司，
类型：发明
国别省市：广西,45