数据处理方法、系统及计算机设备技术方案

本申请公开了一种数据处理方法、系统以及计算机设备。该数据处理方法包括：从多个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。该数据处理系统包括：来源线程、缓存线程、缓存、处理线程、消费者线程、以及管理线程。本申请解决了现有用户数据统计处理时处理速度缓慢，并且处理流程混乱繁琐的问题。

【技术实现步骤摘要】
数据处理方法、系统及计算机设备
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、系统及计算机设备。
技术介绍
随着互联网时代的飞速发展，网上学习已经赢得越来越多用户的接受和认可。据统计2017年网上学习的用户数量已经达到1.2亿人，面对如此庞大的用户数量，用户数据的统计与处理就显得越为重要。目前网上学习的用户数据统计处理一直是个难题，由于数据量巨大，处理起来十分缓慢并且流程十分繁琐，常见的处理方法为，先将大量数据进行存储，进而对数据进行定时轮询处理，这种处理方法处理过程十分缓慢，而且处理过程中很容易出错，导致统计结果不准确的问题。针对上述在用户数据统计处理上的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种数据处理方法，以解决现有用户数据统计处理时处理缓慢，以及处理流程混乱繁琐的问题。为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法。根据本申请的数据处理方法包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从至少一个数据来源获取用户点击数据；缓存线程将所述用户点击数据存储到缓存中；处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，并生成至少一个统计数据；消费者线程从所述缓存中提取至少一个所述统计数据，并对所述统计数据进行输出。2.根据权利要求1所述的数据处理方法，其特征在于，所述处理线程和所述消费者线程由如下步骤生成：接收输入的任务代码；根据所述任务代码生成对应的目标任务；根据所述目标任务创建所述目标任务对应的处理线程和/或消费者线程。3.根据权利要求1所述的数据处理方法，其特征在于，所述处理线程根据预设处理任务对所述缓存中的所述用户点击数据进行处理，包括：对所述缓存中的所述用户点击数据进行归一化处理。4.根据权利要求1所述的数据处理方法，其特征在于，还包括：管理线程监测服务器的压力数据；当所述压力数据超过预设阈值时，管理线程发出警报信息。5.根据权利要求4所述的数据处理方法，其特征在于，所述管理线程监测服务器的压力数据，包括：所述管理线程获取每个所述缓存线程、处理线程、和消费者线程的压力状态，以及所述缓存的剩余存储容量。6.根据权利要求4所述的数据处理方法，其特征在于，当所述压力数据超过...

【专利技术属性】
技术研发人员：兰涛，
申请(专利权)人：广西英腾教育科技股份有限公司，
类型：发明
国别省市：广西,45