数据监控处理方法及设备技术

本申请提供一种数据监控处理方法及数据监控处理设备。该数据监控处理方法，所述方法包括：接收来自用户端的实时的原始数据；按照预定规则分发所述原始数据；对所述分发的数据分别按照统一配置进行对应的在线多维度处理；保存所述处理的结果。根据本申请，能够实现易扩展性、实时性以及高度可配置性。

【技术实现步骤摘要】
【专利摘要】本申请提供一种数据监控处理方法及数据监控处理设备。该数据监控处理方法，所述方法包括：接收来自用户端的实时的原始数据；按照预定规则分发所述原始数据；对所述分发的数据分别按照统一配置进行对应的在线多维度处理；保存所述处理的结果。根据本申请，能够实现易扩展性、实时性以及高度可配置性。【专利说明】数据监控处理方法及设备
本申请涉及数据处理
，尤其涉及一种数据监控处理方法及设备。
技术介绍
近年来，移动互联网市场规模高速成长，移动互联网在互联网经济中的占比也快速上升。移动终端和操作系统的激烈竞争推动了智能手机的普及，移动应用开发技术也随之迅速发展，传统互联网企业移动化的意愿也不断增强，大批应用开发者涌入这个市场，在应用模式和商业模式上不断探索、创新。对于应用开发者来说，想在这个激烈竞争的市场中快速占取一席之地的关键因素之一，就是要及时了解自己产品的市场反映、用户的使用习惯及反馈以及在同行业中的竞争水平，以便及时做出调整和反映。而采集数据、处理数据和计算指标对开发者来说，往往是费时费力的，很难保证足够的投入。针对移动应用开发者的需求，提供一系列有针对性的分析工具，让开发者无需在采集、处理数据上花费精力，同时从第一天起就能实时监控应用的各项指标，通过对数据进行分析，更有针对性的改进、优化产品和运营策略。而在数据监控处理过程中，当服务器接收到各类原始数据时，需要将原始的异构的数据转换成结构化数据，然后根据整个系统的需要，实时地对海量的原始数据进行计算，并将其加工为满足计算需求的各类指标数据。而在整个过程中，需要实现一套在线的数据监控处理系统。对于很多产品，用户为了希望尽早了解自己的产品的使用情况并及时发现和解决问题而收集到各种各样的使用数据。当用户收集到原始数据后，需要从多个维度对数据进行实时分析，计算出不同的测度指标，并从数据中提取相应规律，从而针对性地做出决策。传统的在线计算处理，往往针对特定的产品来设计特定的处理方案。当需求发生变化或者面对一个全新产品时，就需要对处理方案进行大量改动，甚至重新做出一套新方案。这会严重影响新产品的开发周期，导致系统缺乏高度可配置性。对于数据处理系统来说，需要满足以下几点需求:(I)在系统的输入是来自于手机用户的各类行为数据的情况下，由于手机终端用户的规模，系统的输入必然是巨大的，所以必须能够满足在大量数据基础之上的计算处理需求，这就要求系统具有易扩展性。(2)用户往往希望尽早了解自己的产品的使用情况，及时发现和解决问题，因此，计算结果的实时性也是系统必须满足的要求。(3)用户的计算处理需求是多种多样的，对于不同的应用场景，用户通常有着不同的需求，这就使得系统必须能够快速灵活地响应用户的计算需求，因此，系统必须具有高度的可配置性。
技术实现思路
本申请的主要目的在于提供一种数据监控处理方法及数据监控处理设备，以解决现有技术存在的数据处理系统不能同时满足易扩展性、实时性以及高度可配置性的问题，其中:本申请的一个方面，提供一种数据监控处理方法，所述方法包括:接收来自用户端的实时的原始数据；按照预定规则分发所述原始数据；对所述分发的数据分别按照统一配置进行对应的在线多维度处理；保存所述处理的结果。根据本申请的实施例，在所述方法中，所述按照预定规则分发所述原始数据的步骤包括按照用户端的ID对所述原始数据进行分发、根据数据中的匹配特征串进行分发、按照数据的属性特征进行分发、以及按照数据的行为特征进行分发中的任意一种分发方式。根据本申请的实施例，在所述方法中，所述对所述分发的数据分别按照统一配置进行对应的在线多维度处理的步骤包括:对所述分发的数据进行结构化处理，生成结构化数据；读取配置文件中的多组配置参数以及所述结构化数据，生成对应的多个计算单元；以及用所述多个计算单元分别基于所述结构化数据进行计算。根据本申请的实施例，在所述方法中，所述生成计算单元的步骤包括生成树的处理和生成叶子的处理。根据本申请的实施例，在所述方法中，所述生成树的处理包括:读取步骤，针对所述配置文件中的多组配置参数，依次读取一组配置参数作为当前节点；判断步骤，根据所述配置参数的信息来判断所述当前节点是维度节点还是测度节点；以及检测步骤，检测所述当前节点包含的子节点，并针对所述子节点依次执行所述读取步骤和判断步骤。根据本申请的实施例，在所述方法中，所述判断步骤中还包括:当判断为当前节点是维度节点时，调用维度节点生成器而生成维度节点；以及当判断为当前节点是测度节点时，获取当前节点的测度类名，并通过反射机制生成测度节点实例。根据本申请的实施例，在所述方法中，所述生成叶子的处理包括:从所述配置文件中获取维度节点所关注的维度信息；以及使用维度读取器从所述结构化数据中读取与所述维度信息对应的维度数据，并根据预定需求将所述维度数据划分为不同的维度值区间；以及分别将所述不同的维度值区间与所述测度节点实例相关联。根据本申请的实施例，在所述方法中，还包括:接收查询请求；反馈所保存的与所述查询请求对应的处理结果；以及对多个所述反馈的处理结果进行合并运算，并将合并运算的结果发送到所述用户端。本申请的另一个方面，提供一种数据监控处理设备，包括:接收模块，被配置成从用户端接收实时的原始数据；计算模块，被配置成对所述原始数据进行在线多维度处理；以及存储模块，被配置成保存所述处理的结果。根据本申请的实施例，在所述设备中，所述计算模块包括:分发模块，被配置成按照预定规则向所述计算模块所具有的多个计算节点分发所述原始数据；以及处理模块，被配置成对每个计算节点接收到的所述分发的数据按照统一配置进行对应的在线多维度处理。根据本申请的实施例，在所述设备中，所述处理模块包括:结构化处理模块，被配置成对所述分发的数据进行结构化处理，生成结构化数据；生成模块，被配置成读取配置文件中的多组配置参数以及所述结构化数据，生成对应的多个计算单元；以及计算装置，被配置成用所述多个计算单元分别基于所述结构化数据进行计算。根据本申请的实施例，在所述设备中，所述生成模块包括:第一处理装置，被配置成执行生成树的处理；以及第二处理装置，被配置成执行生成叶子的处理。根据本申请的实施例，在所述设备中，所述第一处理装置包括:读取装置，被配置成针对所述配置文件中的多组配置参数，依次读取一组配置参数作为当前节点；判断装置，被配置成根据所述配置参数的信息来判断所述当前节点是维度节点还是测度节点；以及检测装置，被配置成检测所述当前节点包含的子节点，并针对所述子节点依次使用所述读取装置和判断装置执行处理。根据本申请的实施例，在所述设备中，所述判断装置在判断为当前节点是维度节点时，调用维度节点生成器而生成维度节点，所述判断装置在判断为当前节点是测度节点时，获取当前节点的测度类名，并通过反射机制生成测度节点实例。根据本申请的实施例，在所述设备中，所述第二处理装置包括:获取装置，被配置成从所述配置文件中获取维度节点所关注的维度；以及划分装置，被配置成使用维度读取器从所述结构化数据中读取与所述所关注的维度对应的维度数据，并根据预定需求将所述维度数据分为不同的维度值区间；以及关联装置，被配置成分别将所述不同的维度值区间与所述测度节点实例相关联。根据本申请的实施例，在所述设本文档来自技高网...

【技术保护点】
一种数据监控处理方法，所述方法包括：接收来自用户端的实时的原始数据；按照预定规则分发所述原始数据；对所述分发的数据分别按照统一配置进行对应的在线多维度处理；保存所述处理的结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：周躜，初敏，赵斌强，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY