网络互联数据抓取分发的系统和方法技术方案

本发明专利技术提供了一种网络互联数据抓取分发的系统和方法，数据接收：从不同的数据来源接收数据；数据处理：包括数据解码阶段以及数据聚合阶段，所述解码阶段包括据根据网络协议把数据变为结构化指标的数据，所述数据聚合阶段包括根据后端的需求把结构化指标的数据聚合到设定的维度；数据存储/分发：对于数据解码阶段以及数据聚合阶段的数据分别设置存储和索引，按自定义方式将数据发送至后端。本发明专利技术能够从多种数据来源获取网络互联数据，可以和现有系统更好的结合；按不同解码阶段的数据有不同的索引和存储设置；将数据结构化后的数据按自定义方式发送到后端数据分析应用；可以对数据进行任意维度的聚合；可以查询和处理历史数据。

【技术实现步骤摘要】
网络互联数据抓取分发的系统和方法
本专利技术涉及数据处理
，具体地，涉及网络互联数据抓取分发的系统和方法。
技术介绍
信息科技高速发展的今天，人们通过互联网不仅仅只是简单的获取信息，移动支付、共享单车使我们的生活发生了翻天覆地的变化，我们生活中的一切都已离不开互联网。网络互联数据已经成为企业和机构重要的数据资源，怎样有效利用这些资源成为企业需要掌握的基本技术。随着互联网络尤其是移动端的爆发式增长，如何从海量互联数据中获取有价值的数据成为企业的一个难题。传统网络探针或数据分析技术有如下问题：1、数据获取方式单一，只能或接收特定格式数据，只能从特定输入获取；2、对于历史数据访问不友好；3、不能根据特定场景或需求自定义存储数据类型和时间；4、实现复杂需要使用专用设备；5、不能解码后按不同的统计维度和颗粒度分发到后端数据分析引擎。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种网络互联数据抓取分发的系统和方法。根据本专利技术提供的一种网络互联数据抓取分发的方法，包括：数据接收步骤：从不同的数据来源接收数据；数据处理步骤：包括数据解码阶段以及数据聚合阶段，所述数据解码阶段包括本文档来自技高网...

【技术保护点】
1.一种网络互联数据抓取分发的方法，其特征在于，包括：数据接收步骤：从不同的数据来源接收数据；数据处理步骤：包括数据解码阶段以及数据聚合阶段，所述数据解码阶段包括据根据网络协议把数据变为结构化指标的数据，所述数据聚合阶段包括根据后端的需求把结构化指标的数据聚合到设定的维度；数据存储/分发步骤：对于数据解码阶段以及数据聚合阶段的数据分别设置存储和索引，按自定义方式将数据发送至后端。

【技术特征摘要】
1.一种网络互联数据抓取分发的方法，其特征在于，包括：数据接收步骤：从不同的数据来源接收数据；数据处理步骤：包括数据解码阶段以及数据聚合阶段，所述数据解码阶段包括据根据网络协议把数据变为结构化指标的数据，所述数据聚合阶段包括根据后端的需求把结构化指标的数据聚合到设定的维度；数据存储/分发步骤：对于数据解码阶段以及数据聚合阶段的数据分别设置存储和索引，按自定义方式将数据发送至后端。2.根据权利要求1所述的网络互联数据抓取分发的方法，其特征在于，还包括：数据清理步骤：根据不同的数据设置不同的清理方式，减少磁盘使用。3.根据权利要求1所述的网络互联数据抓取分发的方法，其特征在于，还包括：任务调度步骤：对所述数据处理步骤进行调度、启停和管理。4.根据权利要求3所述的网络互联数据抓取分发的方法，其特征在于，还包括：采用API模块提供对外接口，后端通过所述API模块控制所述数据处理步骤以及所述任务调度步骤。5....

【专利技术属性】
技术研发人员：朱晓峰，蔡晓华，杨光辉，贺晓麟，王涛，周育樑，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：上海,31