一种基于大数据运营分析的数据处理方法技术

本发明专利技术涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。

【技术实现步骤摘要】
一种基于大数据运营分析的数据处理方法
本专利技术涉及移动互联网领域的网络平台的运营，具体涉及一种基于大数据运营分析的数据处理方法。
技术介绍
国家“互联网+”战略推动了移动互联网、云计算、大数据、物联网等产业的高速发展，促进了电子商务快速的发展。目前基于大数据技术的网络平台越来越多，平台业务量也在快速的增长，办理业务的用户越来越多。怎么样才能充分利用好大数据这个工具，怎么合理的分配好平台的资源，本专利技术提供一种基于大数据运营分析的数据处理方法，利用本方法对平台进行建设，有助于合理分配资源，有助于平台流畅的运转。
技术实现思路
1、所要解决的技术问题：本方法的目的提供一种网络平台运营商使用的，对平台业务进行合理处理的方法，通过本方法呈现在平台运营人员面前的是可视化的（比如图表，报表形式），方便运营人员直接对本平台的业务进行操作。2、技术方案：一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，包括以下步骤：步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flu本文档来自技高网...

【技术保护点】
一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，其特征在于：包括以下步骤：步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中...

【技术特征摘要】
1.一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，其特征在于：包括以下步骤：步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为...

【专利技术属性】
技术研发人员：石光捷，付飞龙，方勇，刘东升，项炤赟，
申请(专利权)人：南京欣网互联网络科技有限公司，
类型：发明
国别省市：江苏,32