一种大数据处理方法及系统技术方案

本申请公开了一种大数据处理方法，包括：采集用户行为大数据；将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，分布式数据库系统包括N个数据库节点，N为大于1的整数；利用分布式框架以及预设的数据挖掘模型，分别对上述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；将上述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。本申请实现了对大数据进行高效地分析处理的目的。另外，本申请还相应公开了一种大数据处理系统。

Large data processing method and system

The invention discloses a data processing method, including: collecting user behavior data; the user behavior data collected to build distributed database system in advance; among them, the distributed database system includes N database node, N is an integer greater than 1; mining model based on distributed framework and preset data. On user behavior data of the N database on the node data mining processing, to obtain the group N user behavior analysis results; the group N user behavior analysis results were pooled, overall analysis results of user behavior. This application achieves the purpose of efficient analysis and processing of large data. In addition, the utility model discloses a large data processing system correspondingly.

【技术实现步骤摘要】
一种大数据处理方法及系统
本专利技术涉及数据处理
，特别涉及一种大数据处理方法及系统。
技术介绍
当前，随着信息时代的发展，人们在日常工作生活中所产生的数据越来越多，这些大数据一方面对存储技术提出了更高的要求，另一方面由于这些大数据能够反映出特定对象的行为规律，如果能够通过对这些大数据进行分析处理来确定出这些大数据背后所蕴含的意义，将会为企业在开发产品或提供服务时提供非常关键的指引作用。然而，如何对大数据进行高效地分析处理依然是目前有待进一步解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种大数据处理方法及系统，能够实现对大数据进行高效地分析处理。其具体方案如下：一种大数据处理方法，包括：采集用户行为大数据；将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，所述分布式数据库系统包括N个数据库节点，N为大于1的整数；利用分布式框架以及预设的数据挖掘模型，分别对所述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；将所述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。可选的，所述分布式数据库系统为OracleRAC数据库系统。可选的，所述将采集到的用户行为大数据保存至预先搭建的分布式数据库系统的过程，包括：按照用户行为类别的不同，将采集到的用户行为大数据分类保存至不同的数据库节点。可选的，所述数据挖掘模型包括基于分类和/或聚类和/或回归分析和/或关联规则的数据挖掘模型。可选的，所述将所述N组用户行为分析结果进行汇集的过程之后，还包括：获取客户终端发送的结果查询请求；若所述结果查询请求为合法请求，则将与所述结果查询请求对应的用户行为分析结果发送至所述客户终端的显示屏。本专利技术还公开了一种大数据处理系统，包括：大数据采集模块，用于采集用户行为大数据；分布式数据保存模块，用于将所述大数据采集模块采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，所述分布式数据库系统包括N个数据库节点，N为大于1的整数；分布式数据挖掘模块，用于利用分布式框架以及预设的数据挖掘模型，分别对所述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；结果汇集模块，用于将所述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。可选的，所述分布式数据库系统为OracleRAC数据库系统。可选的，所述分布式数据保存模块，具体用于按照用户行为类别的不同，将采集到的用户行为大数据分类保存至不同的数据库节点。可选的，所述数据挖掘模型包括基于分类和/或聚类和/或回归分析和/或关联规则的数据挖掘模型。可选的，所述大数据处理系统，还包括：请求获取模块，用于获取客户终端发送的结果查询请求；结果发送模块，用于当所述结果查询请求为合法请求，则将与所述结果查询请求对应的用户行为分析结果发送至所述客户终端的显示屏。本专利技术中，大数据处理方法，包括：采集用户行为大数据；将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，分布式数据库系统包括N个数据库节点，N为大于1的整数；利用分布式框架以及预设的数据挖掘模型，分别对上述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；将上述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。可见，本专利技术采集到用户行为大数据之后，将会把这些大数据保存至分布式数据库系统，然后利用分布式框架和预设的数据挖掘模型，分别对每个数据节点上的用户行为大数据进行相应的数据挖掘处理，相应地得到多组用户行为分析结果，接着再把这些结果进行合并，便可得到用户行为整体分析结果。由上可见，本专利技术基于分布式技术，分别对多份用户行为大数据同时进行数据挖掘处理，这样可以大幅提升大数据的分析处理速度，也即，本专利技术实现了对大数据进行高效地分析处理的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种大数据处理方法流程图；图2为本专利技术实施例公开的一种具体的大数据处理方法流程图；图3为本专利技术实施例公开的一种大数据处理系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种大数据处理方法，参见图1所示，该方法包括：步骤S11：采集用户行为大数据。步骤S12：将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，分布式数据库系统包括N个数据库节点，N为大于1的整数。本实施例中，上述分布式数据库系统具体可以是OracleRAC数据库系统(OracleRAC，即OracleRealApplicationCluster)。步骤S13：利用分布式框架以及预设的数据挖掘模型，分别对上述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果。步骤S14：将上述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。可见，本专利技术实施例采集到用户行为大数据之后，将会把这些大数据保存至分布式数据库系统，然后利用分布式框架和预设的数据挖掘模型，分别对每个数据节点上的用户行为大数据进行相应的数据挖掘处理，相应地得到多组用户行为分析结果，接着再把这些结果进行合并，便可得到用户行为整体分析结果。由上可见，本专利技术实施例基于分布式技术，分别对多份用户行为大数据同时进行数据挖掘处理，这样可以大幅提升大数据的分析处理速度，也即，本专利技术实施例实现了对大数据进行高效地分析处理的目的。参见图2所示，本专利技术实施例公开了一种具体的大数据处理方法，包括如下步骤：步骤S21：采集用户行为大数据。步骤S22：将采集到的用户行为大数据保存至预先搭建的OracleRAC数据库系统；其中，OracleRAC数据库系统包括N个数据库节点，N为大于1的整数。具体的，上述步骤S22中，可以按照用户行为类别的不同，将采集到的用户行为大数据分类保存至不同的数据库节点。例如，将用户网上挑选商品行为、用户网上支付行为、用户网上理财行为等各种用户行为所对应的大数据分别保存至上述OracleRAC数据库系统中的不同的数据库节点。步骤S23：利用分布式框架以及预设的数据挖掘模型，分别对上述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果。本实施例中，上述数据挖掘模型具体可以包括基于分类和/或聚类和/或回归分析和/或关联规则的数据挖掘模型。步骤S24：将上述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。进一步的，将上述N组用户行为分析结果进行汇集的过程之后，还可以包括：获取客户终端发送的结果查询请求，若结果查询请求为合法请求，则将与结果查询请求对应的用户行为分析结果发送至客户终端的显示屏。相应的，本专利技术实施例还公开了一种大数本文档来自技高网...

【技术保护点】
一种大数据处理方法，其特征在于，包括：采集用户行为大数据；将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，所述分布式数据库系统包括N个数据库节点，N为大于1的整数；利用分布式框架以及预设的数据挖掘模型，分别对所述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；将所述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：采集用户行为大数据；将采集到的用户行为大数据保存至预先搭建的分布式数据库系统；其中，所述分布式数据库系统包括N个数据库节点，N为大于1的整数；利用分布式框架以及预设的数据挖掘模型，分别对所述N个数据库节点上的用户行为大数据进行数据挖掘处理，相应地得到N组用户行为分析结果；将所述N组用户行为分析结果进行汇集，得到用户行为整体分析结果。2.根据权利要求1所述的大数据处理方法，其特征在于，所述分布式数据库系统为OracleRAC数据库系统。3.根据权利要求1所述的大数据处理方法，其特征在于，所述将采集到的用户行为大数据保存至预先搭建的分布式数据库系统的过程，包括：按照用户行为类别的不同，将采集到的用户行为大数据分类保存至不同的数据库节点。4.根据权利要求1所述的大数据处理方法，其特征在于，所述数据挖掘模型包括基于分类和/或聚类和/或回归分析和/或关联规则的数据挖掘模型。5.根据权利要求1至4任一项所述的大数据处理方法，其特征在于，所述将所述N组用户行为分析结果进行汇集的过程之后，还包括：获取客户终端发送的结果查询请求；若所述结果查询请求为合法请求，则将与所述结果查询请求对应的用户行为分析结果发送至所述客户终端的显示屏。6.一种大数据处理系统，...

【专利技术属性】
技术研发人员：杨吉东，姜文涛，薛昊原，张伟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41