一种大数据分析挖掘系统技术方案

本发明专利技术公开一种大数据分析挖掘系统，包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，各数据分析模块根据接口进行各自的单一功能实现，同时从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块根据传入的结构化文档进行解析，并从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块，执行模块功能，从而得到最终所需数据。此种系统可节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。

【技术实现步骤摘要】
一种大数据分析挖掘系统
本专利技术属于大数据分析领域，特别涉及一种基于XML和JSON等结构化文档的模块聚合大数据分析挖掘系统。
技术介绍
在信息技术不断发展的时代背景下，每天都在产生海量数据，大数据分析在各行业领域中被广泛应用，甚至已经逐渐开始渗入到我们的日常生活中。高效灵活的数据分析挖掘架构是大数据系统领域研究最多的课题之一，其主要的作用就是将数据库中存储的海量数据按照需求进行有效分析并灵活地合并统计为所需的大数据报表，以此来做好相应的具有意义的判断。随着互联网时代的到来，网络数据的不断增加，对各种网络数据进行分析统计的诉求也随之而来，目前产业上对数据的分析还停留在根据需求进行特定分析模块特制开发的阶段上，无法以通用的形式对数据分析挖掘需求进行灵活的分拆整合。因此，将各种数据分析需求拆分为多个单一的实现模块并以结构化文档将其聚合的系统是一个可行解决方案。
技术实现思路
本专利技术的目的，在于提供一种大数据分析挖掘系统，其可节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。为了达成上述目的，本专利技术的解决方案是：一种大数据分析挖掘系统，包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，其中，数据分析模块定义统一的模块接口，各数据分析模块根据接口进行各自的单一功能实现，同时各数据分析模块从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；数据挖掘模块定义统一的模块接口，各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块负责根据传入的结构化文档进行解析，并根据文档结构与参数从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块，构建形成聚合模块，根据预先定义的统一分析模块接口跟统一挖掘模块接口执行模块功能，从而得到最终所需数据。上述各数据挖掘模块还内置有原始数据库接口，用于从原始数据库提取原始数据。上述各数据挖掘模块还内置有数据分析模块管理器，用于从各个分析模块预处理数据库中提取数据，并根据实现的数据挖掘算法生成各自的统计数据。上述结构化文档为XML或JSON文档。采用上述方案后，本专利技术通过对数据分析需求的拆解、单一功能的模块化实现和基于结构化文档最终模块聚合，实现灵活的数据挖掘系统，可在不改变系统框架代码等的前提下，通过增加分析模块和挖掘模块和调整传入文档结构，自动适应不同的数据挖掘需求，不需要再根据不同数据挖掘需求重复开发对应的功能，节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。本专利技术适用于各种数据挖掘场景。附图说明图1是本专利技术的整体架构图。具体实施方式以下将结合附图，对本专利技术的技术方案进行详细说明。如图1所示，本专利技术提供一种大数据分析挖掘系统，包括数据分析模块、数据挖掘模块和框架执行模块，其中，数据分析模块定义统一的模块接口，各实现模块根据接口进行各自的单一功能实现，同时各模块从原始数据库中获取数据进行分析并存入各自的模块数据库中，多个数据分析模块由数据分析模块管理器进行统一管理。数据挖掘模块定义统一的模块接口，各实现模块根据接口进行各自的单一功能实现，同时内置了原始数据库接口，用于从原始数据库提取原始数据，并内置了数据分析模块管理器，用于从各个分析模块预处理数据库中提取数据，并根据实现的数据挖掘算法生成各自的统计数据，多个数据挖掘模块由数据挖掘模块管理器进行统一管理。框架执行模块(也即图1中的聚合模块执行器)主要负责根据传入的XML或JSON等结构化文档进行解析，并根据文档结构与参数从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块进行构建，最后将构建好的聚合模块传入聚合模块执行器中，聚合模块执行器根据预先定义的统一分析模块接口跟统一挖掘模块接口执行模块功能，从而得到最终所需数据。综上，本专利技术首先通过参数中标识的模块名称获取对应功能模块；其次，根据标识的相应模块参数进行数据挖掘；最后，根据文档结构对挖掘的数据进行整合，从而达到生成符合需求的数据的目的。以上实施例仅为说明本专利技术的技术思想，不能以此限定本专利技术的保护范围，凡是按照本专利技术提出的技术思想，在技术方案基础上所做的任何改动，均落入本专利技术保护范围之内。本文档来自技高网...

【技术保护点】
一种大数据分析挖掘系统，其特征在于：包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，其中，数据分析模块定义统一的模块接口，各数据分析模块根据接口进行各自的单一功能实现，同时各数据分析模块从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；数据挖掘模块定义统一的模块接口，各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块负责根据传入的结构化文档进行解析，并根据文档结构与参数从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块，构建形成聚合模块，根据预先定义的统一分析模块接口跟统一挖掘模块接口执行模块功能，从而得到最终所需数据。

【技术特征摘要】
1.一种大数据分析挖掘系统，其特征在于：包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，其中，数据分析模块定义统一的模块接口，各数据分析模块根据接口进行各自的单一功能实现，同时各数据分析模块从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；数据挖掘模块定义统一的模块接口，各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块负责根据传入的结构化文档进行解析，并根据文档结构与参数从数据分析模块管理器和数...

【专利技术属性】
技术研发人员：洪少华，吴琦，肖潇，龚纯斌，
申请(专利权)人：睿视智觉深圳算法技术有限公司，
类型：发明
国别省市：广东,44