大数据环境下的数据挖掘系统及其应用技术方案

本发明专利技术公开了大数据环境下的数据挖掘系统及其应用，数据挖掘系统包括数据预处理模块、数据挖掘模块、模式评估模块、知识表示和系统后台管理模块，该系统可应用于物联网系统、地理信息系统、电力调度自动化系统、远程监控系统、农业信息化系统、金融保险信息系统、电子商务系统。该系统为海量的数据信息库、大量挖掘算法和各类可视化构件的编写事先制定好标准，把符合标准的构件全部接人平台，以便其他组件调用；通过利用GEF和RCP技术使用户拥有简单便捷的操作界面，提高数据挖掘的可视化；它能够支持大量的数据预处理算法、多种结构复杂的数据源和许多经典的挖掘算法，能够在多行业多领域的分析搜索和研究决策。

【技术实现步骤摘要】
大数据环境下的数据挖掘系统及其应用
本专利技术涉及数据挖掘系统，尤其涉及大数据环境下的数据挖掘系统及其应用。
技术介绍
随着信息技术高速发展，社会各行各业不断产生各种海量数据，导致数据爆炸性增长，进入大数据时代。各个行业所积累的海量数据中一般都包含丰富的隐性可用价值的知识，但同时大数据还具有内容不可预测、多样性的特点、因此亟需强大的数据分析工具对数据进行分析与处理，从而为商业决策、教育等领域提供强有力的信息支持。数据挖掘技术是信息时代的标志，是指从大量存放在各种信息库系统、数据库或数据仓库中的结构复杂、数日庞杂的海量数据中寻找有用信息的过程。数据挖掘又称为知识发现，可以从大量的、有噪音的、不完整的、模糊的、随机的数据中搜寻隐含在其中的信息。在国外数据挖掘技术早已被广泛应用于保险业、生物医学、金融业和旅游业等领域，国内虽然已在理论研究方面取得了显著的科研成果，并已被应用在各个领域，进行相关数据信息的统计分析。例如，淘宝软件利用数据挖掘技术对消费者的商品信息和用户个人资料进行挖掘分析，研究出买家的心理价位和网购需求等信息，由此为消费者推荐合适的商品，这样就能节省消费者查找商品的时间，提高本文档来自技高网...

【技术保护点】
1.大数据环境下的数据挖掘系统，其特征在于，所述数据挖掘系统包括：数据预处理模块，用于从数据源中收集所需要挖掘的原始数据，再利用清洗算法和调用模型的相关接口服务对所述的原始数据进行清洗操作并输出清洗结果，然后按类别集成所述清洗结果并选出有利用价值的相关数据，最后将预处理结果通过类型转化后提交给控制层；数据挖掘模块，首先通过控制器将所述数据预处理模块的预处理结果按类别分开；其次利用相应的分类算法对不同种类的数据进行分析研究，查找出隐避的有价值数据；最后控制器根据抽样结果类型选择最优的挖掘类型和挖掘算法，完成数据挖掘任务；并将挖掘结果提交给评估层；模式评估模块，通过对所述数据挖掘模块的挖掘结果实现...

【技术特征摘要】
1.大数据环境下的数据挖掘系统，其特征在于，所述数据挖掘系统包括：数据预处理模块，用于从数据源中收集所需要挖掘的原始数据，再利用清洗算法和调用模型的相关接口服务对所述的原始数据进行清洗操作并输出清洗结果，然后按类别集成所述清洗结果并选出有利用价值的相关数据，最后将预处理结果通过类型转化后提交给控制层；数据挖掘模块，首先通过控制器将所述数据预处理模块的预处理结果按类别分开；其次利用相应的分类算法对不同种类的数据进行分析研究，查找出隐避的有价值数据；最后控制器根据抽样结果类型选择最优的挖掘类型和挖掘算法，完成数据挖掘任务；并将挖掘结果提交给评估层；模式评估模块，通过对所述数据挖掘模块的挖掘结果实现模式对比和评估，鉴别出最理想的挖掘结果并进行分离；知识表示，根据用户特点和个性需求来评估知识表示模式，对所述模式评估模块选出的最优挖掘结果进行可视化处理后利用知识表示的形式展示给用户；系统后台管理模块，用于对数据挖掘平台的管理，包括用户个人信息、平台安全、系统服务和数据资源；通过后台管理模块为用户提供相关数据、服务和软件来响应来自客户端的请求信息。2.根据权利要求1所述的大数据环境下的数据挖掘系统，其特征在于，所述数据挖掘系统是以模板语言ApacheVelocity为基础，利用GEF图形编辑框架通过面向对象的方式来实现。3.根据权利要求1所述的大数据环境下的数据挖掘系统，其特征在于...

【专利技术属性】
技术研发人员：秦爱民，
申请(专利权)人：广州市金禧信息技术服务有限公司，
类型：发明
国别省市：广东,44