一种基于大数据的计算机数据挖掘探索方法及系统技术方案

本发明专利技术涉及一种基于大数据的计算机数据挖掘探索方法及系统，其方法包括以下步骤，采集计算机数据，形成原始大数据；对原始大数据进行预处理，并存入数据仓库；基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用数据挖掘模型在数据仓库中进行数据挖掘；得到挖掘数据；基于遗传算法对挖掘数据进行探索分析，得到挖掘探索信息。本发明专利技术采用网络爬虫抓取数据的方式进行数据的收集整理，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。

An exploration method and system of computer data mining based on big data

【技术实现步骤摘要】
一种基于大数据的计算机数据挖掘探索方法及系统
本专利技术涉及大数据领域，具体涉及一种基于大数据的计算机数据挖掘探索方法及系统。
技术介绍
对于大数据，往往不能直接读取其中隐含的信息，也不容易从大量的信息中看出某个事物的发展趋势；这样数据挖掘就应运而生，数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。然而，传统的数据处理方法是人工数据处理。虽然这种方法很容易实现，但是数据挖掘不够全面且效率低。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于大数据的计算机数据挖掘探索方法及系统，可以全面高效的挖掘出大数据中的有效信息。本专利技术解决上述技术问题的技术方案如下：一种基于大数据的计算机数据挖掘探索方法，包括以下步骤，S1，采集计算机数据，形成原始大数据；S2，对所述原始大数据进行预处理，并存入数据仓库；S3，基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；S4，基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述S1具体为，利用网络爬虫实时收集整理计算机数据，形成原始大数据。进一步，所述S2具体为，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。进一步，利用所述数据挖掘模型在所述数据仓库中进行数据挖掘的具体步骤为，通过支持向量机对所述数据仓库中的大数据进行分类，结合Sql查询、交互查询和搜索查询的方式并利用数据挖掘工具在分类后的大数据中进行挖掘。本专利技术的有益效果是：本专利技术采用网络爬虫抓取数据的方式进行数据的收集整理；其次，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。基于上述一种基于大数据的计算机数据挖掘探索方法，本专利技术还提供一种基于大数据的计算机数据挖掘探索系统。一种基于大数据的计算机数据挖掘探索系统，包括以下模块，采集模块，其用于采集计算机数据，形成原始大数据；数据仓库模块，其用于对所述原始大数据进行预处理，并存入数据仓库；数据挖掘模块，其用于基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；数据探索模块，其用于基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述采集模块具体用于，利用网络爬虫实时收集整理计算机数据，形成原始大数据。进一步，所述数据仓库模块具体用于，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。进一步，所述数据挖掘模块具体用于，通过支持向量机对所述数据仓库中的大数据进行分类，结合Sql查询、交互查询和搜索查询的方式并利用数据挖掘工具在分类后的大数据中进行挖掘。本专利技术的有益效果是：本专利技术采用网络爬虫抓取数据的方式进行数据的收集整理；其次，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。基于上述一种基于大数据的计算机数据挖掘探索方法，本专利技术还提供一种基于大数据的计算机数据挖掘探索装置。一种基于大数据的计算机数据挖掘探索装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如上述所述的方法步骤。基于上述一种基于大数据的计算机数据挖掘探索方法，本专利技术还提供一种计算机存储介质。一种计算机存储介质，所述计算机存储介质包括至少一个指令，在所述指令被执行时实现如上述所述的方法步骤。附图说明图1为本专利技术一种基于大数据的计算机数据挖掘探索方法流程图；图2为本专利技术一种基于大数据的计算机数据挖掘探索系统结构框图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种基于大数据的计算机数据挖掘探索方法，包括以下步骤，S1，采集计算机数据，形成原始大数据；S2，对所述原始大数据进行预处理，并存入数据仓库；S3，基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；S4，基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。在本具体实施例中：所述S1具体为，利用网络爬虫实时收集整理计算机数据，形成原始大数据。所述S2具体为，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。利用所述数据挖掘模型在所述数据仓库中进行数据挖掘的具体步骤为，通过支持向量机对所述数据仓库中的大数据进行分类，结合Sql查询、交互查询和搜索查询的方式并利用数据挖掘工具在分类后的大数据中进行挖掘。本专利技术采用网络爬虫抓取数据的方式进行数据的收集整理；其次，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。基于上述一种基于大数据的计算机数据挖掘探索方法，本专利技术还提供一种基于大数据的计算机数据挖掘探索系统。如图2所示，一种基于大数据的计算机数据挖掘探索系统，包括以下模块，采集模块，其用于采集计算机数据，形成原始大数据；数据仓库模块，其用于对所述原始大数据进行预处理，并存入数据仓库；数据挖掘模块，其用于基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；数据探索模块，其用于基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。在本具体实施例中：所述采集模块具体用于，利用网络爬虫实时收集整理计算机数据，形成原始大数据。所述数据仓库模块具体用于，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。所述数据挖本文档来自技高网...

【技术保护点】
1.一种基于大数据的计算机数据挖掘探索方法，其特征在于:包括以下步骤，/nS1，采集计算机数据，形成原始大数据；/nS2，对所述原始大数据进行预处理，并存入数据仓库；/nS3，基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；/nS4，基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。/n

【技术特征摘要】
1.一种基于大数据的计算机数据挖掘探索方法，其特征在于:包括以下步骤，
S1，采集计算机数据，形成原始大数据；
S2，对所述原始大数据进行预处理，并存入数据仓库；
S3，基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；
S4，基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。


2.根据权利要求1所述的一种基于大数据的计算机数据挖掘探索方法，其特征在于:所述S1具体为，利用网络爬虫实时收集整理计算机数据，形成原始大数据。


3.根据权利要求1或2所述的一种基于大数据的计算机数据挖掘探索方法，其特征在于:所述S2具体为，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。


4.根据权利要求1或2所述的一种基于大数据的计算机数据挖掘探索方法，其特征在于:利用所述数据挖掘模型在所述数据仓库中进行数据挖掘的具体步骤为，通过支持向量机对所述数据仓库中的大数据进行分类，结合Sql查询、交互查询和搜索查询的方式并利用数据挖掘工具在分类后的大数据中进行挖掘。


5.一种基于大数据的计算机数据挖掘探索系统，其特征在于:包括以下模块，
采集模块，其用于采集计算机数据，形成原始大数据；
数据仓库模块，其用于对所述原始大数据进行预处理，并存入数据仓...

【专利技术属性】
技术研发人员：李卫群，张涛，陆苇，雷厚宇，兰海翔，
申请(专利权)人：贵州力创科技发展有限公司，
类型：发明
国别省市：贵州;52