一种面向高并发的多阶段数据挖掘算法智能选择方法技术

本发明专利技术公开了一种面向高并发的多阶段数据挖掘算法智能选择方法，包括如下步骤：步骤1：数据特征分析：针对冷热电混合能源系统海量数据进行分析；步骤2：数据预处理：采用多阶段数据处理方法，对原始数据进行有效预处理；步骤3：初步设计可行性数据挖掘模型：选择并且设计可能有效的挖掘模型；步骤4：可行性数据挖掘模型调整：删除不能成立的模型，获得可行的数据挖掘模型集合；步骤5：挖掘模型评估：综合评价，选择出最适合目标领域应用的挖掘模型；步骤6：模型部署：将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。本发明专利技术实现数据挖掘模型的自动选择和有效建立，从而提高模型设计的质量及效率。

【技术实现步骤摘要】
一种面向高并发的多阶段数据挖掘算法智能选择方法
本专利技术涉及一种面向高并发的多阶段数据挖掘算法智能选择方法，属于智能配电网

技术介绍
目前，电力企业进入大数据时代后，各种设备运行和负荷的数据规模巨大，迫切需要将这些数据转换成有用的信息和知识，然而光靠传统的数据处理方法就显得不合时宜。面对不断增加的海量数据，从数据中提取信息或知识为决策服务成为更深层次的研究目标，就急需有新的方法处理各个行业的海量数据，并且发现隐藏在数据背后的知识，来为高层次的应用服务提供支持。结合统计学、数据库、机器学习等技术，数据挖掘技术的实现为解决这一难题提供了新的出路，数据挖掘技术主要是以当代计算机技术和其他相关领域的技术为基础，以多年累积的现场应用数据作为研究对象，从数据中找出隐藏的相关有用知识，来为决策提供重要依据。因此，数据挖掘技术在电力系统负荷预测和系统运行状态监控、用户特征值提取、电价预测等方面有很好的应用前景。应用数据挖掘技术去解决各类实际问题，数据挖掘模型的选择与设计是主要的环节，也是能否有效处理应用问题的关键。传统的数据挖掘模型设计依赖建模人员的专业知识，在分析应用领域业务特征的基础本文档来自技高网...

【技术保护点】
1.一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：包括如下步骤:步骤1:针对冷热电混合能源系统海量数据进行分析，明确挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象；步骤2:采用多阶段数据处理方法，对原始数据进行有效预处理，进一步调整挖掘数据；步骤3:解读业务数据的各项特征，选择并且自动设计可能有效的挖掘模型；步骤4:通过可能有效模型的实际运行，删除不能成立的模型，获得可行的数据挖掘模型集合；步骤5:对挖掘模型进行综合评价，选择出最适合目标领域应用的挖掘模型；步骤6:将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。

【技术特征摘要】
1.一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：包括如下步骤:步骤1:针对冷热电混合能源系统海量数据进行分析，明确挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象；步骤2:采用多阶段数据处理方法，对原始数据进行有效预处理，进一步调整挖掘数据；步骤3:解读业务数据的各项特征，选择并且自动设计可能有效的挖掘模型；步骤4:通过可能有效模型的实际运行，删除不能成立的模型，获得可行的数据挖掘模型集合；步骤5:对挖掘模型进行综合评价，选择出最适合目标领域应用的挖掘模型；步骤6:将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。2.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤1包括：分别在采集的冷热电混合能源系统的原数据集的基础上附加主题词网，通过挖掘业务范围内主题词的设计，对挖掘任务相关联的多种因素进行分析、解释，理解因素层次及各层次的关联，明确不同挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象，以及有效数据的提取，为数据的进一步自动预处理进行准备工作。3.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤2包括：启动多阶段处理模型自动设计，并对数据进行预处理,具体如下：2-1：采用多阶段方式处理数据，每个阶段都对数据进行校验，从而保证了数据的准确性和完整性，并发现、解决错误；2-2：在保证系统可用的情况下，高并发、高速的处理数据，以提高数据挖掘的准确率；包括对字段的分析，去除不可能含有业务信息的挖掘属性，转换不合理的表达方式，及去除在初步选择中，并不能实现有意义的业务分类，但是被划分为标号类型的字段，主要处理以下问题：①数据字段问题②时间错误问题③数据表达问题。4.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤3包括：挖掘模型的设计基于对不同业务数据的各项特征的解读，包括挖掘模式、挖掘目标、输入输出形式各项特征的解析，在此基础上，选择并且设计可能有效的挖掘模型，具体步骤如下；3-1：首先分析挖掘数据特征；3-2：基于附加信息、类型视图、数据，解读数据相关特征，包括解读挖掘模式、输入输出形式、挖掘目标；3-3：建立初始可行挖掘模型集合，探索可能有效的挖掘模型。5.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤4包括：模型调整阶段需要反复对模型的输入参数进行调整，以提高模型对潜在规律的拟合度，具体步骤如下：4-1：首先获得的可能有效数据挖掘模型，设计挖掘模型的结构与属性；4-2：通过模型的实际运行，删除由于方案配置或者属性设计原因而不能成立的模型；4-3：根据挖掘经验，获得挖掘模型设计知识，分析应用业务的建模特征与需求；4-4：根据挖掘模型设计知识，最终选择适用于当前状态的挖掘模型，获得相对有效并且可行的数据挖掘模型集合。6.根据权利要求1所述的一种面向高并发的多阶段...

【专利技术属性】
技术研发人员：宋云翔，霍现旭，赵宝国，朱庆，项添春，李雪明，李捷，杨永标，王剑锋，李树鹏，宋杰，周静，陈嘉栋，李化，
申请(专利权)人：南瑞集团有限公司，国电南瑞科技股份有限公司，国网天津市电力公司，国家电网公司，
类型：发明
国别省市：江苏,32