一种基于密度的参数自适应聚类方法技术

本发明专利技术公开了一种基于密度的参数自适应聚类方法，涉及数据挖掘技术领域。该方法包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。

【技术实现步骤摘要】
一种基于密度的参数自适应聚类方法
本专利技术涉及数据挖掘
，特别是涉及一种基于密度的参数自适应聚类方法。
技术介绍
随着计算机技术的提高和互联网技术的迅猛发展，各行各业的数据量都发生了翻天覆地的变化。由于在这些海量复杂数据的背后隐藏着很多有价值的规律和信息，大数据挖掘方法在大数据领域就显得尤为重要。数据挖掘主要结合了人工智能、机器学习、模式学习、统计学等知识，广泛应用于银行、电信、电商等商业领域，并成功帮助企业、用户、商家调整市场政策、减少风险、理性面对市场，并做出正确的决策。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、偏差分析和Web页挖掘等。而聚类在数据挖掘中是一个非常重要的方法，主要针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。数据之间的相似度很多是根据数据之间的距离来表示的。这种方法在计算速度上虽然有提高，但是只能发现球状的簇，而对于任意形状的簇，不能得到理想的聚类效果。由于DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise，具有噪声的基于密度的聚类方法)算法步骤简单和效果突出，该算法受到了广泛的关注和应用研究。然而该算法对输入参数敏感，且利用的是全局参数，对于未知的数据集很难设置合适的参数来达到理性的效果，这就使得聚类的难度大还容易出现聚类错误。
技术实现思路
本专利技术的主要目的在于提供一种基于密度的参数自适应聚类方法，旨在解决传统的数据挖掘聚类方法采用全局参数、聚类不准确的问题，提高数据处理技术在对历史数据进行预测时的精确度，既能够对密度差较大的数据集进行抗噪聚类又能准确回归预测。为实现上述目的，本专利技术提供一种基于密度的参数自适应聚类方法，包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。优选地，所述步骤S2还包括：通过OVDBSCAN(OptimizationInitialPointsandVariable-parameterDensity-BasedSpatialClusteringofApplicationswithNoise，初试点优化并变参的具有噪声的基于密度的聚类方法)算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。优选地，所述步骤S2还包括：将所有的簇进行SVR(SupportVectorRegression，支持向量回归)模型的模型训练，并将训练后的簇通过PSO(ParticleSwarmOptimization，粒子群优化算法)进行SVR模型优化选择以得到优选参数。优选地，所述将所有的簇进行SVR模型的模型训练还包括：SVR模型通过核函数计算所述预处理后的单元数据，并利用径向基核函数对所述所有的簇进行SVR模型的模型训练。优选地，所述SVR模型的参数包括惩罚系数、不敏感损失系数和宽度系数，其中所述不敏感损失系数为预设常数，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到。优选地，所述惩罚系数和所述宽度系数通过PSO优化选择以计算得到还包括：将经SVR模型训练的簇进行PSO参数优化，以随机产生一组惩罚系数和宽度系数作为初始值，并将当前的惩罚系数和宽度系数进行SVR模型训练，通过交叉验证以得到均方误差；将训练数据分为多份以得到多个训练子集，计算每个所述训练子集的均方误差，计算所有均方误差的平均值，以得到优选的惩罚系数和宽度系数。优选地，所述步骤S1还包括：将待处理数据集内的数据按照预设比例划分为训练数据和测试数据。本专利技术技术方案通过参数自适应的密度聚类预测算法对数据集进行分类，利用分类的结果进行回归预测分析，可有效地实现密度差较大的数据集的聚类，对于噪声和非稳态的数据有很好的抑制作用，提高数据预测分析的精度。附图说明图1为本专利技术基于密度的参数自适应聚类方法的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。下面结合附图对本专利技术进一步说明。一种基于密度的参数自适应聚类方法，如图1所示，包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据。具体地，所述步骤S1还包括：将待处理数据集内的数据按照预设比例划分为训练数据和测试数据。在具体实施例中，选择一个有意义的时序数据集作为参数自适应聚类方法的待处理数据集，同时在待处理数据集中按照8:2的比例分为训练数据和测试数据。在具体实施例中，滑动窗口的宽度是固定的，选取前n-1天的数据作为输入数据，第n天作为输出数据，这样可以对跨度为m年的数据进行挖掘和研究。滑动窗口截取的时序数据的格式如下述等式所示：其中，I为输入序列，O为输出序列，x为第n天的n-1个输入数据，y为第n天的输出数据。S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组。优选地，所述步骤S2还包括：通过OVDBSCAN算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。在具体实施例中，OVDBSCAN算法包括两个最基本的领域参数，ε描述了某一样本的领域距离阈值，MinPts表示的是半径为ε的领域中样本点的数目。首先选取一点p，求距离点p最近的k个点的距离，并计算其平均值；再计算出距离所有点的k个最近点的平均距离，并存储。将全部点的平均距离数据集经过DBSCAN聚类，得到cps个聚类结果，对cps个聚类结果中每个聚类i求出平均距离点的最大值。然后把点p和距离它的k个最近点之间的距离作为该类点的领域距离阈值εi，将得到的领域距离阈值εi，从小到大对领域距离阈值εi进行排序并聚类，首先选择最小的领域距离阈值εi，MinPts保持不变，对数据集进行DBSCAN聚类；再选择第二小的领域距离阈值εi，直至所有领域距离阈值εi都使用完。聚类结束后将得到n个独立的簇A及其中心点。优选地，所述步骤S2还包括：将所有的簇进行SVR模型的模型训练，并将训练后的簇通过PSO进行SVR模型优化选择以得到优选参数。优选地，所述将所有的簇进行SVR模型的模型训练还包括：SVR模型通过核函数计算所述预处理后的单元数据，并利用径向基核函数对所述所有的簇进行SVR模型的模型训练。在具体实施例中，径向基核函数的表达式为：其中XC为核函数中心，σ为函数的宽度参数。优选地，所述SVR模型的参数包括本文档来自技高网...

【技术保护点】
1.一种基于密度的参数自适应聚类方法，其特征在于，包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。

【技术特征摘要】
1.一种基于密度的参数自适应聚类方法，其特征在于，包括以下步骤：S1、数据集的预处理：输入待处理的数据集，利用预设的滑动窗口截取数据流，对截取的单元数据进行预处理以得到训练数据；S2、训练数据的模型训练和优化：对所述训练数据进行聚类，以得到所述训练数据的独立的簇和簇中心；将所有的簇进行模型训练，并将训练后的簇进行优化选择以得到优选参数，再将优优选参数的簇进行训练，以得到模型组；S3、模型匹配：将测试数据与所有的簇中心进行相似度匹配，得到最相似的簇中心对应的簇，以获得与该簇对应的相似模型；S4、预测分析：根据所述相似模型计算所述测试数据，以得到所述测试数据的预测值。2.根据权利要求1所述的基于密度的参数自适应聚类方法，其特征在于，所述步骤S2还包括：通过OVDBSCAN算法对所述训练数据进行聚类，得到所述训练数据的独立的簇和簇中心。3.根据权利要求2所述的基于密度的参数自适应聚类方法，其特征在于，所述步骤S2还包括：将所有的簇进行SVR模型的模型训练，并将训练后的簇通过PSO进行SVR模型优化选择以得到优选参数。4.根据权利要求3所述的基于密度的参...

【专利技术属性】
技术研发人员：黄梦醒，张雨，冯文龙，沈亮亮，鲍琦莉，
申请(专利权)人：海南大学，
类型：发明
国别省市：海南,46