一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，该方法应用在数据挖掘中检测离群点的过程中，所述方法包括：获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；利用预设的标准差计算方式对所述成分点进行筛选；根据筛选结果在所述样例点中获取所述离群点。该方法结合EM算法和高斯混合模型的特有规则，并能够利用高斯混合模型快速收敛的优点，快速而准确的检测出离群点。

A Data Processing Method and Device

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据处理领域，特别涉及一种数据处理方法及装置。
技术介绍
离群点检测是数据处理特别是数据挖掘技术中重要的研究问题，用于发现数据集中明显偏离其他数据、不服从数据的一般行为或模式的数据，离群点的出现有可能是由于数据噪声，或于数据源出现了特殊了异常行为和状态而造成的。对检测到的离群点做出进一步的逆向原因分析可能就会发现离群点背后所蕴含的十分有用的数据，群点检测可以广泛地应用于电子商务交易犯罪和信用卡欺诈侦查、生态系统失调发现、网络入侵检测、工业损害检测、公共卫生、医疗诊断和天文探索发现等诸多领域。但是目前离群点检测方法大都只能用于单变量的数值型离群点检测，而不适用于高维空间多变量数据的情形，还有些方法必须要计算每个样本点之间的距离，使得检测性能较差，效率低。
技术实现思路
鉴于现有技术中存在的上述问题，本专利技术实施例的目的在于提供一种数据处理方法及装置，该方法能够利用高斯混合模型快速收敛的优点，快速而准确的检测出离群点。为了解决上述技术问题，本专利技术采用了如下技术方案：一种数据处理方法，应用在数据挖掘中检测离群点的过程中，所述方法包括：获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；利用预设的标准差计算方式对所述成分点进行筛选；根据筛选结果在所述样例点中获取所述离群点。作为优选，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练包括：初始化所述高斯混合模型的第一参数{(αi，μi，∑i)|1≤i≤k}；利用第一公式对所述样例点进行计算生成所述成分点的后验概率；其中，PM为Zj的后验概率，Zj的后验概率为所述样例点Xj由第i个所述成分点生成的后验概率。作为优选，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练还包括：利用第二公式计算出所述高斯混合模型的第二参数；将所述第一参数转化为所述第二参数；基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；根据所述后验概率并利用所述第二公式重新计算所述第二参数。作为优选，所述的根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联包括：将所述目标数据集中的每个所述样例点关联到相应的所述成分点上；计算所述成分点的参数据均值和/或方差。作为优选，所述的利用预设的标准差计算方式对所述的成分点进行筛选包括：利用三倍标准差方式对所述参数均值与方差进行差值计算，并生成相应的差值范围；根据所述差值范围对所述成分点进行筛选，确定落入所述差值范围以外的所述成分点为所述离群点。本专利技术实施例还提供了一种数据处理装置，应用在数据挖掘中检测离群点的过程中，所述装置包括训练模块、关联模块和处理模块，所述训练模块配置为获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；所述关联模块配置为根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；所述处理模块配置为利用预设的标准差计算方式对所述的成分点进行筛选，并根据筛选结果在所述样例点中获取所述离群点。作为优选，所述训练模块进一步配置为：初始化所述高斯混合模型的第一参数{(αi，μi，∑i)|1≤i≤k}；利用第一公式对所述样例点进行计算生成所述成分点的后验概率；其中，PM为Zj的后验概率，Zj的后验概率为所述样例点Xj由第i个所述成分点生成的后验概率。作为优选，所述训练模块进一步配置为：利用第二公式计算出所述高斯混合模型的第二参数；将所述第一参数转化为所述第二参数；基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；根据所述后验概率并利用所述第二公式重新计算所述第二参数。作为优选，所述关联模块进一步配置为将所述目标数据集中的每个所述样例点关联到相应的所述成分点上，计算所述成分点的参数据均值和/或方差。作为优选，所述处理模块进一步配置为：利用三倍标准差方式对所述参数均值与方差进行差值计算，并生成相应的差值范围；根据所述差值范围对所述成分点进行筛选，确定落入所述差值范围以外的所述成分点为所述离群点。本专利技术实施例的有益效果在于：该方法结合EM算法和高斯混合模型的特有规则，并能够利用高斯混合模型快速收敛的优点，快速而准确的检测出离群点。附图说明图1为本专利技术实施例的数据处理方法的流程图；图2为本专利技术实施例的图1中步骤1的一种流程图；图3为本专利技术实施例的图1中步骤1的另一种流程图；图4为本专利技术实施例的图1中步骤2的流程图；图5为本专利技术实施例的图1中步骤3的流程图；图6为本专利技术实施例的数据处理装置的结构框图。附图标记说明1-数据处理装置2-训练模块3-关联模块4-处理模块具体实施方式为使本领域技术人员更好地理解本专利技术，下面参照附图对本专利技术的实施例进行详细说明，但不作为对本专利技术的限定。本专利技术实施例的一种数据处理方法，结合高斯混合模型快速收敛的优点，提出了基于高斯混合模型的离群点检测算法。该算法首先利用EM(expectationmaximizationalgorithm)算法对目标数据进行高斯混合模型参数的估计，根据得到的每个成分点的均值和方差，然后在每个成分点上把偏离均值三倍标准差以外的数据点视为离群点。下面需要首先对EM算法和高斯混合模型进行说明。概率模型不单含有观测变量还含有隐变量(latentvariable)。假设概率模型的变量都是观测变量，那么对于给定的数据，可以很容易地使用极大似然估计或者贝叶斯估计方法估计出模型的参数。但是，当模型含有隐变量时没有解析解，就不能简单地使用极大似然估计或贝叶斯估计法进行求解。而EM算法就是求解含有隐变量的概率模型参数的一个有效方法。EM算法是一种迭代式计算方法，用于求解包含隐变量的概率模型参数的极大似然估计，或极大后验概率估计。在每一次EM算法迭代中，算法都能够确保似然函数值提升，并且可以保证收敛到一个局部极大值。EM算法并不能保证收敛到全局极大值点，所以在实际的工程应用中，通常的做法是选取几个不同的初值进行迭代，然后对各个初值迭代的结果加以比较，选择其中得到最大值时所估计出的模型参数。在EM算法的每次迭代中都由两步组成：E步，求期望(expectation)；M步，求极大(maximization)。具体来说，EM算法步骤如下：(1)，输入观测变量数据Y，隐变量数据Z，联合分布P(Y，Z|θ)，条件分布P(Z|Y，θ)；选择参数的初始值θ(0)，开始迭代；(2)，E步：记θ(i)为第i次迭代参数θ的估计值，在第i+1次迭代的E步，计算其中，P(Z|Y，θ(i))是在给定的观测数据Y和当前的参数估计θ(i)下隐变量数据Z的条件概率分布；(3)，M步：求使Q(θ，θ(i))极大化的θ，确定第i+1次迭代的参数的估计值θ(i+1)；(4)，重复上述第(2)和第(3)步，直到收敛。以下再对高斯混合模型进行说明，高斯分布的定义为：假设n维样本空间Ω中的随机向量x，若x服从高斯分布，其概率密度函数为：其中μ是n维均值向量，∑是n×n的协方差矩阵。由概率密度函数可得，高斯分布由均值向量μ和协方差矩阵∑这两个参数完全确定。为了明确显示高斯分布与相应参数的依赖关系，将概率密度函数记为p(x|μ，∑)。则高斯混合模型是指具有如下形式本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用在数据挖掘中检测离群点的过程中，所述方法包括：获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；利用预设的标准差计算方式对所述成分点进行筛选；根据筛选结果在所述样例点中获取所述离群点。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用在数据挖掘中检测离群点的过程中，所述方法包括：获取目标数据集，利用高斯混合模型对所述目标数据集进行训练；根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联；利用预设的标准差计算方式对所述成分点进行筛选；根据筛选结果在所述样例点中获取所述离群点。2.根据权利要求1所述的方法，其特征在于，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练包括：初始化所述高斯混合模型的第一参数{(αi，μi，∑i)|1≤i≤k}；利用第一公式对所述样例点进行计算生成所述成分点的后验概率；其中，PM为Zj的后验概率，Zj的后验概率为所述样例点Xj由第i个所述成分点生成的后验概率。3.根据权利要求2所述的方法，其特征在于，所述的获取目标数据集，利用高斯混合模型对所述目标数据集进行训练还包括：利用第二公式计算出所述高斯混合模型的第二参数；将所述第一参数转化为所述第二参数；基于所述第二参数，根据所述第一公式计算生成所述成分点的后验概率；根据所述后验概率并利用所述第二公式重新计算所述第二参数。4.根据权利要求1所述的方法，其特征在于，所述的根据训练结果，将所述训练数据中的样例点与所述高斯混合模型的成分点相关联包括：将所述目标数据集中的每个所述样例点关联到相应的所述成分点上；计算所述成分点的参数据均值和/或方差。5.根据权利要求4所述的方法，其特征在于，所述的利用预设的标准差计算方式对所述的成分点进行筛选包括：利用三倍标准差方式对所述参数均值与方差进行差值计算，并生成相应的差值范围；根据所述差值范围对所述成分点进行筛选，确定落...

【专利技术属性】
技术研发人员：彭志平，刘文博，熊建斌，
申请(专利权)人：广东石油化工学院，
类型：发明
国别省市：广东,44