一种基于加速近端梯度PCA的时序评分异常值检测方法技术
【技术实现步骤摘要】
本专利技术属于数据挖掘领域，主要涉及一种基于加速近端梯度PCA的时序评分异常值检测方法。
技术介绍
随着经济和科技的快速发展，网购已经深入人们生活的点点滴滴。2015年我国人均网购金额已经超过9000元，由此产生了大量针对产品或者服务的评分数据。一方面这些评分可以给消费者提供参考，帮助他们在购物的时候做出选择；另一方面，这些评分数据也影响着商家的生产经营策略，他们可以根据评分数据，及时发现产品的缺陷，从而达到盈利的目标。但是，这些评分数据会受到异常值的影响，比如说，商家故意营造产品的高质量假象。因此，检测出这些异常评分、还原用户评分的基本表现具有十分重要的意义。用户对于产品的评分数据并不是完全静态的，它会随着时间变化，而针对这些评分数据的时空分析可以为相关人员研究产品质量的发展提供深层次的了解。用户的常规评分行为称为基本行为，这些基本行为描述了产品或者服务随时间而变化的总体质量。相反，异常现象就是脱离了基本行为的评分，例如，产品的质量发生变化。主成分分析是用于高维数据分析的主要方法之一，在科学和工程领域有广泛的应用。主成分分析是一种降维的统计方法，借助一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。
技术实现思路
本专利技术提出了一种基于加速近端梯度PCA的时序评分异常值检测方法，该方法包括以下具体步骤：步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比...
【技术保护点】
一种基于加速近端梯度PCA的时序评分异常值检测方法，其特征在于，该方法包括以下具体步骤：步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比值，得到评分分布矩阵；步骤二：利用加速近端梯度PCA算法对所述评分分布矩阵进行降秩，具体采用了加速近端梯度算法，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。
【技术特征摘要】
1.一种基于加速近端梯度PCA的时序评分异常值检测方法，其特征在于，该方法包括以下具体步骤：步骤一：获取评分数据，所述评分数据包括评分分值和评分时间；根据评分时间排序后将评分数据分割成多个时间间隔相等的段，统计每个段内各评分数据的个数占该段内评分总数的比值，得到评分分布矩阵；步骤二：利用加速近端梯度PCA算法对所述评分分布矩阵进行降秩，具体采用了加速近端梯度算法，将所述矩阵分解成低秩矩阵和稀疏矩阵；所述低秩矩阵用于表示所述评分数据中的基本行为，所述稀疏矩阵用于表示所述评分数据的异常评分值。2.如权利要求1所述的时序评分异常值检测方法，其特征在于，利用加速近端梯度PCA对所述矩阵进行降秩，包括如下步骤：步骤i：初始化零矩阵(Ak，Ak-1，Ek，Ek-1)，所述零矩阵(Ak，Ak-1，Ek，Ek-1)与所述低秩矩阵及所述稀疏矩阵同大，初始化迭代操作的步长(tk,tk-1)、优化函数的折中因子(λ)、和所述评分分布矩阵的二范数(μk)；步骤ii：分别计算矩阵分别以如下公式表示： Y k A = A k + t k - 1 - 1 t k ( A k - A k - 1 ) ; ]]> Y k E = E k + t k - 1 - 1 t k ( E k - E k - 1 ) ; ]]> G k A = Y k A - 1 2 ( Y k A + Y k E - D ) ; ]]> G k E = Y k E - 1 2 ( Y k A + Y k E - D ) ; ]]>上式中，表示矩阵Ak邻近的矩阵，表示矩阵Ek邻近的矩阵，表示求解矩阵Ak的最优化问题中的变量，表示求解矩阵Ek的最优化问题中的变量；步骤iii：对矩阵进行奇异值分解，得到其中U表示左奇异值，∑表示奇异值矩阵，V表示右奇异值；步骤iv：计算Ak+1，Ek+1，分别以如下公式表示： A k + 1 = US μ K 2 ( Σ ) V T ; ]]>其中Sε(x)表示对对角矩阵x做阈值化的函数，Sε(x)＝max(xi...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。