数据透视中的异常检测制造技术

本发明专利技术利用曲线拟合数据技术来提供从数据透视中自动检测“数据管道”中的数据异常，从而允许在例如主元表和／或ＯＬＡＰ立方体中进行诸如屏幕上、深度探究、以及横向探究数据异常的数据异常检测。它确定数据是否大大偏离由例如应用于数据管道的分段线性函数的曲线拟合过程所建立的预测值。本发明专利技术可采用阈值以便于在数据值被视为异常之前确定必须的偏离度。该阈值可由系统和／或用户通过用户界面动态和／或静态地提供。此外，本发明专利技术向用户提供对从顶层数据透视检测到的异常的类型和位置的指示。

【技术实现步骤摘要】

本专利技术涉及数据挖掘(data mining)，尤其涉及用于提供数据透视中自动的数据异常检测的系统和方法。
技术介绍
将信息数字化使大量的数据能被存储在难以置信的少量空间中。例如，该过程允许将一个图书馆的内容存储保存于一个计算机硬盘上。这是可能的，因为数据被转换成二进制状态，这种二进制数据能通过数字编码装置存储到各种类型的数字存储介质上，诸如硬盘、CD-ROM盘、以及软盘。随着数字存储技术的进步，存储装置的密度足以使更多的数据被存储在给定空间中，而数据的密度主要受物理和制造工艺的限制。随着存储能力的增长，有效数据检索的挑战性也增加了，使得能简便访问数据极为重要。例如，图书馆中有一本书但找不到它的事实并不能帮助需要阅读它的顾客。类似地，仅将信息数字化并不是一个进步，除非能简便地访问它。这已导致便于有效数据检索的数据结构的创建。这些数据结构一般称为“数据库”。数据库包含用以提供对数据有效访问的结构化格式的数据。结构化数据存储使得在检索数据时比未结构化的数据存储效率更高。也可应用索引和其它组织技术。增强该数据值的数据之间关系也可与数据一起存储。在数据库开发的早期，用户一般会看到像其被本文档来自技高网...

【技术保护点】
一种便于数据透视分析的系统，其特征在于，包括：一组件，接收至少一数据透视；以及一异常检测组件，自动分析所述数据透视以通过应用于来自数据管道的连续和／或离散数据的曲线拟合过程来检测至少一个数据异常；所述数据管道包括其中具有仅有 一数据维变化的所述数据透视的至少一个数据单元的数据片断。

【技术特征摘要】
US 2004-6-23 10/874,9561.一种便于数据透视分析的系统，其特征在于，包括一组件，接收至少一数据透视；以及一异常检测组件，自动分析所述数据透视以通过应用于来自数据管道的连续和/或离散数据的曲线拟合过程来检测至少一个数据异常；所述数据管道包括其中具有仅有一数据维变化的所述数据透视的至少一个数据单元的数据片断。2.如权利要求1所述的系统，其特征在于，所述曲线拟合过程包括至少部分地采用分段线性函数的过程。3.如权利要求2所述的系统，其特征在于，所述分段线性函数包括至少部分地利用回归树的函数。4.如权利要求1所述的系统，其特征在于，所述曲线拟合过程包括至少部分地采用用于预测数据透视中各值的概率模型的过程，其中所述概率模型以非寻常方式取决于所述数据透视中值的位置。5.如权利要求4所述的系统，其特征在于，所述概率模型包括自回归模型。6.如权利要求1所述的系统，其特征在于，所述数据异常包括基于数据值与在所述数据管道中发现的其它数据值的较大偏离的异常。7.如权利要求6所述的系统，其特征在于，所述较大偏离基于超过给定阈值的至少一个偏离值。8.如权利要求7所述的系统，其特征在于，所述偏离值至少部分地基于数据单元值与所述数据单元的预测值的比较，所述预测值从包含所述数据单元的数据管道的分段线性函数表示中导出。9.如权利要求7所述的系统，其特征在于，所述偏离值至少部分地基于数据单元值与所述数据单元的预测值的比较，所述预测值从用于预测所述数据透视中离散值的概率模型中导出，其中所述概率模型以非寻常方式取决于所述数据透视中值的位置。10.如权利要求7所述的系统，其特征在于，所述给定阈值包括从包括动态阈值和静态阈值的所述组中选取的至少一个。11.如权利要求10所述的系统，其特征在于，所述给定阈值包括从用户定义阈值和系统定义阈值的所述组中选取的至少一个。12.如权利要求11所述的系统，其特征在于，还包括提供用于不同数据异常类型的多个可选择用户定义阈值的一用户界面组件。13.如权利要求1所述的系统，其特征在于，所述数据透视包括从包括主元表和在线分析处理(OLAP)立方体的所述组中选取的至少之一。14.如权利要求1所述的系统，其特征在于，还包括向至少一个用户指示所述数据异常的一用户界面组件。15.如权利要求14所述的系统，其特征在于，所述用户界面组件通过从包括可视指示和可听指示的所述组中选取的至少之一来指示所述数据异常。16.如权利要求14所述的系统，其特征在于，所述用户界面组件通过利用从包括高亮至少一即时异常和勾划出至少一隐藏异常轮廓的所述组中选取的至少之一来便于所述数据异常的指示。17.如权利要求14所述的系统，其特征在于，所述用户界面组件包括带有基于至少一个数据异常程度调整指示级别的用户输入控制的用户界面。18.如权利要求14所述的系统，其特征在于，所述用户界面包括组件便于通过至少一个数据异常的自动屏幕上显示来指示所述数据异常。19.一种用于便于数据透视分析的方法，其特征在于，包括接收至少一个数据透视；从所述数据透视建立一数据管道；所述数据管道包括其中具有仅有一数据维变化的所述数据透视的至少一个数据单元的数据片断；确定可表示来自所述数据管道的连续和/或离散数据的曲线拟合函数...

【专利技术属性】
技术研发人员：A福尔廷，B西森，DE黑克曼，DM齐科林，EB威戈萨，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]