【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及点异常检测。
技术介绍
1、点数据中的异常检测具有广泛的应用，诸如制造业、农业、医疗保健、数字广告等。由于理论方面和实践方面两者的复杂性，异常检测仍然是机器学习中最具挑战性的问题之一。例如，学习和标识点数据的异常需要许多技术，范围包括特征工程、训练、分析、反馈和模型微调。此外，异常检测应用通常出现在多个组件和服务中，每个组件和服务单独处置数据存储、处理、建模实验、预测和部署，这会给用户带来碎片化的体验。
技术实现思路
1、本公开的一个方面提供了一种由云数据库系统的数据处理硬件执行的计算机实现的方法，该方法使数据处理硬件进行操作。操作包括接收来自用户的点数据异常检测查询。点数据异常检测查询请求数据处理硬件确定一组点数据值中的一定数量的异常点数据值。操作包括使用该组点数据值来训练模型。对于该组点数据值中的至少一个相应的点数据值，操作包括使用经训练的模型来确定相应点数据值的方差值，并确定方差值满足阈值。基于方差值满足阈值，操作包括确定相应点数据值是异常点数据值。操作包括向用户报告所确定的异常点数据值。
2、本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，该模型包括自动编码器模型。在进一步的实施方式中，自动编码器模型包括隐藏层的序列。在其他进一步的实施方式中，方差值包括相应点数据值的重构损失。在更进一步的实施方式中，确定相应点数据值的重构损失包括确定平均绝对误差重构损失、确定均方误差重构损失和确定均方对数误差重构损失。
3、在一些示例
4、在一些实施方式中，点数据异常查询包括单个结构化查询语言(sql)查询。在进一步的实施方式中，单个sql查询请求数据处理硬件以确定多组点数据值中的相应数量的异常点数据值。
5、可选地，该组点数据值中的至少一个相应点数据值包括历史点数据值。历史点数据值可以用于训练模型。
6、在一些示例中，操作进一步包括，对于未用于训练模型的附加点数据值，使用经训练的模型确定附加点数据值的方差值。在一些实施方式中，对模型进行训练使用该组点数据值中的每个点数据值。
7、本公开的另一个方面提供了一种系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储在数据处理硬件上执行并使数据处理硬件执行操作的指令。操作包括接收来自用户的点数据异常检测查询。点数据异常检测查询请求数据处理硬件确定一组点数据值中的一定数量的异常点数据值。操作包括使用该组点数据值来训练模型。对于该组点数据值中的至少一个相应的点数据值，操作包括使用经训练的模型来确定相应点数据值的方差值，并确定方差值满足阈值。基于方差值满足阈值，操作包括确定相应点数据值是异常点数据值。操作包括向用户报告所确定的异常点数据值。
8、本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，该模型包括自动编码器模型。在进一步的实施方式中，自动编码器模型包括隐藏层的序列。在其他进一步的实施方式中，方差值包括相应点数据值的重构损失。在更进一步的实施方式中，确定相应点数据值的重构损失包括确定平均绝对误差重构损失、确定均方误差重构损失和确定均方对数误差重构损失。
9、在一些示例中，该模型包括k均值模型。在进一步的示例中，方差值包括相应点数据值的度量规范化距离。可选地，阈值基于由用户提供的查全率目标或查准率目标。
10、在一些实施方式中，点数据异常查询包括单个结构化查询语言(sql)查询。在进一步的实施方式中，单个sql查询请求数据处理硬件以确定多组点数据值中的相应数量的异常点数据值。
11、可选地，该组点数据值中的至少一个相应点数据值包括历史点数据值。历史点数据值可以用于训练模型。
12、在一些示例中，操作进一步包括，对于未用于训练模型的附加点数据值，使用经训练的模型确定附加点数据值的方差值。在一些实施方式中，对模型进行训练使用该组点数据值中的每个点数据值。
13、本公开的一个或多个实施方式的细节在附图和以下描述中阐述。根据说明书和附图以及根据权利要求书，其他方面、特征和优点将显而易见。
本文档来自技高网...【技术保护点】
1.一种由云数据库系统(140)的数据处理硬件(144)执行的计算机实现的方法(500)，所述方法使得所述数据处理硬件(144)执行操作，所述操作包括：
2.根据权利要求1所述的方法(500)，其中，所述模型(212)包括自动编码器模型(212E)。
3.根据权利要求2所述的方法(500)，其中，所述自动编码器模型(212E)包括隐藏层(214)的序列。
4.根据权利要求1-3中任一项所述的方法(500)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的重构损失(154E)。
5.根据权利要求4所述的方法(500)，其中，确定所述至少一个相应的点数据值(152)的所述重构损失(154E,154Ea-n)包括以下中的至少一个：
6.根据权利要求1所述的方法(500)，其中，所述模型(212)包括K均值模型(212K)。
7.根据权利要求1或权利要求6所述的方法(500)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的度量规范化距离(154K)。
8.根据权利
9.根据权利要求1-8中任一项所述的方法(500)，其中，所述点数据异常检测查询(20)包括单个结构化查询语言(SQL)查询(20)。
10.根据权利要求9所述的方法(500)，其中，所述单个SQL查询(20)请求所述数据处理硬件(144)确定多组点数据值(152)中的相应数量的异常点数据值(152A)。
11.根据权利要求1-10中任一项所述的方法(500)，其中，所述一组点数据值(152)中的所述至少一个相应的点数据值(152)包括历史点数据值(152H)。
12.根据权利要求11所述的方法(500)，其中，所述历史点数据值(152H)用于训练所述模型(212)。
13.根据权利要求1-12中任一项所述的方法(500)，其中，所述操作进一步包括：对于未被用于训练所述模型(212)的附加点数据值(152N)，使用经训练的模型(212)来确定所述附加点数据值(152N)的方差值(154)。
14.一种系统(100)，包括：
15.根据权利要求14所述的系统(100)，其中，所述模型(212)包括自动编码器模型(212E)。
16.根据权利要求15所述的系统(100)，其中，所述自动编码器模型(212E)包括隐藏层(214)的序列。
17.根据权利要求14-16中任一项所述的系统(100)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的重构损失(154E)。
18.根据权利要求17所述的系统(100)，其中，确定所述至少一个相应的点数据值(152)的所述重构损失(154E,154Ea-n)包括以下中的至少一个：
19.根据权利要求14所述的系统(100)，其中，所述模型(212)包括K均值模型(212K)。
20.根据权利要求14或权利要求19所述的系统(100)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的度量规范化距离(154K)。
21.根据权利要求14-20中任一项所述的系统(100)，其中，所述阈值(412)是基于由所述用户(12)提供的查全率目标(414)或查准率目标(416)。
22.根据权利要求14-21中任一项所述的系统(100)，其中，所述点数据异常检测查询(20)包括单个结构化查询语言(SQL)查询(20)。
23.根据权利要求22所述的系统(100)，其中，所述单个SQL查询(20)请求所述数据处理硬件(144)确定多组点数据值(152)中的相应数量的异常点数据值(152A)。
24.根据权利要求14-23中任一项所述的系统(100)，其中，所述一组点数据值(152)中的所述至少一个相应的点数据值(152)包括历史点数据值(152H)。
25.根据权利要求24所述的系统(100)，其中，所述历史点数据值(152H)用于训练所述模型(212)。
26.根据权利要求14至25中任一项所述的系统(100)，其中，所述操作进一步包括：对于未被用于训练所述模型(212)的附加点数据值(152N)，使用经训练的模型(212)来确定所述附加点数据值(152N)的方差值(154)。
...【技术特征摘要】
【国外来华专利技术】
1.一种由云数据库系统(140)的数据处理硬件(144)执行的计算机实现的方法(500)，所述方法使得所述数据处理硬件(144)执行操作，所述操作包括：
2.根据权利要求1所述的方法(500)，其中，所述模型(212)包括自动编码器模型(212e)。
3.根据权利要求2所述的方法(500)，其中，所述自动编码器模型(212e)包括隐藏层(214)的序列。
4.根据权利要求1-3中任一项所述的方法(500)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的重构损失(154e)。
5.根据权利要求4所述的方法(500)，其中，确定所述至少一个相应的点数据值(152)的所述重构损失(154e,154ea-n)包括以下中的至少一个：
6.根据权利要求1所述的方法(500)，其中，所述模型(212)包括k均值模型(212k)。
7.根据权利要求1或权利要求6所述的方法(500)，其中，所述方差值(154)包括所述至少一个相应的点数据值(152)的度量规范化距离(154k)。
8.根据权利要求1-7中任一项所述的方法(500)，其中，所述阈值(412)是基于由所述用户(12)提供的查全率目标(414)或查准率目标(416)。
9.根据权利要求1-8中任一项所述的方法(500)，其中，所述点数据异常检测查询(20)包括单个结构化查询语言(sql)查询(20)。
10.根据权利要求9所述的方法(500)，其中，所述单个sql查询(20)请求所述数据处理硬件(144)确定多组点数据值(152)中的相应数量的异常点数据值(152a)。
11.根据权利要求1-10中任一项所述的方法(500)，其中，所述一组点数据值(152)中的所述至少一个相应的点数据值(152)包括历史点数据值(152h)。
12.根据权利要求11所述的方法(500)，其中，所述历史点数据值(152h)用于训练所述模型(212)。
13.根据权利要求1-12中任一项所述的方法(500)，其中，所述操作进一步包括：对于未被用于训练所述模型(212)的附加点数据值(152n)，使用经训练的模型(212)来确定所述附加点数据值(...
【专利技术属性】
技术研发人员：叶子船，刘家尚，福里斯特·埃利奥特，阿米尔·霍马蒂，程曦，邓明格，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。