用于快速且准确的异常检测的元模型和特征生成制造技术

技术编号:40088891 阅读:17 留言:0更新日期:2024-01-23 15:53
公开了用于快速且准确地训练机器学习模型以执行与新上下文相关的任务的方法和系统,特别是几乎没有可用训练数据的新上下文。一个或多个源数据集可被分成多个源子集,所述多个源子集可用于训练多个源子模型。根据此多个源子模型,可以确定估计参数集。所述估计参数集和目标数据集(可以包括相对较少数量的数据元素)可以用于训练目标模型来执行一些任务。这样,可以利用所述源数据集来训练所述目标模型。此外,公开了生成颜色映射,即非图像数据的图像表示的新颖方法。这些颜色映射可用于训练所述子模型和所述目标模型,从而提高模型性能。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍

1、在数据分析领域,机器学习可用于在特定上下文(例如,电子邮件消息)中完成任务(例如,检测垃圾邮件)。通常,数据科学家将使用大量数据(例如,包括正常邮件消息和垃圾电子邮件消息)、大量计算资源(例如,服务器计算机网络)以及几个小时或几天的计算时间来训练机器学习模型。然后,经训练的模型可用于完成其各自的任务,例如,识别传入的电子邮件消息是正常的还是垃圾邮件。

2、有时,特定任务(例如垃圾邮件检测)适用于多个上下文。例如,机器学习模型可用于检测垃圾电子邮件消息或垃圾邮件文本消息。通常,数据科学家为每个上下文开发单独的模型,例如,用于检测垃圾电子邮件消息的第一模型和用于检测垃圾邮件文本消息的第二模型。就时间、数据和计算资源而言,这种建模策略可能是昂贵的,因为需要为每个上下文训练不同的模型,并且每个模型需要大量的数据、大量的计算资源和几个小时来训练。

3、已建立的上下文(例如,已经存在几年的那些上下文)通常具有大量的现有训练数据。对于这些环境,有可能开发出可用于特定任务的有效机器学习模型。例如,存在大量可用于诸如检测欺诈性信用卡交本文档来自技高网...

【技术保护点】

1.一种用于训练目标模型以将多个目标数据值分类为正常或异常的方法,所述方法包括由计算机系统执行:

2.如权利要求1所述的方法,其中使用多个处理器并行训练所述多个子模型,并且其中所述方法还包括在所述多个处理器之间划分所述多个子模型。

3.如权利要求1所述的方法,其中所述多个子模型包括多个子任务模型,所述多个子任务模型中的每个子任务模型与多个子任务中的子任务相关联,所述多个子任务中的每个子任务包括将对应源子集的源数据值分类为正常或异常,并且其中所述目标模型包括目标任务模型,与目标任务相关联的所述目标任务模型包括将所述多个目标数据值分类为正常或异常。

4.如...

【技术特征摘要】
【国外来华专利技术】

1.一种用于训练目标模型以将多个目标数据值分类为正常或异常的方法,所述方法包括由计算机系统执行:

2.如权利要求1所述的方法,其中使用多个处理器并行训练所述多个子模型,并且其中所述方法还包括在所述多个处理器之间划分所述多个子模型。

3.如权利要求1所述的方法,其中所述多个子模型包括多个子任务模型,所述多个子任务模型中的每个子任务模型与多个子任务中的子任务相关联,所述多个子任务中的每个子任务包括将对应源子集的源数据值分类为正常或异常,并且其中所述目标模型包括目标任务模型,与目标任务相关联的所述目标任务模型包括将所述多个目标数据值分类为正常或异常。

4.如权利要求1所述的方法,其中所述多个性能度量中的每个性能度量包括损失度量或误差度量,所述损失度量或所述误差度量基于多个标签和多个分类之间的差异来测量对应子模型的性能,其中所述多个标签和所述多个分类对应于与所述对应子模型相对应的源子集。

5.如权利要求1所述的方法,其中使用所述目标数据集和所述估计参数集来训练所述目标模型是使用贝叶斯元学习过程来完成的,所述过程包括:

6.如权利要求1所述的方法,其中:

7.如权利要求6所述的方法,其中所述多个源事件包括多个源实时交易,并且其中所述多个目标事件包括多个目标实时交易。

8.如权利要求1所述的方法,其中:

9.如权利要求8所述的方法,其中每个源特征向量包括多个源特征值,并且其中使用所述多个源特征向量生成所述多个源统一颜色映射包括,对于所述多个源特征向量中的每个源特征向量:

1...

【专利技术属性】
技术研发人员:田晓C·切蒂亚Y·谢
申请(专利权)人:维萨国际服务协会
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1