用于对机器学习模型的嵌入向量去偏置的系统技术方案

描述了一种用于对机器学习模型的嵌入向量去偏置的系统

【技术实现步骤摘要】
【国外来华专利技术】用于对机器学习模型的嵌入向量去偏置的系统、方法和计算机程序产品
[0001]相关申请的交叉引用
[0002]本申请要求
2021
年3月
30
日提交的美国临时专利申请
63/167,737
的权益，该美国临时专利申请的公开内容据此以全文引用方式并入
。


[0003]本公开涉及机器学习模型和自然语言处理
。
具体地但不排他地，本公开涉及对神经网络机器学习模型的嵌入向量去偏置
。

技术介绍

[0004]嵌入向量可以包括相对较高维向量的相对低维向量表示
。
例如，嵌入向量可以表示较高维向量
(
例如表示离散和
/
或分类变量
、
高维数据记录等
)
到较低维空间中的映射
。
在包括神经网络的机器学习建模中，嵌入向量可以包括较高维向量的多维
、
经学习的连续向量表示
。
自然语言处理
(NLP)
>可以将词映射到向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种计算机实现的方法，包括：使用至少一个处理器从神经网络模型接收多个嵌入向量；使用所述至少一个处理器基于所述多个嵌入向量来生成嵌入向量的两个群集，所述两个群集包括预期在第一方向上有偏置的嵌入向量的第一群集以及预期在第二方向上有偏置的第二群集；使用所述至少一个处理器确定嵌入向量的所述第一群集的第一均值向量和嵌入向量的所述第二群集的第二均值向量；使用所述至少一个处理器通过以下操作来修改所述第一均值向量：将所述第一均值向量朝向嵌入向量的所述第一群集的每个嵌入向量移动以提供多个第一候选向量，并且沿着在所述第二均值向量与每个第一候选向量之间定义的第一方向线性地投影所述第一群集和所述第二群集两者的所述嵌入向量，以确定与每个第一候选向量相关联的偏置分数；使用所述至少一个处理器基于所述多个第一候选向量中的第一候选向量的所述偏置分数用所述第一候选向量替换所述第一均值向量；使用所述至少一个处理器通过以下操作来修改所述第二均值向量：将所述第二均值向量朝向嵌入向量的所述第二群集的每个嵌入向量移动以提供多个第二候选向量，并且沿着在所述第一均值向量与每个第二候选向量之间定义的第二方向线性地投影所述第一群集和所述第二群集两者的所述嵌入向量，以确定与每个第二候选向量相关联的偏置分数；使用所述至少一个处理器基于所述多个第二候选向量中的第二候选向量的所述偏置分数用所述第二候选向量替换所述第二均值向量；使用所述至少一个处理器重复对所述第一均值向量的所述修改
、
对所述第一均值向量的所述替换
、
对所述第二均值向量的所述修改以及对所述第二均值向量的所述替换，直至达到所述偏置分数的极值；以及响应于达到所述偏置分数的所述极值，使用所述至少一个处理器沿着在所述第一均值向量与所述第二均值向量之间定义的方向线性地投影所述多个嵌入向量中的每个嵌入向量，以对所述多个嵌入向量去偏置
。2.
如权利要求1所述的计算机实现的方法，其中所述多个嵌入向量是词嵌入的向量表示，并且所述神经网络模型包括自然语言处理
(NLP)
模型
。3.
如权利要求1所述的计算机实现的方法，其中所述多个嵌入向量是从客户交易数据中生成的商家身份嵌入的向量表示
。4.
如权利要求3所述的计算机实现的方法，还包括使用所述至少一个处理器使用所述多个嵌入向量修改欺诈监控系统的机器学习模型，所述多个嵌入向量已通过使用在所述第一均值向量与所述第二均值向量之间定义的所述方向线性地投影所述多个嵌入向量中的每个嵌入向量而被去偏置
。5.
如权利要求1所述的计算机实现的方法，其中根据词嵌入关联测试
(WEAT)
来计算所述偏置分数
。6.
如权利要求1所述的计算机实现的方法，其中根据嵌入一致性测试
(ECT)
来计算所述偏置分数
。7.
如权利要求1所述的计算机实现的方法，还包括：在修改所述第一均值向量和所述第二均值向量之前，使用所述至少一个处理器通过沿着在所述第一均值向量与所述第二均值
向量之间定义的初始方向线性地投影所述第一群集和所述第二群集两者的所述嵌入向量来确定初始偏置分数，其中：用所述多个第一候选向量中的所述第一候选向量对所述第一均值向量的所述替换是基于使所述初始偏置分数与所述第一候选向量的所述偏置分数之间的差最大化；并且用所述多个第二候选向量中的所述第二候选向量对所述第二均值向量的所述替换是基于使所述初始偏置分数与所述第二候选向量的所述偏置分数之间的差最大化
。8.
一种包括服务器的系统，所述服务器包括至少一个处理器，所述服务器被编程为或被配置成：从神经网络模型接收多个嵌入向量；基于所述多个嵌入向量来生成嵌入向量的两个群集，所述两个群集包括预期在第一方向上有偏置的嵌入向量的第一群集以及预期在第二方向上有偏置的第二群集；确定嵌入向量的所述第一群集的第一均值向量和嵌入向量的所述第二群集的第二均值向量；通过以下操作来修改所述第一均值向量：将所述第一均值向量朝向嵌入向量的所述第一群集的每个嵌入向量移动以提供多个第一候选向量，并且沿着在所述第二均值向量与每个第一候选向量之间定义的第一方向线性地投影所述第一群集和所述第二群集两者的所述嵌入向量，以确定与每个第一候选向量相关联的偏置分数；基于所述多个第一候选向量中的第一候选向量的所述偏置分数用所述第一候选向量替换所述第一均值向量；通过以下操作来修改所述第二均值向量：将所述第二均值向量朝向嵌入向量的所述第二群集的每个嵌入向量移动以提供多个第二候选向量，并且沿着在所述第一均值向量与每个第二候选向量之间定义的第二方向线性地投影所述第一群集和所述第二群集两者的所述嵌入向量，以确定与每个第二候选向量相关联的偏置分数；基于所述多个第二候选向量中的第二候选向量的所述偏置分数用所述第二候选向量替换所述第二均值向量；重复对所述第一均值向量的所述修改
、
对所述第一均值向量的所述替换
、
对所述第二均值向量的所述修改以及对所述第二均值向量的所述替换，直至达到所述偏置分数的极值；以及响应于达到所述偏置分数的所述极值，沿着在所述第一均值向量与所述第二均值向量之间定义的方向线性地投影所述多个嵌入向量中的每个嵌入向量，以对所述多个嵌入向量去偏置
。9.
如权利要求8所述的系统，其中所述多个嵌入向量...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：