用于使交叉嵌入对齐的嵌入归一化的方法技术

提供了一种用于使交叉嵌入对齐的嵌入归一化的方法

【技术实现步骤摘要】
【国外来华专利技术】用于使交叉嵌入对齐的嵌入归一化的方法、系统和计算机程序产品
[0001]相关申请的交叉引用
[0002]本申请要求
2021
年5月
25
日提交的美国临时专利申请第
63/192,779
号的优先权，该申请的公开内容的全文以引用方式并入本文
。


[0003]本公开的主题总体上涉及用于使嵌入归一化的方法
、
系统和计算机程序产品，并且在一些特定实施方案或方面中，涉及用于使交叉嵌入对齐的嵌入归一化的方法
、
系统和计算机程序产品
。

技术介绍

[0004]交叉嵌入对齐
(
例如，对齐来自两个或更多个不同嵌入空间的嵌入向量
)
在各种应用中是有用的
。
例如，跨语言和多语言自然语言处理
(NLP)
最近受到了关注
。
学习将来自多种语言的词嵌入向量映射到共享的跨语言词嵌入向量空间的迁移函数，能够实现词义的多语言建模和
NLP
>模型的跨语言迁移<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种计算机实现的方法，所述方法包括：用至少一个处理器接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；用至少一个处理器对所述至少一个嵌入集应用均值中心化；用至少一个处理器对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：用至少一个处理器分解所述至少一个嵌入集以提供左奇异向量
、
右奇异向量和对角矩阵；用至少一个处理器确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，用至少一个处理器确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则用至少一个处理器基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则用至少一个处理器确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用至少一个处理器用所述至少一个嵌入集
、
所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；以及用至少一个处理器对所述至少一个嵌入集应用长度归一化
。2.
如权利要求1所述的方法，其中应用均值中心化包括：用至少一个处理器基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及用至少一个处理器从所述一组嵌入向量中的每个嵌入向量中减去所述均值
。3.
如权利要求1所述的方法，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解
。4.
如权利要求1所述的方法，其中确定所述平均奇异值包括确定平均平方奇异值的平方根
。5.
如权利要求1所述的方法，其中应用长度归一化包括：用至少一个处理器将所述一组嵌入向量中的每个嵌入向量调整为具有2‑
范数
1。6.
如权利要求1所述的方法，所述方法还包括：用至少一个处理器对所述至少一个嵌入集迭代地重复应用均值中心化
、
应用谱归一化和应用长度归一化达可配置迭代次数
。7.
如权利要求1所述的方法，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，所述方法还包括：用至少一个处理器将所述第一嵌入集与所述第二嵌入集对齐
。8.
如权利要求1所述的方法，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量
。9.
如权利要求1所述的方法，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段
相关联的第二嵌入空间中的实体的第二嵌入集
。10.
如权利要求9所述的方法，其中所述实体包括商家
、
客户
、
发行方
、
收单方或支付网关中的至少一者
。11.
一种系统，所述系统包括：至少一个处理器；以及包括一个或多个指令的至少一个非瞬态计算机可读介质，所述一个或多个指令在由所述至少一个处理器执行时引导所述至少一个处理器：接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；对所述至少一个嵌入集应用均值中心化；对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：分解所述至少一个嵌入集以提供左奇异向量
、
右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置...

【专利技术属性】
技术研发人员：郑艳，M，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：