嵌入参数缓存的方法、装置、设备及存储介质制造方法及图纸

本申请提供的一种嵌入参数缓存的方法、装置、设备及存储介质，通过获取至少一个嵌入表的嵌入参数至CPU内存中，将所述嵌入参数的部分热点存储至GPU显存中；基于霍夫曼编码的编码机制，将所述至少一个嵌入表的特征ID编码生成具有统一格式、全局唯一的全局键；采用全局嵌入缓存表为GPU缓存的存储形式，所述全局嵌入缓存表是以所述全局键为键，索引所述嵌入表；采用统一索引技术，将预设数量的CPU内存中的索引查询卸载至GPU显存中；读写缓存时，将嵌入参数的拷贝操作从缓存的索引操作中解耦。采用本技术方案，能够解决嵌入式的访问需求以及缓解模型预估时的性能问题。缓解模型预估时的性能问题。缓解模型预估时的性能问题。

【技术实现步骤摘要】
嵌入参数缓存的方法、装置、设备及存储介质


[0001]本申请涉及推荐
，尤其涉及一种嵌入参数缓存的方法、装置、设备及存储介质。

技术介绍

[0002]推荐系统从海量内容中筛选信息，并为用户生成定制化的信息流。
[0003]推荐系统的推荐质量由两方面决定。从算法角度，模型预测精度的提高可以更准确地预测用户兴趣。与之正交的，从系统角度，一个具有低延迟、高吞吐的系统可以在服务水平协议的相同要求下，让同样的模型检查更多的候选内容，从而更有可能找到用户的兴趣。
[0004]新兴的深度学习推荐模型(Deep Learning Recommendation Model,DLRM)几乎应用在了当今所有的推荐系统中。DLRM通常包含两部分结构，占用百GB内存以上的超大嵌入层和约百MB内存的全连接层。其中，嵌入层包含几个嵌入表，将高维类别特征输入(ID)映射到潜在的低维稠密向量表示(称为嵌入向量)，这些嵌入向量包含维度(称为嵌入维度)数目个参数(称为嵌入参数)。需要注意的是，不同嵌入表的大小、嵌入维度通常各不相同。
>[0005]由于G本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种嵌入参数缓存的方法，其特征在于，所述方法包括：获取至少一个嵌入表的嵌入参数至CPU内存中，将所述嵌入参数的部分热点存储至GPU显存中；基于霍夫曼编码的编码机制，将所述至少一个嵌入表的特征ID编码生成具有统一格式、全局唯一的全局键；采用全局嵌入缓存表为GPU缓存的存储形式，所述全局嵌入缓存表是以所述全局键为键，索引所述嵌入表；采用统一索引技术，将预设数量的CPU内存中的索引查询卸载至GPU显存中；读写缓存时，将嵌入参数的拷贝操作从缓存的索引操作中解耦。2.根据权利要求1所述的方法，其特征在于，基于霍夫曼编码的编码机制，将所述至少一个嵌入表的特征ID编码生成具有统一格式、全局唯一的全局键，包括：对于第TableID个嵌入表的第FeatureID个特征，根据以下公式得到对应的所述全局键：global key(Table
ID
，Feature
ID
)＝huffman(Table
ID
)*2
n
‑
m
+hash(Feature
ID
)％2
n
‑
m
m＝比特长度(huffman(Table
ID
))其中，m表示TableID经过霍夫曼编码后的比特长度，n表示全局键的比特长度，huffman表示霍夫曼编码映射，global key(TableID，FeatureID)表示经过所述编码机制编码后的全局键，％代表取模运算，hash代表哈希运算。3.根据权利要求1所述的方法，其特征在于，所述全局嵌入缓存表由全局索引、显存池两部分构成：所述全局索引使用字典数据结构维护所述全局键到对应的嵌入参数存储地址的映射关系，其中嵌入参数存储地址是GPU显存地址或CPU内存地址；显存池管理显存空间的分配释放，其包括与嵌入表等数目的子池，每个子池包含若干对应嵌入表维度的若干参数。4.根据权利要求3所述的方法，其特征在于，所述全局嵌入缓存表为表内每个所述全局键维护了一个版本号，当新的嵌入参数加入缓存或已缓存的嵌入参数被用户访问时，对应的所述全局键的版本号被更新。5.根据权利要求4所述的方法，其特征在于，所述版本号被用于控制缓存淘汰：所述系统利用所述版本号，实现近似最近最少用的缓存淘汰算法。所述系统在显存使用量超过预设阈值t1时，扫描所述全局索引，根据所述版本号持续地将最久未被使用的嵌入参数缓存释放，归还至所述显存池中，直至显存使用量低于另一预设阈值t2，其中0<t2<t1<1。6.根据权利要求4所述的方法，其特征在于，所述版本号还被用于实现乐观并发控制协议：在访问被缓存的嵌入参数之前首先读取版本号的值为ver1，在读取完嵌入参数后再次读取版本号的值为ver2，如果ver2＝ver...

【专利技术属性】
技术研发人员：陆游游，舒继武，谢旻晖，
申请(专利权)人：清华大学，
类型：发明
国别省市：