推荐系统、数据访问方法及装置、服务器、存储介质制造方法及图纸

本公开关于一种推荐系统、数据访问方法及装置、服务器、存储介质。一种推荐系统，所述系统包括参数服务器；所述参数服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。本实施例中通过在推荐系统中采用持久性内存，由于其延迟小有利于提升提高推荐系统的数据吞吐量，可以满足参数服务器大规模推荐时读写次数非对称场景下的数据访问；并且持久性内存的存储量较大，有利于降低存储成本。另外，本实施例的推荐系统采用持久性内存后，其数据恢复比以前从网络或者磁盘进行故障恢复时间能从小时级别降低到分钟级，使得故障重启时间大大减少，极大提高了系统可用性。

Recommended system, data access method and device, server, storage medium

【技术实现步骤摘要】
推荐系统、数据访问方法及装置、服务器、存储介质相关申请的交叉引用本申请要求于2019年8月3日提交的、名称为“推荐系统、数据访问方法及装置、电子设备、存储介质”、申请号为201910714160.5的中国专利技术专利申请的优先权，该申请的全文以引用的形式并入本文中用于所有目的。
本公开涉及视频编码
，尤其涉及一种推荐系统、数据访问方法及装置、服务器、存储介质。
技术介绍
目前，大规模分布式存储系统一直是各平台推荐系统的核心基石。推荐系统的各个服务包括用户和视频特征索引、推荐模型的训练和预估都对底层存储系统的容量、延迟和吞吐量等各个方面的扩展性有着极其严格的要求。尤其是随着用户和视频规模的快速增长、以及大规模深度模型在推荐系统中的广泛使用，增强存储系统扩展性的需求日益凸显出来。
技术实现思路
本公开提供一种推荐系统、数据访问方法及装置、服务器、存储介质，以解决相关技术中存在的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种推荐系统，所述系统包括参数服务器；所述参数服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。可选地，所述系统包括参数服务器；所述分布式索引服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。可选地，所述参数服务器采用键值存储系统存储数据；所述键值存储系统包括缓存池组件；所述缓存池组件被配置为执行获取数据访问请求的访问类型，并基于所述访问类型选择访问所述持久性内存或动态随机存取存储器DRAM缓存。可选地，针对在线预估服务的场景，所述缓存池组件被配置为执行在接收到预估模型发送的数据访问请求时，确定所述预估模型访问所述DRAM缓存。可选地，所述键值存储系统内采用非统一内容访问NUMA节点绑定方式，以使所述持久性内存的数据访问不跨越NUMA节点。可选地，所述键值存储系统内采用零拷贝ZeroCopy方式访问所述持久性内存和所述DRAM缓存。可选地，所述键值存储系统内对所述持久性内存的数据进行分块存储，以保证对各分块数据访问次数不超过设定次数。可选地，所述持久性内存内设置缓存器，被配置为缓存在高频写入低字节的场景下所写入的字节，以在写满后由PMKD将所述缓存器内的所有数据刷入所述持久性内存，其中高频写入低字节是指超过预先设置的频率下，每次写入低于设定数量字节的数据。可选地，所述推荐系统还包括图分布式训练系统；所述图分布式训练系统训练时所使用的用户关系图以及神经网络结构存储到所述参数服务器中的持久性内存中。根据本公开实施例的第二方面，提供一种推荐系统，所述系统包括参数服务器；所述分布式索引服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。可选地，所述分布式索引服务器采用键值存储系统存储数据；所述键值存储系统包括缓存池组件；所述缓存池组件被配置为执行获取数据访问请求的访问类型，并基于所述访问类型选择访问所述持久性内存或DRAM缓存。可选地，所述键值存储系统内采用非统一内容访问NUMA节点绑定方式，以使所述持久性内存的数据访问不跨越NUMA节点。可选地，所述键值存储系统内采用零拷贝ZeroCopy方式访问所述持久性内存和所述DRAM缓存。可选地，所述键值存储系统内对所述持久性内存的数据进行分块存储，以保证对各分块数据访问次数不超过设定次数。可选地，所述持久性内存内设置缓存器，被配置为缓存在高频写入低字节的场景下所写入的字节，以在写满后由PMKD将所述缓存器内的所有数据刷入所述持久性内存，其中高频写入低字节是指超过预先设置的频率下，每次写入低于设定数量字节的数据。根据本公开实施例的第三方面，提供一种数据访问方法，适用于设置有持久性内存的推荐系统，所述方法包括：获取所接收的数据访问请求的访问类型；根据所述访问类型确定访问所述持久性内存或动态随机存取存储器DRAM缓存。可选地，根据所述访问类型确定访问所述持久性内存或动态随机存取存储器DRAM缓存包括：若所述访问类型为访问索引值，则确定访问所述DRAM缓存；若所述访问类型为访问数据值，则确定访问所述持久性内存。可选地，根据所述访问类型确定访问所述持久性内存或动态随机存取存储器DRAM缓存包括：若确定出数据访问请求来自预估模型，则确定所述预估模型访问所述DRAM缓存。可选地，根据所述访问类型确定访问所述持久性内存或动态随机存取存储器DRAM缓存包括：若写入数据的字节数低于设定数量，则将所述字节写入到所述持久性内存内的缓存器内；响应于所述缓存器内已写满字节，将所述缓存器内的全部字节刷入所述持久性内存。根据本公开实施例的第四方面，提供一种数据访问装置，适用于设置有持久性内存的推荐系统，所述装置包括：访问类型获取模块，被配置为执行获取所接收的数据访问请求的访问类型；访问位置确定模块，被配置为执行根据所述访问类型确定访问所述持久性内存或动态随机存取存储器DRAM缓存。可选地，所述访问位置确定模块包括第一确定单元，所述第一确定单元被配置为执行在所述访问类型为访问索引值的情况下确定访问所述DRAM缓存，或在所述访问类型为访问数据值的情况下确定访问所述持久性内存。可选地，所述访问位置确定模块包括第二确定单元，所述第二确定单元被配置为执行在确定出数据访问请求来自预估模型的情况下确定所述预估模型访问所述DRAM缓存。可选地，所述访问位置确定模块包括：缓存写入单元，被配置为执行在写入数据的字节数低于设定数量的情况下，将所述字节写入到所述持久性内存内的缓存器内；内存写入单元，被配置为执行响应于所述缓存器内已写满字节，将所述缓存器内的全部字节刷入所述持久性内存。根据本公开实施例的第五方面，提供一种服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如第三方面任一项所述方法的步骤。根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如第三方面任一项所述方法的步骤。本公开的实施例提供的技术方案至少带来以下有益效果：本实施例中通过在推荐系统中采用持久性内存，由于其延迟小有利于提升提高推荐系统的数据吞吐量，可以满足参数服务器大规模推荐时读写次数非对称场景下的数据访问；并且持久性内存的存储量较大，有利于降低存储成本。另外，本实施例的推荐系统采用持久性内存后，其数据恢复比以前从网络或者磁盘进行故障恢复时间能从小时级别降低到分钟级，使得故障重启时间大大减少，极大提高了系统可用性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本本文档来自技高网...

【技术保护点】
1.一种推荐系统，其特征在于，所述系统包括参数服务器；所述参数服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。/n

【技术特征摘要】
20190803 CN 20191071416051.一种推荐系统，其特征在于，所述系统包括参数服务器；所述参数服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。


2.根据权利要求1所述的推荐系统，其特征在于，所述系统包括参数服务器；所述分布式索引服务器内设置有持久性内存；所述持久性内存被配置为满足读数据和写数据非对称场景下的数据访问。


3.根据权利要求1或2所述的推荐系统，其特征在于，所述参数服务器采用键值存储系统存储数据；所述键值存储系统包括缓存池组件；所述缓存池组件被配置为执行获取数据访问请求的访问类型，并基于所述访问类型选择访问所述持久性内存或动态随机存取存储器DRAM缓存。


4.根据权利要求3所述的推荐系统，其特征在于，针对在线预估服务的场景，所述缓存池组件被配置为执行在接收到预估模型发送的数据访问请求时，确定所述预估模型访问所述DRAM缓存。


5.根据权利要求3所述的推荐系统，其特征在于，所述键值存储系统内采用非统一内容访问NUMA节点绑定方式，以使所述持久性内存的数据...

【专利技术属性】
技术研发人员：任恺，王靖，徐万鸿，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11