【技术实现步骤摘要】
面向推荐系统矩阵分解方法的异构多XPU机器学习系统
本专利技术涉及多异构处理器的协同计算
，是一个面向推荐系统矩阵分解方法的异构多XPU机器学习系统。
技术介绍
在推荐系统中，协同过滤（CollaborativeFiltering）技术是一种应用非常广泛的技术，其核心思想是，用户在过去一个时间邻域内对某个商品感兴趣，那么在将来的一个时间邻域内同样也会感兴趣。矩阵分解（MatrixFactorization，MF）就是一种基于模型的协同过滤技术。但当前的MF算法通常针对同构处理器或者小规模异构处理器优化。如多核CPU上的并行MF算法：HogWild!、DSGD、FPSGD、MLGF-MF等，GPU上的并行MF算法：cuMF_SGD，CPU-GPU上的并行MF算法：HSGD。当前的优化方法中，同构处理器优化忽略了系统中其他计算资源的存在，硬件资源利用率较低。而小规模异构处理器优化则仅仅只考虑了1个CPU和1个GPU的情况。在小规模情况下，通过数学证明和反复实验发现，通信开销远远低于计算开销，不影响系统性能。然而，整...
【技术保护点】
1.面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，其特征在于所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。/n
【技术特征摘要】
1.面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，其特征在于所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。
2.如权利要求1所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于所述的XPU工作器包括多核CPU工作器和GPU/FPGA工作器，CPU工作器分别与参数服务器和GPU/FPGA工作器连接。
3.如权利要求1所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于不同的XPU工作器，分别与参数服务器和CPU工作器连接。
4.如权利要求1-3之一所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于所述的参数服务器包括同步SGD优化器，在同一轮训练中，XPU工作器之间采用异步SGD优化器计算和局部更新私有参数，在同一轮训练完成前，参数服务器采用同步SGD优化器计算所有XPU工作器的私有参数，并更新生成全局参数。
5.如权利要求1-3之一所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于所述的参数服务器和XPU工作器上均设有COMM模块，提供量化参数功能，将10分制以内的参数压缩为FP8，将100分以内的参数压缩为FP16，以降低数据的传输量。
6.如权利要求1-3之一所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于所述的XPU工作器在计算参数时，标记特征为非零且变化超过设定阈值的参数，通信时只传输标记的参数。
7.如权利要求1所述的面向推荐系统矩阵分解方法的异构多XPU机器学习系统，其特征在于执行过程包括如下步骤：
S1，XPU工作器将自身XPU信息传给参数服务器，参数服务器调...
【专利技术属性】
技术研发人员：何水兵，黄一智，刘彦，银燕龙，杨弢，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。