基于RRAM的深度学习推荐模型容错生成方法及设备技术

本发明专利技术提供一种基于RRAM的深度学习推荐模型容错生成方法及设备，所述方法包括：应用于DLRM架构；所述DLRM架构包括内核，RRAM计算单元，稀疏索引数组基指针的寄存器，稀疏索引数组的寄存器，存储器；所述方法包括：在相同的方差下，采用不同的误差矩阵训练RRAM模型，获取所述RRAM模型的准确率，并求得平均准确率；在所述平均准确率收敛或不再继续升高时，获取在该方差时的误差下鲁棒性最强的RRAM模型；多次调整方差，得到每个方差下，鲁棒性最强的RRAM模型；根据通过神经网络映射之后的低维向量的重要性和电阻分布，交换所述低维向量映射到存储器。本发明专利技术可以针对RV和SF实现计紧耦合EL特性的容错方法。EL特性的容错方法。EL特性的容错方法。

【技术实现步骤摘要】
基于RRAM的深度学习推荐模型容错生成方法及设备


[0001]本专利技术涉及电阻随机存取存储器(RRAM)
，特别是涉及RRAM的深度学习推荐模型


技术介绍

[0002]电阻随机存取存储器(RRAM)是一种新兴的非易失性存储器，也称为忆阻器。RRAM单元为无源双极器件，通常采用金属
‑
绝缘体
‑
金属结构。具有电阻开关特性的中间绝缘体可以由各种材料制成，如HfO2、TiOx、NiO等。
[0003]电阻开关特性来自两个电极之间的导电薄膜。当向电池施加一定的编程电压时，电池会增长，并将两个电极连接在一起，从而降低电池电阻并使其导电。该过程称为SET操作，将RRAM单元从高电阻状态(HRS，代表“0”)调到低电阻状态(LRS，代表“1”)。因此，破坏两个电极之间缝隙的反向操作称为RESET操作。SET和RESET都被视为对RRAM的写入操作。现有技术中，RRAM单元可以以交叉杆结构组织，以获得更高的区域效率。当用作存储设备时，行解码器根据地址打开一条字线，并发送读取电压，通过传感放大器从选定的位线读取数据。
[0004]利用纵横制结构和电阻开关特性，RRAM在内存计算中存在巨大的潜力。首先，我们可以将n
×
n矩阵存储在n
×
n的电阻中。然后，所有的横向的线被同时打开，我们就以向量形式设置输入电压。因此，纵向的线的输出电流是矩阵向量乘法的结果。标量乘法是通过电压电导乘法来完成的，其结果由纵向的线内的所有电流累积而成。由于RRAM电导只能为正，因此需要两个横杆来表示具有正参数和负参数的应用矩阵。
[0005]卷积神经网络(CNN)的基本算子是向量的乘加(MAC)运算，RRAM的存内计算能有效加速CNN。输入向量经过ADC转为电压V，施加到水平方向的wordline上，权值存储在RRAM Crossbar的存储单元，根据Kirchhoff's Law，在垂直方向的bitline上得到电流I，电流I经过采样并保持(S&H)和数模转换(ADC)转为数字信号，再经过移位相加(S&A)得到最终的结果。图1展示了具体的向量乘加过程，输入向量[2，1，3]转为2进制，权值[1，2，4]转为2进制，并存储在RRAM crossbar，在第一个周期得到[1，1，0]，第二周期得到[1，0，1]，经过S&A，最终得到[1，0，0，0，0]＝24＝16。
[0006]RRAM凭借存储量大、快速读写、计算强度高的特点，被广泛用于神经网络加速器。然而，RRAM电阻具有不可靠性，导致在利用神经网络进行推理的过程中准确率下降较多，常见的误差有电阻误差(RV)、卡在错误位置(SF)、电阻压降(IRDrop)、热噪声、随机电噪声等。
[0007]RRAM有各种误差，主要研究RV和SF。首先对于RV，我们不能给每个存储单元编程准确的值，因此，存在电阻误差，分为端到端的变化(DDV)和不同周期间的变化(CCV)，前者是RRAM crossbar中的每个存储单元写入的真实值与目标值之间的误差，后者是多个周期之间，写入相同的目标值，也会和真实值之间存在误差。DDV服从正态分布，如下面公式所示，其中Wpj表示想要写入存储单元的理想电导值，tqj表示实际写入的电导值，N表示服从均值为0，方差为σ2的正态分布。
[0008]RRAM电阻误差公式：
[0009]另一个降低RRAM设备性能的常见问题是SF，由于制造过程中引入的缺陷，一些存储单元无法被编程，总是卡在高阻态(HRS)或低阻态(LRS)，分别称为SF1和SF0。就电导而言，HRS和LRS分别是低电导和高电导。当小权值映射到SF1时，误差较小，而映射到SF0时，误差较大；反之，大权值映射到SF1时，误差较大，而映射到SF0时，误差较小。之前的相关工作已经测试出SF1和SF0在RRAM上的比例分别为9.04％和1.75％。
[0010]随着数据爆炸式增长，深度学习推荐模型(DLRM)，在广告、社交关系、信息推荐等方面的应用越来越广泛，更加准确地抓住用户的注意力，例如YouTube推荐系统中的深度神经网络，个人推荐系统中的深度推荐模型等。DLRM主要由embedding lookup(EL)、特征交互(拼接、内积、外积等)、MLP等组成，用户和商品等的特征经过EL转化为低维密集的特征矩阵，有些模型中，用户的特征用bottom
‑
MLP处理，用户和商品的embedding向量进行拼接、内积、外积等计算，形成丰富的特征空间，最后经过top
‑
MLP转化为分类问题，如果是点击率(CTR)问题，就转化为二分类，如果是推荐排序问题，就转化为各类别的可能性大小降序排列。
[0011]Embedding Lookup(EL)是将离散、高维的特征向量转化为密集的、低维的特征向量，是访存密集型的算子，包含embedding聚合和缩放，前者是按索引快速找目标embedding向量，后者将找到的目标embedding向量进行求和、加权求和或注意力机制等合并操作。RRAM存储量大、快速读写和存内计算的优点，非常适合加速EL的计算。而且RRAM crossbar不能同时激活多行，也适合embedding聚合的稀疏性。假设用户1的浏览记录是[1，(1，2，4，6)，(3，5)]，表示用户1浏览过商品1，2，4，6，算法推荐了商品3和5，分别是用户点击和未点击的商品，标签为1和0，embedding聚合和缩放操作如图2，用户1和2分别点击了(1，2，4，6)和(3，4，5，6)商品，然后在列方向求和，得到二者的缩放后的embedding向量。Embedding表存入RRAM crossbar中，在需要激活的行输入高电压，在bitline方向缩放，输出缩放后的embedding向量。

技术实现思路

[0012]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于RRAM的深度学习推荐模型容错生成方法及设备，可以针对RV和SF实现计紧耦合EL特性的容错。
[0013]为实现上述目的及其他相关目的，本专利技术提供一种基于RRAM的深度学习推荐模型容错生成方法，应用于DLRM架构；所述DLRM架构包括内核，RRAM计算单元，稀疏索引数组基指针的寄存器，稀疏索引数组的寄存器，存储器；所述方法包括：在相同的方差下，采用不同的误差矩阵训练RRAM模型，获取所述RRAM模型的准确率，并求得平均准确率；在所述平均准确率收敛或不再继续升高时，获取在该方差时的误差下鲁棒性最强的RRAM模型；多次调整方差，得到每个方差下，鲁棒性最强的RRAM模型；根据通过神经网络映射之后的低维向量的重要性和电阻分布，交换所述低维向量映射到存储器。
[0014]于本专利技术的一实施例中，所述根据通过神经网络映射之后的低维向量的重要性和电阻分布，调换通过神经网络映射之后的低维向量映射到存储器包括：分别计算低维向量表中每个低维向量的最小绝对偏差的和emb_L1_su本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RRAM的深度学习推荐模型容错生成方法，其特征在于：应用于DLRM架构；所述DLRM架构包括内核，RRAM计算单元，稀疏索引数组基指针的寄存器，稀疏索引数组的寄存器，存储器；所述方法包括：在相同的方差下，采用不同的误差矩阵训练RRAM模型，获取所述RRAM模型的准确率，并求得平均准确率；在所述平均准确率收敛或不再继续升高时，获取在该方差时的误差下鲁棒性最强的RRAM模型；多次调整方差，得到每个方差下，鲁棒性最强的RRAM模型；根据通过神经网络映射之后的低维向量的重要性和电阻分布，交换所述低维向量映射到存储器。2.根据权利要求1所述的基于RRAM的深度学习推荐模型容错生成方法，其特征在于：所述根据通过神经网络映射之后的低维向量的重要性和电阻分布，调换通过神经网络映射之后的低维向量映射到存储器包括：分别计算低维向量表中每个低维向量的最小绝对偏差的和emb_L1_sum以及电阻误差矩阵的最小绝对偏差的和var_L1_sum；分别对各最小绝对偏差的和emb_L1_sum和最小绝对偏差的和var_L1_sum降序排列，并基于索引，交换符合预设条件的低维向量到存储器。3.根据权利要求2所述的基于RRAM的深度学习推荐模型容错生成方法，其特征在于：所述基于索引，交换符合预设条件的低维向量到存储器包括：分别获取最小绝对偏差的和emb_L1_sum的top
‑
k行和最小绝对偏差的和var_L1_sum的top
‑
k行；若在最小绝对偏差的和emb_L1_sum的top
‑
k行的索引中存在最小绝对偏差的和var_L1_sum的top
‑
k行，...

【专利技术属性】
技术研发人员：杨立男，张选，宋卓然，景乃锋，梁晓峣，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：