一种基于相变存储器的资格迹计算器制造技术

本发明专利技术公开了一种基于相变存储器的资格迹计算器，包括相变存储器阵列和结果转换器两部分。利用相变存储器的多值特性，将资格迹数据以电导的形式存储在存储器单元中，与传统的二值存储方式相比能够有效降低存储器单元的数量，实现高密度存储；利用相变存储器的电导漂移效应自发地实现随时间的衰减运算，无需使用其他运算电路，有效降低了运算的硬件开销；而且资格迹数据的存储和衰减运算都在相变存储器内部进行，避免了因频繁搬运数据产生的巨大能量消耗。此外，通过调节结果转换器中的参数，资格迹的衰减速度能够被灵活调整，从而适用于不同需求的强化学习任务。本发明专利技术还能够突破传统计算架构中存储墙的限制，促进强化学习的进一步发展。的进一步发展。的进一步发展。

【技术实现步骤摘要】
一种基于相变存储器的资格迹计算器


[0001]本专利技术属于新型计算
，具体涉及一种基于相变存储器内在电导漂移效应的资格迹计算器。

技术介绍

[0002]强化学习算法由于其优秀的性能，近年来得到众多科研人员的关注，它能够基于任务环境的奖惩从而生成解决问题的策略，通过多轮迭代生成的优化策略能够有效地完成众多领域内的复杂任务，而且不需要来自外界的指导或监督。经过不断优化的强化学习算法目前已经能够在自动驾驶、游戏对战等领域取得接近甚至超越人类水平的表现。强化学习算法强大的功能离不开一种有效且常用的机制——资格迹的支持，它能够以随时间衰减的方式记录下强化学习中智能体在一轮训练中经历的状态轨迹，并且基于这个轨迹的幅度指导不同状态对应的策略的更新幅度，从而加速最佳策略的形成，降低强化学习训练过程的代价并且提升最终的训练效果。
[0003]传统计算平台上实现的资格迹是通过计算大量的指数衰减函数得到的，这不仅需要进行大量的乘法运算，还需要频繁地在计算器和存储器之间进行数据搬运，能量消耗十分高昂，从而严重限制了复杂强化学习算法的实现。相变存储器是一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相变存储器的资格迹计算器，包括可编程的相变存储器阵列和结果转换器两部分，其中，所述可编程的相变存储器阵列包括用于发生编程脉冲和读取器件电导的外围电路以及共地方式连接的相变存储器阵列单元；每个相变存储器阵列单元由一个相变存储器和一个晶体管组成，相变存储器的一端连接晶体管，另一端接地，由晶体管控制相变存储器与外围电路的通断；每个相变存储器以电导的形式存储一个对应的资格迹数据并自发进行衰减运算；所述结果转换器包括比较器和线性运算器，将从相变存储器阵列中读取出来的电导数据转化为资格迹数据。2.如权利要求1所述的资格迹计算器，其特征在于，所述结果转换器包括两个模拟比较器和一个线性运算器，从相变存储器阵列中读取的电导数据G首先被送入第一个模拟比较器与电导上限G
U
作比较，如果G>G
U
，那么对应的资格迹直接确定为E＝1；如果G<G
U
，那么将G送入第二个模拟比较器与电导下限G
D
继续比较；如果G<G
D
，那么对应的资格迹直接确定为E＝0；如果G>G
D
，将G送入线性运算器中进行转换：E＝k(G
‑
b)，其中b＝G
D
，k＝1/(G
U
‑
G
D
)；从而将从相变存储器阵列中读取出来的电导数据转化为范围是[0,1]的资...

【专利技术属性】
技术研发人员：杨玉超，路英明，
申请(专利权)人：北京大学，
类型：发明
国别省市：