扩散模型加速器及其全网络差分数据流计算方法技术

本发明专利技术提出一种扩散模型加速器，包含：片外内存，存储有上一时间步的原值；片上缓存，包含：权重缓存模块，与外片内存耦接，用于提取权重值进行缓存；输入特征缓存模块，用于读取输入差分激活值进行缓存；输出特征缓存模块，用于读取输出差分激活值进行缓存；处理引擎，包含：运算器阵列，用于读取缓存的该权重值与该输入差分激活值进行卷积乘法运算，生成该输出差分激活值；特殊处理模块，与该片外内存及该输出特征缓存模块耦接，用于从该片外内存获取该原值的符号位值；且利用该符号位值在该输出差分激活值上进行函数激活运算，生成增量输出值。其具有良好的加速效果，同时具有较高的能量效率和面积效率。

【技术实现步骤摘要】

本专利技术涉及神经网络加速器，尤其涉及一种扩散模型加速器及其全网络差分数据流计算方法。

技术介绍

1、扩散模型可以用于图像生成、修补(inpainting)、超分辨率重构(superresolution)等应用，取得了非常好的效果，因而取代了生成式对抗网络（gan），成为目前最常用的图像生成模型。扩散模型的大致思想如图1，从左到右是模型的训练过程，从右向左是图像的生成过程。扩散模型从一张完全的高斯噪声开始（图1最右侧），分为多步逐渐降噪，最终产生一张符合样本分布的图片。这种逐步降噪、缓慢细化的生成策略，使得扩散模型的生成效果优于生成式对抗网络（gan），因为生成式对抗网络需要在一步内产生图片。每个降噪步骤成为一个时间步（timestep）。用于图像生成的扩散模型的核心一般是某种骨干神经网络，最常见的结构是一个卷积神经网络。扩散模型将含噪声图片输入骨干网络，得到的输出经过一些后处理就能产生一张噪声略低的图片。多次反复用这个骨干网络降噪，就能生成目标图片。

2、扩散模型计算量大，导致延迟高、性能开销大。这种特性的主要原因是扩散模型需要反复运行同一个本文档来自技高网...

【技术保护点】

1.一种扩散模型加速器，其特征在于，包含：

2.根据权利要求1所述的扩散模型加速器，其特征在于，该处理引擎还包含：

3.根据权利要求1所述的扩散模型加速器，其特征在于，

4.根据权利要求1所述的扩散模型加速器，其特征在于，该运算器阵列划分为多组，每组包含高位宽运算器、低位宽运算器，该高位宽运算器与该低位宽运算器组内相连，且互相锁步执行；

5.根据权利要求1所述的扩散模型加速器，其特征在于，

6.根据权利要求5所述的扩散模型加速器，其特征在于，

7.根据权利要求6所述的扩散模型加速器，其特征在于，</p>

8.根据...

【技术特征摘要】

1.一种扩散模型加速器，其特征在于，包含：

2.根据权利要求1所述的扩散模型加速器，其特征在于，该处理引擎还包含：

3.根据权利要求1所述的扩散模型加速器，其特征在于，

4.根据权利要求1所述的扩散模型加速器，其特征在于，该运算器阵列划分为多组，每组包含高位宽运算器、低位宽运算器，该高位宽运算器与该低位宽运算器组内相连，且互相锁步执行；

5.根据权利要求1所述的扩散模型加速器，其特征在于，

6.根据权利要求5所述的扩散模型加速器，其特征在于，

7.根据权利要求6所述的扩散模型加速器，其特征在于，

8.根据权利要求7所述的扩散模型加速器，其特征在于，

9.根据权利要求2所述的扩散模型加速器，其特征...

【专利技术属性】
技术研发人员：陈云霁，孔维浩，郝一帆，郭崎，赵永威，杜子东，宋新开，邹沫，李夏青，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：