一种基于光电计算阵列的卷积运算加速器及其方法技术

本发明专利技术公开了一种基于光电计算阵列的卷积运算加速器及其方法。卷积运算加速器包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵展开成列向量的形式并组成新的权重矩阵传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加，并最终输出计算结果。本发明专利技术的卷积运算加速器拥有巨大的计算能效，在相同操作数的情况下，比传统计算器件更为节省功耗。

A Convolutional Operational Accelerator Based on Photoelectric Computing Array and Its Method

【技术实现步骤摘要】
一种基于光电计算阵列的卷积运算加速器及其方法
本专利技术涉及卷积运算加速器，尤其涉及一种基于光电计算阵列的卷积运算加速器及其方法。
技术介绍
卷积神经网络在机器视觉、图像分类识别等多个领域得到了广泛的应用，并且取得了很好的效果。其中卷积操作是卷积神经网络中主要的运算模式。在卷积操作中，由于参数众多，而传统器件对器件面积和器件功耗的限制，不能将整个卷积运算展开，所以经常需要对一个卷积运算进行拆分多次进行计算，导致传统器件计算能力很有限。光电计算阵列和传统器件相比，在相同的器件面积下可以集成更为丰富的光电计算单元，并且器件的运算功耗很低，所以如果使用光电计算阵列来计算卷积，一方面可以获得极大的计算力，提高运算吞吐率，另一方面能极大提高计算能效。
技术实现思路
本专利技术的目的在于克服传统器件卷积计算能力的不足，提供一种高计算力、高计算能效的基于光电计算阵列的卷积运算加速器。本专利技术的另外一个目的是提供该卷积运算加速器的运算方法。本专利技术装置采用的技术方案如下：一种基于光电计算阵列的卷积运算加速器，包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵展开成列向量的形式并组成新的权重矩阵传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加，并最终输出计算结果。进一步地，所述光电计算阵列由多个光电计算单元周期性排列组成，每个光电计算单元包括发光单元和计算单元，发光单元发出的光入射到计算单元中；每个计算单元包括载流子控制区、耦合区、以及光生载流子收集区和读出区；所述载流子控制区用于控制并调制光生载流子收集区和读出区内的载流子；所述光生载流子收集区和读出区中的收集区用于吸收发光单元发射的光子并收集产生的光生载流子；所述载流子控制区或者光生载流子收集区和读出区中的读出区与电信号连接，读出区用于输出被所述光生载流子和所述电信号作用后的载流子；所述耦合区连接收集区和读出区。本专利技术一种基于光电计算阵列的卷积运算加速器的运算方法，包括如下步骤：所述数据分发模块一方面从数据存储模块中读取至少两个权重矩阵，并将每一个权重矩阵都展开成列向量的形式，然后将展开的权重列向量组成新的权重矩阵发送给光电计算阵列；另一方面将从数据存储模块中读取的每一个激活值数据按二进制拆分成单比特的形式，然后将拆分后的多个单比特数据依次发送给光电计算阵列；所述光电计算阵列接收数据分发模块传递的权重矩阵后，先将权重矩阵存储在光电计算阵列中，然后在收到数据分发模块发送的单比特数据后，对单个激活值和权重矩阵直接进行乘法运算；接着将乘法运算结果转化为数字信号后输入所述累加器模块中进行移位累加；最后输出计算结果。本专利技术采用光电计算单元取代传统硬件的乘法计算单元，在相同芯片面积的条件下，本专利技术光电计算阵列可以集成更丰富的光电计算单元，拥有更为强大的计算力。因此，本专利技术的卷积运算加速器拥有巨大的计算能效，在相同操作数的情况下，比传统计算器件更为节省功耗。附图说明图1是计算单元的多功能区框图。图2是光电计算阵列的结构示意图，其中，1-发光阵列，2-计算阵列。图3是实施例1计算单元结构的(a)截面图和(b)立体图。图4是实施例2计算单元结构的(a)截面图和(b)立体图。图5是实施例3计算单元的(a)结构示意图和(b)多功能区示意图。图6是实施例4基于光电计算阵列的卷积运算加速器的整体架构图。图7是实施例4的卷积运算加速器的卷积计算流程图。具体实施方式本专利技术光电计算单元中的计算单元为包括三大功能区的多功能区结构，如图1所示，三大功能区为：载流子控制区、耦合区、光生载流子收集区和读出区，具体功能分别如下：载流子控制区：负责控制并调制光电计算单元内的载流子，并且作为计算单元的电输入端口，输入其中一个运算量作为电输入量；或者只控制并调制计算单元内的载流子，通过其他区域输入电输入量。耦合区：负责连接光生载流子收集区和读出区，使得光子入射产生的光生载流子作用于光电计算单元内的载流子，形成运算关系。光生载流子收集区和读出区：其中收集区负责吸收入射的光子并收集产生的光生载流子，并且作为计算单元的光输入端口，输入其中一个运算量作为光输入量；读出区可以作为计算单元的电输入端口，输入其中一个运算量作为电输入量，并且作为计算单元的输出端口，输出被光输入量和电输入量作用后的载流子作为单元输出量；或者通过其他区域输入电输入量，读出区只作为计算单元的输出端口，输出被光输入量和电输入量作用后的载流子，作为单元输出量。发光单元发出的光作为入射计算单元光生载流子收集和读出区的光子，参与运算。光电计算阵列包括发光阵列1和计算阵列2，结构如图2所示。发光阵列1由多个发光单元周期性排列组成，计算阵列2由多个计算单元周期性排列组成。实施例1如图3所示，本实施例的计算单元包括：作为载流子控制区的控制栅极、作为耦合区的电荷耦合层，以及作为光生载流子收集区和读出区的P型衬底，P型衬底中分为左侧收集区和右侧读出区，其中右侧读出区中包括浅槽隔离、通过离子注入形成的N型源端和N型漏端。浅槽隔离位于半导体衬底中部、收集区和读出区的中间，浅槽隔离通过刻蚀并填充入二氧化硅来形成，以用于隔离收集区和读出区的电信号。N型源端位于读出区内靠近底层介质层的一侧，通过离子注入法掺杂而形成。N型漏端位于半导体衬底中靠近底层介质层与N型源端相对的另一侧，同样通过离子注入法进行掺杂法形成。应理解，本文中提及的左侧、右侧、上方以及下方只代表在通过图中所示视角观察下的相对位置随观察视角变化而变化，并不理解为对具体结构的限制。在收集区的衬底上施加一个电压范围为负压的脉冲，或在控制栅上施加一个电压范围为正压的脉冲，使得收集区衬底中产生用于光电子收集的耗尽层，并通过右侧读出区读出收集的光电子数量，作为光输入端的输入量。读出时，在控制栅极上施加一正电压，使N型源端和收集区N型漏端间形成导电沟道，再通过在N型源端和N型漏端间施加一个偏置脉冲电压，使得导电沟道内的电子加速形成源漏之间的电流。源漏之间沟道内形成电流的载流子，受到控制栅电压、源漏间电压和收集区收集的光电子数量共同作用，作为被光输入量和电输入量共同作用后的电子，以电流的形式进行输出，其中控制栅电压、源漏间电压可以作为器件的电输入量，光电子数量则为器件的光输入量。耦合区的电荷耦合层用于连接收集区和读出区，使收集区衬底内耗尽区开始收集光电子以后，收集区衬底表面势就会受到收集的光电子数量影响；通过电荷耦合层的连接，使得读出区半导体衬底表面势受到收集区半导体衬底表面势影响，进而影响读出区源漏间电流大小，从而通过判断读出区源漏间电流来读出收集区收集的光电子数量；载流子控制区的控制栅，用以在其上施加一个脉冲电压，使得在P型半导体衬底读出区中产生用于激发光电子的耗尽区，同时也可以作为电输入端，输入其中一位运算量。此外，P型半导体衬底和电荷耦合层之间存在用于隔离的底层介质层；电荷耦合层和控制栅之间亦存在用于隔离的顶层介质层。实施例2如图4所示，本实施例的计算单元包括：作为本文档来自技高网...

【技术保护点】
1.一种基于光电计算阵列的卷积运算加速器，其特征在于，包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵展开成列向量的形式并组成新的权重矩阵传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加，并最终输出计算结果。

【技术特征摘要】
1.一种基于光电计算阵列的卷积运算加速器，其特征在于，包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵展开成列向量的形式并组成新的权重矩阵传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加，并最终输出计算结果。2.根据权利要求1所述的一种基于光电计算阵列的卷积运算加速器，其特征在于，所述光电计算阵列由多个光电计算单元周期性排列组成，每个光电计算单元包括发光单元和计算单元，发光单元发出的光入射到计算单元中；每个计算单元包括载流子控制区、耦合区、以及光生载流子收集区和读出区；所述载流子控制区用于控制并调制光生载流子收集区和读出区内的载流子；所述光生载流子收集区和读出区中的收集...

【专利技术属性】
技术研发人员：王瑶，孙华庆，王宇宣，
申请(专利权)人：南京惟心光电系统有限公司，
类型：发明
国别省市：江苏,32