视觉图像处理器制造技术

本申请提供一种视觉图像处理器

【技术实现步骤摘要】
视觉图像处理器、神经网络处理器及图像卷积计算方法


[0001]本申请涉及图像处理领域，具体而言，涉及一种视觉图像处理器
、
神经网络处理器及图像卷积计算方法
。

技术介绍

[0002]NPU
（
Neural
‑
Network Processing Units
，神经网络处理器）中可以设置
VIP
（
Vision Image Processor
，视觉图像处理器），以对图像进行卷积计算
。
目前，一个
NPU
中可以设置多个
VIP
，不同
VIP
可以被配置为分别进行不同部分的卷积计算，以提高卷积计算的效率
。
[0003]但是，目前配置多个
VIP
的方式，是在任意
VIP
完成卷积计算后，将卷积计算结果输出至外部存储器（例如
DDR
（
Double Data Rate
，双倍速率同步动态随机存储器））中，以供其它
VIP
从
DDR
中获取在先
VIP
的卷积计算结果，并进行后续的卷积计算
。
[0004]同时，卷积计算时，会将输入图像与
kernel
（卷积核）进行卷积计算，而目前多
VIP
工作的方式是使不同
VIP
配置不同的卷积核，该方式计算时仍需从<br/>DDR
中获取全部输入图像数据，并将所有输入图像数据与
VIP
上配置的卷积核进行计算
。
[0005]在上述方式中，因
VIP
与
VIP
之间无法直接进行数据传输，这使得
VIP
卷积计算结果输出至
DDR、
从
DDR
中读取卷积计算结果以及每一
VIP
需获取全部输入图像数据进行卷积计算，此类过程均会影响
VIP
和
NPU
的计算效率
。

技术实现思路

[0006]有鉴于此，本申请旨在提供一种视觉图像处理器
、
神经网络处理器及图像卷积计算方法，以提高视觉图像处理器的卷积计算效率
。
[0007]第一方面，本申请实施例提供一种视觉图像处理器，包括：缓存器，用于存储图像数据；读取模块，与所述缓存器连接，所述读取模块用于从所述缓存器读取所述图像数据；协同模块，包括输入端和输出端，所述协同模块的输入端与所述读取模块连接；卷积模块，包括多个卷积单元，不同卷积单元用于进行不同的卷积计算；所述卷积模块与所述协同模块的输出端连接，用于基于预先配置的所述卷积单元对所述图像数据进行卷积计算，得到卷积计算结果；所述协同模块的输出端用于与后一视觉图像处理器连接；所述协同模块的输入端还用于与前一视觉图像处理器连接；所述卷积模块还与所述缓存器连接，所述卷积模块还用于将所述卷积计算结果存入所述缓存器；所述协同模块被配置为将所述图像数据输出至所述后一视觉图像处理器；所述协同模块还被配置为接收所述前一视觉图像处理器传来的图像数据
。
[0008]本申请实施例中，在视觉图像处理器中设置协同模块，协同模块可以使得该视觉图像处理器与其他视觉图像处理器连接，从而在各视觉图像处理器之间可以对图像数据进行传输共享
。
由此，在多个视觉图像处理器共同对图像数据进行卷积计算的场景中，图像数据可以直接在各视觉图像处理器之间传输，以及当前卷积层的卷积计算结果能够存储在缓
存器内，在进行下一卷积层的卷积计算时，当前卷积层的卷积计算结果能够作为图像数据，并通过协同模块在各视觉图像处理器之间进行共享，由此，卷积计算结果无需存入外部存储器，从而能够有效减少各视觉图像处理器将卷积计算结果存入外部存储器以及从外部存储器读取卷积计算结果和图像数据的这一过程执行所需的时间，由此，可以提高多视觉处理器共同对图像数据进行卷积计算时的效率
。
[0009]一实施例中，所述协同模块包括：控制单元
、
第一多路复用器和第二多路复用器；所述第一多路复用器的两个输入端分别与所述前一视觉图像处理器和所述读取模块连接；所述第一多路复用器的输出端与所述卷积模块连接；所述第二多路复用器的两个输入端分别与所述前一视觉图像处理器和所述读取模块连接；所述第二多路复用器的输出端与所述后一视觉图像处理器连接；所述控制单元分别与所述第一多路复用器和所述第二多路复用器的控制端连接，所述控制单元被配置为控制所述第一多路复用器的其中一个输入端与输出端导通；以及，所述控制单元还被配置为控制所述第二多路复用器的其中一个输入端与输出端导通
。
[0010]本申请实施例中，通过第一多路复用器，可以使得前一视觉图像处理器输出的图像数据被当前视觉图像处理器所接收并进行卷积计算，同时，将第一多路复用器的另一输入端与读取模块连接，使得当前视觉图像处理器自身的图像数据也能够被正常处理
。
同理，通过第二多路复用器，可以使得前一视觉图像处理器输出的图像数据能发送至后一视觉图像处理器，实现数据传输的功能
。
同时，将第二多路复用器的另一输入端与读取模块连接，使得当前视觉图像处理器自身的图像数据能够被正常处理以及传输至后一视觉图像处理器，从而实现数据共享的功能
。
由此，通过第一视觉图像处理器和第二视觉图像处理器，可以使得不同视觉图像处理器之间在进行卷积计算过程中能够共享图像数据，从而实现多个视觉图像处理器协同完成对同一卷积层的图像数据的卷积计算，无需将数据输出至外部存储器，提高卷积计算效率
。
[0011]一实施例中，所述图像数据和所述卷积计算结果包括二维图像切片数据；所述协同模块还包括：二维图像切片缓存单元，分别与所述读取模块
、
所述第一多路复用器和所述第二多路复用器连接；所述二维图像切片缓存单元用于对从所述缓存器读取的所述二维图像切片数据进行暂存
。
[0012]本申请实施例中，利用二维图像切片缓存单元，可以对二维图像切片数据进行缓存，减少卷积模块因卷积计算无法及时接收二维图像切片数据从而导致数据丢失的情况发生，提高多视觉图像处理器协同工作情况下的准确性
。
[0013]一实施例中，所述第一多路复用器的输出端通过第一数据总线与所述卷积模块连接；所述第二多路复用器的输出端通过第二数据总线与所述后一视觉图像处理器连接；所述二维图像切片缓存单元的输出端位宽为预设位宽；其中，所述预设位宽根据所述第一数据总线的位宽和所述第二数据总线的位宽确定
。
[0014]本申请实施例中，二维图像切片缓存单元的输出端位宽为预设位宽，由此，可以便于第一数据总线和第二数据总线的位宽增大提高传输速度，第一数据总线或第二数据总线位宽增大之后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视觉图像处理器，其特征在于，包括：缓存器，用于存储图像数据；读取模块，与所述缓存器连接，所述读取模块用于从所述缓存器读取所述图像数据；协同模块，包括输入端和输出端，所述协同模块的输入端与所述读取模块连接；卷积模块，包括多个卷积单元，不同卷积单元用于进行不同的卷积计算；所述卷积模块与所述协同模块的输出端连接，用于基于预先配置的所述卷积单元对所述图像数据进行卷积计算，得到卷积计算结果；所述协同模块的输出端用于与后一视觉图像处理器连接；所述协同模块的输入端还用于与前一视觉图像处理器连接；所述卷积模块还与所述缓存器连接，所述卷积模块还用于将所述卷积计算结果存入所述缓存器；所述协同模块被配置为将所述图像数据输出至所述后一视觉图像处理器；所述协同模块还被配置为接收所述前一视觉图像处理器传来的图像数据
。2.
根据权利要求1所述视觉图像处理器，其特征在于，所述协同模块包括：控制单元
、
第一多路复用器和第二多路复用器；所述第一多路复用器的两个输入端分别与所述前一视觉图像处理器和所述读取模块连接；所述第一多路复用器的输出端与所述卷积模块连接；所述第二多路复用器的两个输入端分别与所述前一视觉图像处理器和所述读取模块连接；所述第二多路复用器的输出端与所述后一视觉图像处理器连接；所述控制单元分别与所述第一多路复用器和所述第二多路复用器的控制端连接，所述控制单元被配置为控制所述第一多路复用器的其中一个输入端与输出端导通；以及，所述控制单元还被配置为控制所述第二多路复用器的其中一个输入端与输出端导通
。3.
根据权利要求2所述视觉图像处理器，其特征在于，所述图像数据和所述卷积计算结果包括二维图像切片数据；所述协同模块还包括：二维图像切片缓存单元，分别与所述读取模块
、
所述第一多路复用器和所述第二多路复用器连接；所述二维图像切片缓存单元用于对从所述缓存器读取的所述二维图像切片数据进行暂存
。4.
根据权利要求3所述的视觉图像处理器，其特征在于，所述第一多路复用器的输出端通过第一数据总线与所述卷积模块连接；所述第二多路复用器的输出端通过第二数据总线与所述后一视觉图像处理器连接；所述二维图像切片缓存单元的输出端位宽为预设位宽；其中，所述预设位宽根据所述第一数据总线的位宽和所述第二数据总线的位宽确定
。5.
根据权利要求3所述的视觉图像处理器，其特征在于，所述控制单元还与所述二维图像切片缓存单元连接，所述控制单元还被配置为对所述二维图像切片数据进行第一标记或第二标记；所述第一标记表征所述二维图像切片数据首次被所述读取模块读出；所述第二标记表征所述二维图像切片数据最后一次被所述读取模块读出，且将不再被所述读取模块连接的后一视觉图像处理器读出
。6.
根据权利要求3所述的视觉图像处理器，其特征在于，所述控制单元被配置为响应于所述二维图像切片数据存入所述二维图像切片缓存单元，接收所述前一视觉图像处理器发
送的第一信号；以及所述控制单元还被配置为响应于所述二维图像切片数据从所述二维图像切片缓存单元读出，向所述前一视觉图像处理器发送第二信号；所述第一信号和第二信号的数量之差表征所述二维图像切片缓存单元中未被处理的二维图像切片数据数量
。7.
根据权利要求2所述的视觉图像处理器，其特征在于，所述协同模块还包括：第一寄存器和第二寄存器；所述第一寄存器分别与所述第一多路复用器的一个输入端和所述前一视觉图像处理器连接；所述第一寄存器用于调整所述前一视觉图像处理器输出数据的时序；所述第二寄存器分别与所述第二多路复用器和所述后一视觉图像处理器；所述第二寄存器用于调整输出至所述后一视觉图像处理器的数据的时序
。8.
根据权利要求1‑7任一项所述视觉图像处理器，其特征在于，所述视觉图像处理器还包括：先入先出存储器，所述先入先出存储器分别与所述前一视觉图像处理器和所述协同模块连接；第三寄存器，所述第三寄存器的输入端与所述协同模块连接，所述第三寄存器的输入端输出端与所述后一视觉图像处理器连接
。9.
一种图像卷积计算方法，其特征在于，应用于如权利要求1‑8任一项所述的视觉图像处理器，所述视觉图像处理器被配置为通过协同模块与其他视觉图像处理器连接；所述图像卷积计算方法包括：获取图像数据；所述图像数据从所述缓存器中获取或从前一视觉图像处理器获取；基于预先配置的卷积单元对所述图像数据进行卷积计算，得到卷积计算结果；响应于下一卷积层的卷积计算，将所述卷积计算结果作为新的图像数据输出至后一视觉图像处理器
。10.
一种神经网络处理器，其特征在于，包括：多个如权利要求1‑8任一项所述的视觉图像处理器；各所述视觉图像处理器之间通过各自的协同模块相互连接；控制器，分别与各所述视觉图像处理器连接；所述控制器用于控制多个所述视觉图像处理器之间协同对所述图像数据进行卷积计算；所述控制器被配置为基于预设分配规...

【专利技术属性】
技术研发人员：李翰雯，罗文杰，吴雪松，樊鹏，章伟明，游青艳，竺加毅，
申请(专利权)人：芯原微电子上海股份有限公司，
类型：发明
国别省市：