【技术实现步骤摘要】
【国外来华专利技术】由处理单元实现的方法、可读存储介质和处理单元
[0001]本公开要求2019年9月24日提交的申请号为62/904,953的美国临时申请的优先权,该申请通过引用全文并入本文。
[0002]本公开实施例涉及神经网络领域,尤其是一种由处理单元实现的方法、可读存储介质和处理单元。
技术介绍
[0003]在机器学习(ML)或深度学习(DL)方面,神经网络(NN)是一种非常强大的、能够大体上模仿人脑的学习方式的架构。深度神经网络(DNN)是神经网络的一个分类。多年来,DNN在计算机视觉、自然语言处理等领域取得了巨大的成功。一个典型的DNN模型可能有数百万个参数,这需要大量的计算和存储资源来进行模型的训练和部署。现代大规模并行处理设备的发展为DNN技术在各种应用中的落地提供了机遇。
[0004]十年前,通用图形处理器(GPGPU)被开发出来以加速科学计算。目前,GPU被广泛地应用于实施DNN技术。虽然GPU的资源利用率随着DNN的计算需求不断提高,但由于诸多原因,GPU的资源利用率基本上仍是次优的。例如,GPU的内存层次结构限制芯片内快速存储,而DNN需要快速访问海量数据。此外,GPU维护全面的通用指令集,这需要额外的资源,而DNN只需要少量的专用可编程操作。
技术实现思路
[0005]在一些实施例中,提供一种示例性的由处理单元实现的方法,处理单元包括命令解析器和至少一个核,命令解析器用于分配命令和计算任务,至少一个核与命令解析器耦合通信并用于处理所分配的计算任务,每个核包括卷积单元、池化单元、至 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种由处理单元实现的方法,所述处理单元包括命令解析器和至少一个核,所述命令解析器用于分配命令和计算任务,所述至少一个核与所述命令解析器耦合通信并用于处理所分配的计算任务,每个核包括卷积单元、池化单元、至少一个操作单元和定序器,所述定序器与所述卷积单元、所述池化单元和所述至少一个操作单元耦合通信并用于将所分配的计算任务的指令分配给所述卷积单元、池化单元和所述至少一个操作单元以供执行,所述方法包括:由所述卷积单元从所述至少一个操作单元的本地存储器读取数据;由所述卷积单元对所述数据执行卷积操作以生成特征映射;和由所述池化单元对所述特征映射执行池化操作。2.根据权利要求1所述的方法,其中,所述至少一个操作单元包括:矩阵乘法数据路径和元素操作单元,所述方法还包括:通过所述矩阵乘法数据路径对来自所述卷积单元的卷积数据执行矩阵乘法运算,以生成中间数据;和由所述元素操作单元执行EWOP以基于所述中间数据生成特征映射。3.根据权利要求1所述的方法,其中,所述池化单元包括:插值单元和池化数据路径,所述方法还包括:由所述插值单元对所述特征映射进行插值;和通过所述池化数据路径对插值后的特征映射执行池化操作。4.根据权利要求3所述的方法,还包括:由所述池化单元确定所述特征映射上的感兴趣区域。5.根据权利要求1所述的方法,还包括:由所述定序器监视神经网络任务的执行;和通过所述定序器并行化所述神经网络任务的多个子任务。6.根据权利要求1所述的方法,其中,每个核还包括:直接存储器访问单元,并且所述方法还包括:由所述直接存储器访问单元在每个核内以及在所述至少一个核之间传送数据;和由所述直接存储器访问单元与所述卷积单元、所述池化单元或所述至少一个操作单元的计算并行地输入或输出数据。7.根据权利要求6所述的方法,还包括:由所述直接存储器访问单元在图像形式和矩阵形式之间转换数据。8.根据权利要求1所述的方法,还包括:由所述池化单元将至少一部分的池化操作与所述卷积单元的卷积操作并行执行。9.根据权利要求1所述的方法,其中,每个核还包括标量单元和标量寄存器文件,所述方法还包括:由所述标量单元执行标量运算;和由所述标量单元在所述标量寄存器文件中写入标量运算的结果。10.一种非暂时性计算机可读存储介质,用于存储一组指令,所述一组指令由至少一个处理单元执行以使计算机执行方法,所述处理单元包括命令解析器和至少一个核,所述命令解析器用于分配命令和计算任务,所述至少一个核与所述命令解析器耦合通信并用于处
理所分配的计算任务,每个核包括卷积单元、池化单元、至少一个操作单元和定序器,所述定序器与所述卷积单元、所述池化单元和所述至少一个操作单元耦合通信并用于将所分配的计算任务的指令分配给所述卷积单元、所述池化单元和所述至少一个操作单元以供执行,所述方法包括:由所述卷积单元从所述至少一个操作单元的本地存储器读取数据;由所述卷积单元对所述数据执行卷积操作以生成特征映射;和由所述池化单元对所述...
【专利技术属性】
技术研发人员:焦阳,苏奕荣,
申请(专利权)人:阿里巴巴集团控股有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。