数据运算的加速方法、装置、终端及可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据运算的加速方法、装置、终端及可读存储介质，方法包括：读取各存储单元内待运算的数据组，将读取的数据组缓存至GPU，调用GPU对缓存的数据组进行并行运算，其中，上述单个存储单元中已存储待运算的各个矩阵数据中，位于相同位置的数据元素构成的数据组。相较于现有技术而言，本发明专利技术实施例在运算过程中，减少了运算过程中数据读取的次数，同时还能够有效的提升待运算数据的运算速度，另外由于本发明专利技术实施例将运算过程从CPU转移到了GPU上，因此还可以降低CPU的占用率，保障终端的正常运行。

【技术实现步骤摘要】
数据运算的加速方法、装置、终端及可读存储介质
本专利技术涉及人工智能
，尤其涉及一种数据运算的加速方法、装置、终端及可读存储介质。
技术介绍
随着AI(ArtificialIntelligence，人工智能)技术的飞速发展，许多AI项目开始在终端上落地。目前，大多数的AI项目是基于前馈神经网络的，前馈神经网络有一个输入层和一个输出层，从输入层开始，经过一系列的计算层，最后产生输出。在计算过程中，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层.各层间没有反馈，因此前馈神经网络的性能瓶颈主要集中在各个层的运算上。目前，业界主要是基于CPU(CentralProcessingUnit，中央处理器)来实现各个层的运算，但对于数据规模较大、网络模型较复杂的高计算强度场景，利用CPU则运算速度比较慢，并且运算过程还会大量的占用CPU，影响终端的正常运行。
技术实现思路
本专利技术实施例的主要目的在于提供一种数据运算的加速方法、装置、终端及可读存储介质，可以解决现有技术中前馈神经网络的运算过程速度较慢，且会影响终端正常运行的技术问题。为实现上述目的，本专利技术实施例第一方面提本文档来自技高网...

【技术保护点】
1.一种数据运算的加速方法，其特征在于，所述方法包括：读取各存储单元内待运算的数据组，单个所述存储单元中已存储待运算的各个矩阵数据中，位于相同位置的数据元素构成的数据组；将读取的所述数据组缓存至图形处理器；调用所述图形处理器对所述数据组进行并行运算。

【技术特征摘要】
1.一种数据运算的加速方法，其特征在于，所述方法包括：读取各存储单元内待运算的数据组，单个所述存储单元中已存储待运算的各个矩阵数据中，位于相同位置的数据元素构成的数据组；将读取的所述数据组缓存至图形处理器；调用所述图形处理器对所述数据组进行并行运算。2.如权利要求1所述的方法，其特征在于，所述读取各存储单元内待运算的数据组的步骤之前还包括：读取前馈神经网络的各个数据通道中的矩阵数据；将各个矩阵数据中位于相同位置的数据元素作为一个数据组存储在预置存储阵列中的同一存储单元。3.如权利要求2所述的方法，其特征在于，所述读取各存储单元内待运算的数据组的步骤包括：在执行读取操作时，从所述存储阵列中选择连续的N个存储单元，N为正整数；读取已选择的所述N个存储单元内存储的数据组。4.如权利要求3所述的方法，其特征在于，所述从所述存储阵列中选择连续的N个存储单元的步骤之前还包括：确定所述存储阵列的各行存储单元中待选择的存储单元的数量；当所述存储阵列的各行存储单元中待选择的存储单元的数量不为N的倍数时，在各行存储单元的尾部添加若干数量的空白存储单元，使所述存储阵列的各行存储单元中待选择的存储单元的数量为N的倍数。5.如权利要求1至4任意一项所述的方法，其特征在于，所述调用所述图形处理器对所述数据组进行并行运算的步骤包括：加载预置的开放运算语言库；利用所述开放运算语言库调用预置的核函数，并基于所述核函数对缓存至图形处理器的各个数据组进行并行运算。6.如权利要求5所述的方法，其特征在于，所述利用所述核函数对缓存至图形处理器的各个数据组进行并行运算的步骤之后还包括：读取所述图形处理器中各个数据组运算后的输出数据；转换读取到的输出数据的格式，使读取到的输出数据的格式与前馈神经网络中的各个矩阵数据的格式相同。7.一种数据运算的加速装置，其特征在于，所述装置包括：读取模块，用于读取各存储单元内待运算的数据组，单个所述存储单元中已存储待运算的各个矩阵数据中，位于相同位置的数据元素构成的数据组；存储模块，用于将读取的所述数据组缓存至图形处理器；运...

【专利技术属性】
技术研发人员：尚海豹，李昊沅，左小祥，周蔚，李峰，程君，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44