数据传输装置、方法及系统制造方法及图纸

一种数据传输装置、方法及系统。所述装置包括：控制单元，用于从所述处理系统端存储器中获取关于待传输数据的特征参数，所述待传输数据为定点数据且未补零；传输单元，基于控制单元获取的第一特征参数，按照所述传输接口的带宽，从所述处理系统端存储器读取所述待传输数据，并对所读取的数据进行移位，产生每个单独的待传输数据；数据处理单元，基于控制单元获取的第二特征参数，对传输单元产生的待传输数据进行处理；数据重排单元，基于控制单元获取的第三特征参数，对数据处理单元处理后的待传输数据进行补零对齐，得到AI加速器的输入数据并写入至加速引擎端存储器中。应用上述方案，可以提高数据传输效率。可以提高数据传输效率。可以提高数据传输效率。

【技术实现步骤摘要】
数据传输装置、方法及系统


[0001]本专利技术涉及数据传输
，具体涉及一种数据传输装置、方法及系统。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)加速器，是一类专门的硬件加速器或计算机系统，旨在加速人工智能的应用，尤其是人工神经网络、机器视觉和机器学习。
[0003]在实际应用中，预处理后的数据通常先存储在处理系统端存储器内。直接存储访问模块可以从处理系统端存储器读取数据，并将所读取的数据存储在加速引擎端存储器内。加速引擎端存储器与AI加速器连接，用于为AI加速器提供输入数据。
[0004]然而，现有为AI加速器提供输入数据的过程，存在一定的资源浪费，导致数据传输时间长，数据传输效率低。

技术实现思路

[0005]本专利技术要解决的问题是：在为AI加速器提供输入数据的过程中，如何提高数据传输效率？
[0006]为解决上述问题，本专利技术实施例提供了一种数据传输装置，所述装置包括：
[0007]控制单元，与处理系统端存储器连接；所述处理系统端存储器具有传输接口，且存储有待传输数据；所述控制单元用于从所述处理系统端存储器中获取关于待传输数据的特征参数，所述待传输数据为定点数据且未补零；所述特征参数包括：第一特征参数、第二特征参数及第三特征参数；
[0008]传输单元，与所述处理系统端存储器及所述控制单元连接，基于所述控制单元获取的第一特征参数，按照所述传输接口的带宽，从所述处理系统端存储器读取所述待传输数据，并对所读取的数据进行移位，产生每个单独的待传输数据；
[0009]数据处理单元，与所述传输单元及所述控制单元连接，基于所述控制单元获取的第二特征参数，对所述传输单元产生的待传输数据进行处理；
[0010]数据重排单元，与所述数据处理单元及所述控制单元连接，基于所述控制单元获取的第三特征参数，对所述数据处理单元处理后的待传输数据进行补零对齐，得到AI加速器的输入数据并写入至加速引擎端存储器中。
[0011]本专利技术实施例还提供了一种数据传输系统，所述系统包括上述的数据传输装置。
[0012]本专利技术实施例还提供了一种数据传输方法，所述方法包括：
[0013]从处理系统端存储器中获取关于待传输数据的特征参数，所述待传输数据为定点数据且未补零；所述特征参数包括：第一特征参数、第二特征参数及第三特征参数；
[0014]基于所述第一特征参数，按照所述传输接口的带宽，从所述处理系统端存储器读取所述待传输数据；并对所读取的数据进行移位，产生每个单独的待传输数据；
[0015]基于所述第二特征参数，对拼接、移位后的待传输数据进行处理；
[0016]基于所述第三特征参数，对数据处理的待传输数据进行补零对齐，得到AI加速器
的输入数据并写入至加速引擎端存储器中。
[0017]与现有技术相比，本专利技术实施例的技术方案具有以下优点：
[0018]应用本专利技术的方案，由于存储在处理系统端存储器的待传输数据未补零，故传输单元从处理系统端存储器读取数据时，所读取的数据中不包含补零的比特位，处理系统端存储器的传输接口带宽可以充分利用，从而可以提高读取效率。从处理系统端存储器读取的数据，依次经传输单元、数据处理单元及数据重排单元，得到AI加速器的输入数据并写入至加速引擎端存储器中，整个数据传输过程，处理系统端存储器的传输接口带宽可以被充分利用，从而可以提高数据传输效率。另外，本专利技术的数据传输装置，一端和处理系统端存储器连接，另一端和加速引擎端存储器连接，控制单元可以同时控制传输单元、数据处理单元及数据重排单元，这属于硬件实现方案，利用本专利技术的数据传输装置完成补零等数据预处理，相对于处理系统端采用软件的方式实现对数据预处理，可以更加节省时间，进一步提高数据传输效率。
[0019]进一步，数据重排单元可以对数据处理单元处理后的待传输数据进行重排，也可以不对数据处理单元处理后的待传输数据进行重排，由此可以使得数据传输装置能够根据实际需要调整写入至加速引擎端存储器中的输入数据，以更好地满足实际需求。
[0020]进一步，在判定对数据处理单元处理后的待传输数据进行数据重排时，数据重排单元可以基于所述AI加速器支持的位宽，对所述待传输数据进行数据重排，由此可以使得写入至加速引擎端存储器中的输入数据能够与AI加速器的计算资源，减少计算资源的浪费。
附图说明
[0021]图1是一种数据传输过程的示意图；
[0022]图2是本专利技术实施例中一种数据传输装置的结构示意图；
[0023]图3是本专利技术实施例中一种数据传输方法的流程图。
具体实施方式
[0024]图1是现有为AI加速器提供输入数据的过程示意图。参照图1，待传输数据经过预处理，存储在处理系统端存储器11中。直接存储访问模块12从处理系统端存储器11中读取数据，并将所读取的数据存储在加速引擎端存储器13内，来完成处理系统空间数据排布格式到加速引擎空间数据排布格式的转换。AI加速器14可以从加速引擎端存储器13中读取输入数据。
[0025]其中，预处理过程包括补零和量化。由于AI加速器14支持的数据通道数和待传输数据的通道数不一定匹配，比如，AI加速器14支持32通道的数据，但是待传输数据可能为3通道的数据，故需要经过补零，使得3通道的待传输数据转换为32通道的数据。量化，是用于将待传输数据由浮点数据转换为定点数据。
[0026]所谓定点数据和浮点数据，是指在计算机中一个数据的小数点的位置是固定的还是浮动的。如果一个数据中小数点的位置是固定的，则为定点数据；如果一个数据中小数点的位置是浮动的，则为浮点数据。一般来说，定点格式可表示的数值的范围有限，但要求的处理硬件比较简单。而浮点格式可表示的数值的范围很大，但要求的处理硬件比较复杂。为
了适应AI加速器14，需要将待传输数据由浮点数据转换为定点数据。
[0027]在上述数据传输过程中，处理系统端存储器11具有高性能接口，该高性能接口支持的带宽，通常远大于预处理后数据的实际带宽，故通过高性能接口读取数据时，存在带宽浪费。比如，预处理后数据实际带宽为24bit，而高性能接口支持的带宽为64bit，写入到加速引擎端存储器13中数据应为512bit，则通过高性能接口读取数据时，每次从处理系统端存储器11读取64bit的数据，其中，第一次读取的64bit数据中24bit是有效数据，其余比特均为补零的数据即其余比特均为比特0。除第一次读取的数据外，剩余几次读取的数据也均为补零的数据。因此，存在带宽浪费，进而导致数据传输时间长，数据传输效率低。
[0028]针对该问题，本专利技术提供了一种数据传输装置，在所述装置中，存储在处理系统端存储器的待传输数据未补零，故传输单元从处理系统端存储器读取数据时，所读取的数据中不包含补零的比特位，处理系统端存储器的传输接口带宽可以充分利用，从而可以提高读取效率，也就提高了数据传输效率。
[0029]为使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输装置，其特征在于，包括：控制单元，与处理系统端存储器连接；所述处理系统端存储器具有传输接口，且存储有若干个待传输数据；所述控制单元用于从所述处理系统端存储器中获取关于待传输数据的特征参数，所述待传输数据为定点数据且未补零；所述特征参数包括：第一特征参数、第二特征参数及第三特征参数；传输单元，与所述处理系统端存储器及所述控制单元连接，基于所述控制单元获取的第一特征参数，按照所述传输接口的带宽，从所述处理系统端存储器读取所述待传输数据，并对所读取的数据进行移位，产生每个单独的待传输数据；数据处理单元，与所述传输单元及所述控制单元连接，基于所述控制单元获取的第二特征参数，对所述传输单元产生的待传输数据进行处理；数据重排单元，与所述数据处理单元及所述控制单元连接，基于所述控制单元获取的第三特征参数，对所述数据处理单元处理后的待传输数据进行补零对齐，得到AI加速器的输入数据并写入至加速引擎端存储器中。2.如权利要求1所述的数据传输装置，其特征在于，所述第三特征参数包括：第一标志位；所述第一标志位用于指示是否对所述数据处理单元处理后的待传输数据进行数据重排；所述数据重排单元，在所述第一标志位指示不对所述数据处理单元处理后的待传输数据进行数据重排时，对所述数据处理单元处理后的待传输数据进行补零对齐，得到AI加速器的输入数据并写入至加速引擎端存储器。3.如权利要求2所述的数据传输装置，其特征在于，所述数据重排单元，还在所述第一标志位指示对所述数据处理单元处理后的待传输数据进行数据重排时，基于所述AI加速器支持的位宽，对所述待传输数据进行数据重排，数据重排后，对所述数据处理单元处理后的待传输数据进行补零对齐。4.如权利要求3所述的数据传输装置，其特征在于，所述数据重排单元，按照预设的填充参数，对重排后的数据进行数据填充操作。5.如权利要求1所述的数据传输装置，其特征在于，所述控制单元包括：第一寄存器，用于存储所述处理系统端存储器写入的所述特征参数。6.如权利要求5所述...

【专利技术属性】
技术研发人员：罗伟，王瑛琳，李夏禹，赵晓冬，
申请(专利权)人：上海复旦微电子集团股份有限公司，
类型：发明
国别省市：