基于ARM-FPGA协处理器异构平台的时间估算协同处理方法技术

本发明专利技术请求保护一种基于ARM‑FPGA协处理器异构平台的时间估算协同处理方法，应用于大数据存储单元和计算单元分离的场景中。通过AXI协议接口将高性能硬件FPGA协处理器部署于存储单元中，以增强存储单元结点处的数据处理能力，为海量数据的预处理提供算力。当源数据中冗余信息过少时，如果再进行源数据预处理，反而会增加存储单元数据交互时间和数据预处理的时间，并不能合理减少整个过程的时延问题。因此，通过概率方式对源数据预处理量多少的预估，从而决策是否需要进行数据预处理。再通过时间估算法对整个过程中时间开销进行预估，其包含源数据提取，传输通信和计算等时延的总和。最终，选择合适处理器进行数据处理，使得效率最大化，提升系统整体性能。

【技术实现步骤摘要】
基于ARM-FPGA协处理器异构平台的时间估算协同处理方法
本专利技术属于异构平台协同处理的分布式计算
，特别是基于ARM-FPGA协处理器异构体系的时间可预估协同处理方法。
技术介绍
大数据时代下数据量的爆炸式增长，导致海量大数据中，存在着许多冗余、无效信息。针对数据存储单元和计算单元分离的大数据系统场景中，如何面对海量数据高效进行数据预处理，去除冗余数据，以节省数据存储的结点、减少数据的通信时延和提升数据的可用性，是一个值得关注的问题。在传统的数据处理中，通过高性能处理器或者多台处理器联机处理以满足大数据处理的需求。随着摩尔定律的约束，不同架构下的处理器主频提升受到极大的限制，而在数据爆炸的信息量驱动下，基于ARM处理器和高性能新硬件(GPU、现场可编程门阵列)协同混合架构，受到研究人员的广泛关注，成为该领域的焦点。ARM处理器拥有双指令集，大量使用寄存器，指令执行速度更快，寻址方式灵活，执行效率高。具有体积小、低功耗、低成本、高性能等特点，广泛应用于嵌入式系统中。处理器在程序任务执行中，有着并行处理优势。但是程序逻辑的复杂度也限定了程序执行的指令并行性，过载多线程是很难达到的。随着海量数据和结构的复杂化，仅靠某一处理显得不太现实，通过搭载协处理器来分担处理器的数据计算压力。而FPGA作为半制定电路的可编程逻辑器件，通过可编程特性制定任意逻辑功能。具有高效的编程、开发周期短、并行计算和低功耗等突出优点。这些特点使得数据处理更快速，实时性更高，是很多新硬件无法达到的。因此，将FPGA作为协处理器搭载的异构平台，软硬件协同处理，通过对海量数据的预处理，去除冗余数据，以减少结点间传输的数据量、相互间的通信延迟和节省数据存储结点的空间。可有效处理开度分配和传输时间等问题。但是在数据预处理时，可能存在预处理数据信息冗余量很少，但是进行数据预处理会处理整个数据，并不能有效降低数据内部通信量、网络传输时延和计算处理时间，得不偿失。因此，在源数据储存和计算结点分离的应用场景中，如何在异构平台处理海量数据时，提前预估和评判该任务基于不同处理器所用时间和计算特点，使得数据计算结点在不同处理器间进行合理分配，进一步减少数据预处理计算时间和网络通信的时间，充分发挥异构平台性能的各自优势，效率最大化，是值得关注的问题。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种基于ARM-FPGA协处理器异构平台的时间估算协同处理方法。本专利技术的技术方案如下：一种基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其方法包含：在大数据存储单元和计算单元分离的应用场景，将AXI4.0接口将协处理器FPGA部署在数据存储单元、源数据中冗余量在内的信息进行预估、估算整个实施过程中通信时延的总和以及对处理器进行综合抉择，具体步骤如下：S1、通过AXI4.0接口，实现ARM处理器和FPGA互联的速数据交互；S2、存储单元结点源数据以索引表的形式进行存储，数据体现划分为两大类，具有强规律性的数据集和复杂规律数据集；S3、针对源数据不同体现形式，建立类索引表概率存储结构来表现不同数据分布形式的概率问题，从而判断是否需要对源数据进行预处理；S4、源数据在处理的各个过程中都存在时延，因此，需要明确数据每个传输阶段的通信过程，计算整个时延的总和，为源数据处理器最终决策提供可靠的依据，因此，需要分别估算ARM处理器数据处理和FPGA数据处理过程的整体时间时延；S5、当整体时延预估完成后，根据预估时延情况，对源数据处理时处理器的选择进行决策；如果要准确判定那个处理器更合适，单单使用整体通信预估时延来抉择不太妥当，还要考虑当前ARM处理器和FPGA处理器的状态。进一步的，所述步骤S1中，当数据请求产生时，ARM处理器通过对内存的访问，提取数据。当源数据无法全部存储在处理器内存中时，可以访问存储在存储介质(硬盘)中的源数据，并将全部源数据发送至计算单元处理器中；但是，如果使用FPGA进行数据预处理，则会通过AXI接口，使得ARM处理器和FPGA之间进行高速通信和数据交互。进一步的，所述步骤S2中，以不同的数据特性使用不同的方式去描述，性别列分布满足二项分布，结点记录其发生的概率值，年龄列用均匀分布来描述，结点记录它的最大和最小值，成绩列分布就相对很复杂，以哈希方式去获得数据键值，从而进行处理；其中，不同的键值列用不同的数字标记，性别列用1标记，年龄列用2标记，成绩列用3标记。进一步的，所述步骤S3中，针对规律性较强的源数据，概率分布相对单一，采用定值计算估算概率值。针对复杂规律的源数据中，每项数据的键称以类的结构来描述，建立类索引表来估算数据大小；以源数据键值大小建立索引结点表，在结点索引表建立过程中，其结点建立是以频繁被索引的数据键值，以保证在估算时的精确度；底层叶子结点存放数据A的概率值，用Pi,j表示在结点数据间Ai<A<Aj的概率值；以索引结构中第一个叶子结点为例，P0,4表示结点数据小于A4的概率值；如果在A<A4区间满足对称概率分布，可依据P0,4概率值估算一个确定概率值。进一步的，所述步骤S4中，以ARM处理器系统进行源数据处理，整个过程时延主要包含源数据提取传输时间、网络传输时延和源数据计算时间，分别用TAo-t、TAf-n和TAo-c表示；其处理过程先从存储节点单元取出源数据，在转发给计算节点单元，其整体时间开销用TArm符号表示；其公式为：TArm＝TAo-t+TAo-c；源数据内部存储单元以高速PCIe接口进行数据通信，其通信时延为稳定的传输速率(V1)与源数据量(Ao)的乘积,表示为TAo-t＝V1*Ao；进一步的，所述步骤S4中，以FPGA作为协处理器进行源数据预处理，整个过程时延包含提取源数据通信时延、FPGA中数据预处理时延、处理后数据网络传输时延和计算单元处理时延，分别用TFo-t、TFo-c、TFf-n和TFf-c表示；源数据FPGA以AXI接口与ARM处理进行数据通信，其通信时延为稳定的传输速率(V)与源数据量(Ao)的乘积,表示为TFo-t＝(V+V1)*Ao；数据在网络中传输的时延由当前的网络速度(Nv)和传输的数据量(Ao+f)来决定，其表示为TAf-n,TFf-n＝Nv*Ao+f；当存在源数据处理请求时，ARM处理器解析任务消息，使得FPGA处理器通过AXI协议接口从ARM处理中进行源数据交互，再进行数据预处理，当源数据预处理完成后，直接通过FPGA上融合的网卡将处理后的数据通过网络发送给计算节点单元；整体时间开销为TFpga表示。其公式为：TFpga＝TFo-t+TFo-c+TFf-n+TFf-c。进一步的，所述步骤S5中，当我们认为两个处理器目前都有一个任务正在处理，所需处理时间分别用TA-now和TF-now，如果此时另外一个任务到来，该任务使用ARM处理器和FPGA处理器的时间分别是TArm和TFpga，那么可以判断出ARM处理器和FPGA处理器处理任务所需总时间为TA-all和T本文档来自技高网...

【技术保护点】
1.基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其特征在于，所述实现方法包含：/n在大数据存储单元和计算单元分离的应用场景，将AXI4.0接口将协处理器FPGA部署在数据存储单元、源数据中冗余量在内的信息进行预估、估算整个实施过程中通信时延的总和以及对处理器进行综合抉择，具体步骤如下：/nS1、通过AXI4.0接口，实现ARM处理器和FPGA互联的速数据交互；/nS2、存储单元结点源数据以索引表的形式进行存储，数据体现划分为两大类，具有强规律性的数据集和复杂规律数据集；/nS3、针对源数据不同体现形式，建立类索引表概率存储结构来表现不同数据分布形式的概率问题，从而判断是否需要对源数据进行预处理；/nS4、源数据在处理的各个过程中都存在时延，因此，需要明确数据每个传输阶段的通信过程，计算整个时延的总和，为源数据处理器最终决策提供可靠的依据，因此，需要分别估算ARM处理器数据处理和FPGA数据处理过程的整体时间时延；/nS5、当整体时延预估完成后，根据预估时延情况，对源数据处理时处理器的选择进行决策；如果要准确判定那个处理器更合适，单单使用整体通信预估时延来抉择不太妥当，还要考虑当前ARM处理器和FPGA处理器的状态。/n...

【技术特征摘要】
1.基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其特征在于，所述实现方法包含：
在大数据存储单元和计算单元分离的应用场景，将AXI4.0接口将协处理器FPGA部署在数据存储单元、源数据中冗余量在内的信息进行预估、估算整个实施过程中通信时延的总和以及对处理器进行综合抉择，具体步骤如下：
S1、通过AXI4.0接口，实现ARM处理器和FPGA互联的速数据交互；
S2、存储单元结点源数据以索引表的形式进行存储，数据体现划分为两大类，具有强规律性的数据集和复杂规律数据集；
S3、针对源数据不同体现形式，建立类索引表概率存储结构来表现不同数据分布形式的概率问题，从而判断是否需要对源数据进行预处理；
S4、源数据在处理的各个过程中都存在时延，因此，需要明确数据每个传输阶段的通信过程，计算整个时延的总和，为源数据处理器最终决策提供可靠的依据，因此，需要分别估算ARM处理器数据处理和FPGA数据处理过程的整体时间时延；
S5、当整体时延预估完成后，根据预估时延情况，对源数据处理时处理器的选择进行决策；如果要准确判定那个处理器更合适，单单使用整体通信预估时延来抉择不太妥当，还要考虑当前ARM处理器和FPGA处理器的状态。


2.根据权利要求1所述的一种基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其方式在于，所述步骤S1中，当数据请求产生时，ARM处理器通过对内存的访问，提取数据。当源数据无法全部存储在处理器内存中时，可以访问存储在存储介质(硬盘)中的源数据，并将全部源数据发送至计算单元处理器中；但是，如果使用FPGA进行数据预处理，则会通过AXI接口，使得ARM处理器和FPGA之间进行高速通信和数据交互。


3.根据权利要求1所述的一种基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其方式在于，所述步骤S2中，以不同的数据特性使用不同的方式去描述，性别列分布满足二项分布，结点记录其发生的概率值，年龄列用均匀分布来描述，结点记录它的最大和最小值，成绩列分布就相对很复杂，以哈希方式去获得数据键值，从而进行处理；其中，不同的键值列用不同的数字标记，性别列用1标记，年龄列用2标记，成绩列用3标记。


4.根据权利要求1所述的一种基于ARM-FPGA协处理器异构平台的时间可预估协同处理方法，其方式在于，所述步骤S3中，针对规律性较强的源数据，概率分布相对单一，采用定值计算估算概率值。针对复杂规律的源数据中，每项数据的键称以类的结构来描述，建立类索引表来估算数据大小；以源数据键值大小建立索引结点表，在结点索引表建立过程中，其结点建立是以频繁被索引的数据键值，以保证在估算时的精确度；底层叶子结点存放数据A的概率值，用Pi,j表...

【专利技术属性】
技术研发人员：罗志勇，何禹辰，马国喜，王耀，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50