一种基于申威异构众核处理器的数据处理方法和系统技术方案

本发明专利技术公开了一种基于申威异构众核处理器的数据处理方法，包括：对用户请求进行分析，将用户请求分解为多个数据处理任务；对数据处理任务进行分类；确定运算核心和存储介质的使用情况；以及根据运算核心和存储介质的使用情况及数据处理任务的分类，将数据处理任务与运算核心及存储介质进行匹配。

A Data Processing Method and System Based on Shenwei Heterogeneous Multi-Core Processor

The invention discloses a data processing method based on Shenwei heterogeneous multi-core processor, which includes: analyzing user requests, decomposing user requests into multiple data processing tasks; classifying data processing tasks; determining the usage of operation core and storage medium; and classifying data processing tasks according to the usage of operation core and storage medium. Data processing tasks are matched with operation core and storage medium.

【技术实现步骤摘要】
一种基于申威异构众核处理器的数据处理方法和系统
本专利技术涉及数据处理领域，尤其涉及一种基于申威异构众核处理器的数据处理方法和系统。
技术介绍
申威异构众核处理器是我国自主研制的计算平台，采用片上计算阵列集群和分布式共享存储相结合的异构众核体系结构，通常使用64位自主申威指令系统。申威异构众核处理器具有多种类型、不同数量的运算核心和存储硬件，而数据处理任务又具有多种类型。例如，“申威26010”异构众核处理器集成了4个运算核组共260个运算核心，核组间支持缓存一致性。每个核组包含一个主核和一个从核阵列。从核阵列由64个从核、阵列控制器、二级指令缓存构成。4个核组的物理空间统一编址。处理器还集成了四路128位DDR存储控制器、8通道PCIe、千兆以太网接口和JTAG接口。主核和从核的存储器访问性能、运算能力均不相同。从核阵列的整体运算性能高于主核。因此，在数据处理过程中，需要结合运算核心和存储设备的类型以及数据分析逻辑的特性为执行模式和任务做最佳匹配，提高处理器的系统分析性能。
技术实现思路
本专利技术旨在针对申威异构众核处理器提出一种数据处理方法。根据本专利技术的一个方面，提供一种基于申本文档来自技高网...

【技术保护点】
1.一种基于申威异构众核处理器的数据处理方法，包括：对用户请求进行分析，将用户请求分解为多个数据处理任务；对数据处理任务进行分类；确定运算核心和存储介质的使用情况；以及根据运算核心和存储介质的使用情况及数据处理任务的分类，将数据处理任务与运算核心及存储介质进行匹配。

【技术特征摘要】
1.一种基于申威异构众核处理器的数据处理方法，包括：对用户请求进行分析，将用户请求分解为多个数据处理任务；对数据处理任务进行分类；确定运算核心和存储介质的使用情况；以及根据运算核心和存储介质的使用情况及数据处理任务的分类，将数据处理任务与运算核心及存储介质进行匹配。2.如权利要求1所述的数据处理方法，其特征在于，所述对数据处理任务进行分类包括：根据数据处理任务的并行性将数据处理任务分为A类数据处理任务、B类数据处理任务、C类数据处理任务或D类数据处理任务，其中A类数据处理任务指的是既能够进行任务并行又能够进行数据并行的任务，B类数据处理任务指的是能够进行任务并行但不能够进行数据并行的任务，C类数据处理任务指的是能够进行数据并行但不能够进行任务并行的任务，D类数据处理任务指的是不能够进行任务并行且不能够进行数据并行的数据任务。3.如权利要求2所述的数据处理方法，其特征在于，将数据处理任务与运算核心及存储介质进行匹配还包括：对于A类数据处理任务，判断数据处理过程中空间开销是否小于局部数据存储LDM；如果数据处理过程中空间开销小于LDM，则将数据存放在LDM中，由从核对该数据进行处理；如果数据处理过程中空间开销大于LDM，则将数据存放在主存中，由主核或从核对该数据进行处理。4.如权利要求3所述的数据处理方法，其特征在于，当数据处理过程中空间开销大于LDM时，将数据存放在主存中，由主核对该数据进行处理，将数据分片，数据分片后子数据集的处理过程中空间开销小于主核的一级缓存。5.如权利要求3所述的数据处理方法，其特征在于，当数据处理过程中空间开销大于LDM时，将数据存放在主存中，由从核对该数据进行处理，将数据分片，数据分片后子数据集的处理过程中空间开销小于LDM。6.如权利要求2所述的数据处理方法，其特征在于，将数据处理任务与运算核心及存储介质进行匹配还包括：对于B类数据处理任务，判断数据处理过程中空间开销是否小于LDM；如果数据处理过程中空间开销小于LDM，则将数据存放在L...

【专利技术属性】
技术研发人员：谢超，郭人通，易小萌，陈婉琴，
申请(专利权)人：上海赜睿信息科技有限公司，
类型：发明
国别省市：上海,31