一种数据预处理系统技术方案

本申请公开了一种数据预处理系统，所述数据预处理系统由交换单元、存储单元和处理单元构成，结构较为简单，整体搭建难度较低，有利于提高搭建效率。并且在所述数据预处理系统中，所述处理单元由多个主处理器配合多个异构加速模块构成，其中主处理器用于对原始数据的分发和存储，所述异构加速模块主要用于对原始数据的预处理，所述主处理器和异构加速模块之间相互配合，且分工明确，有利于降低系统管理难度，降低运维难度和成本。另外，所述数据预处理系统可以通过灵活配置处理单元中主处理器和异构加速模块的数量，实现数据预处理系统对应原始数据进行预处理能力的配置，也可以通过配置不同的异构加速模块，满足不同应用的需求。

【技术实现步骤摘要】
一种数据预处理系统
本申请涉及计算机应用
，更具体地说，涉及一种数据预处理系统。
技术介绍
网络数据预处理，是指在大数据等和其他相关应用场景下，对海量数据进行高速并行化的数据压缩解压缩、数据加解密、哈希和校验运算、去冗余、排序和查找等运算处理。网络数据预处理是后续数据存储和网络数据还原等应用的基础上。随着互联网的飞速发展，用户业务数据流量呈爆炸式增加，网络数据与处理系统的重要性日益突出，但现有技术中的网络数据预处理系统大多需要运维人员自行搭建，采购各类不同的设备进行安装调试，不仅搭建效率较低，而且管理难度和运维成本较高。
技术实现思路
为解决上述技术问题，本申请提供了一种数据预处理系统，以实现提降低数据预处理系统的搭建难度，提高搭建效率，降低管理难度和运维成本的目的。为实现上述技术目的，本申请实施例提供了如下技术方案：一种数据预处理系统，包括：交换单元、存储单元和处理单元；其中，所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；所述异构加速模块的功能基于VerilogHDL语言实现；所述交换单元的接口标准化通过采用OpenCL开源框架实现。可选的，所述交换单元将所述原始数据分发给多个所述住处立体具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器。可选的，所述交换单元为万兆交换机。可选的，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，所述预处理执行模块，用于接收所述原始数据，并调用所述预处理存储模块存储的预设程序，以对所述原始数据进行预处理；所述外围控制模块，用于对所述异构加速模块进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；所述数据存储模块，用于为所述预处理执行模块提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行模块作为所述预处理数据进行输出。可选的，所述异构加速模块具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理。可选的，所述主处理器还用于以队列的方式排列并缓存所述原始数据，以使得在分发过程中，所述原始数据依序分发给与所述主处理器对应的异构加速模块。可选的，所述主处理器还用于以队列的方式排列并缓存所述预处理数据，以使得在存储过程中，所述预处理数据依序存储在所述存储单元中。可选的，所述主处理器包括飞腾ARM处理器。可选的，所述异构加速模块包括IntelStratix-VFPGA异构加速模块。从上述技术方案可以看出，本申请实施例提供了一种数据预处理系统，所述数据预处理系统由交换单元、存储单元和处理单元构成，结构较为简单，整体搭建难度较低，有利于提高搭建效率。并且在所述数据预处理系统中，所述处理单元由多个主处理器配合多个异构加速模块构成，其中主处理器用于对原始数据的分发和存储，所述异构加速模块主要用于对原始数据的预处理，所述主处理器和异构加速模块之间相互配合，且分工明确，有利于降低系统管理难度，降低运维难度和成本。另外，所述数据预处理系统可以通过灵活配置处理单元中主处理器和异构加速模块的数量，实现数据预处理系统对应原始数据进行预处理能力的配置，也可以通过配置不同的异构加速模块，满足不同应用的需求。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请的一个实施例提供的一种数据预处理系统的结构示意图；图2为本申请的一个具体实施例提供的一种数据预处理系统的结构示意图；图3为本申请的一个实施例提供的一种异构加速模块的硬件框架示意图；图4为本申请的一个实施例提供的一种异构加速模块的软件框架示意图；图5为本申请的一个具体实施例提供的数据预处理系统的外观示意图；图6为本申请的另一个具体实施例提供的数据预处理系统的外观示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供了一种数据预处理系统，如图1所示，包括：交换单元100、存储单元300和处理单元200；其中，所述处理单元200包括多个主处理器210和多个与所述主处理器210一一对应的异构加速模块220；所述交换单元100，用于接收原始数据，并将所述原始数据分发给多个所述主处理器210；和用于在接收到第一指令时，接收所述异构加速模块220的预处理数据，并将所述预处理数据向外发送；所述主处理器210，用于接收原始数据，并对所述原始数据分发给与所述主处理器210对应的异构加速模块220；和用于在接收到第二指令时，将所述异构加速模块220输出的预处理数据存储在所述存储单元300中；所述异构加速模块220，用于对所述原始数据进行数据预处理，以获得所述预处理数据；所述异构加速模块220的功能基于VerilogHDL语言实现；所述交换单元100的接口标准化通过采用OpenCL开源框架实现。参考图2，图2示出了一种可行的具体实现方案，在图2中，所述交换单元100可以为万兆交换机，更具体地，所述交换单元100可以为400G全万兆交换机。所述交换单元100将所述原始数据分发给多个所述主处理器210具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器210。即原始数据从交换单元100的10GE接口输入，并可通过交换单元100内部进行汇聚、负载均衡后，通过背板600的16个10G通道，分发到处理单元200的多个主处理器210中。所述主处理器210将接收到的原始数据分发给与其对应的异构加速模块220进行数据预处理，所述异构加速模块220在进行数据预处理获得预处理数据，并接收到所述第一指令后，可以从所述背板600重新返回到交换单元100，所述交换单元100汇聚各个所述异构加本文档来自技高网...

【技术保护点】
1.一种数据预处理系统，其特征在于，包括：交换单元、存储单元和处理单元；其中，/n所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；/n所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；/n所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；/n所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；/n所述异构加速模块的功能基于Verilog HDL语言实现；/n所述交换单元的接口标准化通过采用OpenCL开源框架实现。/n

【技术特征摘要】
1.一种数据预处理系统，其特征在于，包括：交换单元、存储单元和处理单元；其中，
所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；
所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；
所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；
所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；
所述异构加速模块的功能基于VerilogHDL语言实现；
所述交换单元的接口标准化通过采用OpenCL开源框架实现。


2.根据权利要求1所述的数据预处理系统，其特征在于，所述交换单元将所述原始数据分发给多个所述住处立体具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器。


3.根据权利要求2所述的数据预处理系统，其特征在于，所述交换单元为万兆交换机。


4.根据权利要求1所述的数据预处理系统，其特征在于，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，
所述预处理执行模块，用于接收所述原始数据，并调用所...

【专利技术属性】
技术研发人员：李腾，
申请(专利权)人：恒为科技上海股份有限公司，
类型：发明
国别省市：上海;31