一种数据处理系统和方法技术方案

本发明专利技术公开了一种数据处理系统和方法，包括CPU、存储器，还包括一硬件电路处理模块；所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，第一数据处理请求为压缩请求、解压缩请求或备份请求。本发明专利技术通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，大大地提高大数据处理的处理效率，节省了大量的CPU资源，省时、省电。

【技术实现步骤摘要】
一种数据处理系统和方法
本专利技术涉及数据处理
，尤其涉及一种数据处理系统和方法。
技术介绍
在互联网的大规模数据处理中，数据的压缩、解压缩、备份是非常重要且常用的手段，当前数据处理系统处理数据压缩、解压缩、备份一般通过软件算法进行处理，一般的流程为：1)应用软件下达指令；2)CPU(CentralProcessingUnit，中央处理器)响应该指令，去存储器中指定的地方(如Flash、硬盘(HardDisk)等)获取数据；3)CPU进行压缩、解压缩、或备份处理；4)将处理结果储存到目标地址。这种传统的数据处理系统采用软件算法利用CPU对数据进行处理，且CPU搬移数据采单突发(singleburst)形式，传统的数据处理系统具有以下缺点：1)消耗大量的CPU及总线(BUS)的资源；2)消耗大量的CPU及总线的资源必将消耗更多的电量；3)消耗大量的CPU及总线的资源必将消耗更多的时间。总的来说目前采用软件算法进行数据处理需要占用大量的CPU资源，处理效率比较低，特别是在处理大量数据时，软件算法的缺点将更加明显。
技术实现思路
本专利技术所要解决的技术问题在于提出一种数据处理系统和方法，大大地提高了大数据处理的处理效率。为解决上述技术问题，本专利技术采用以下技术方案：一方面提供了一种数据处理系统，包括CPU和存储器，还包括有一硬件电路处理模块；所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。其中，还包括搜索引擎和主机；CPU还用于根据所述处理指令向搜索引擎发送第二数据处理请求；硬件电路处理模块还将数据处理结果发送给搜索引擎；搜索引擎用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；所述第二数据处理请求为搜索请求或不处理请求。其中，所述存储器为Flash。其中，所述存储器为硬盘。其中，所述硬件电路处理模块基于DSP实现。其中，所述源数据和所述数据处理结果通过多突发的形式进行传输。另一方面提供了一种数据处理方法，该数据处理方法包括：CPU接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。其中，CPU接收用户输入的处理指令之后还包括：根据所述处理指令向搜索引擎发送第二数据处理请求；所述硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理之后，还包括：硬件电路处理模块将数据处理结果发送给搜索引擎；搜索引擎根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；所述第二数据处理请求为搜索请求或不处理请求。与现有技术相比，本专利技术的有益效果为：本专利技术通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，大大地提高大数据处理的处理效率，节省了大量的CPU资源，也达到了省时、省电的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本专利技术实施例的内容和这些附图获得其他的附图。图1是本专利技术具体实施方式提供的一种数据处理系统的实施例的结构框图。图2是本专利技术具体实施方式提供的一种数据处理系统的另一实施例的结构框图。图3是本专利技术具体实施方式提供的一种数据处理方法的实施例的方法流程图。图4是本专利技术具体实施方式提供的一种数据处理方法的另一实施例的方法流程图。具体实施方式为使本专利技术解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本专利技术实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图1～2对本专利技术实施例提供的数据处理系统作进一步的详细描述。请参考图1，其是本专利技术具体实施方式中提供的一种数据处理系统的实施例的结构框图，如图1所示，在一些实施例中，该数据处理系统包括CPU(CentralProcessingUnit，中央处理器)10、存储器20和一硬件电路处理模块30；CPU10，用于接收用户输入的处理指令，根据所述处理指令从存储器20中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块30；硬件电路处理模块30，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器20；存储器20，用于将硬件电路处理模块30返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。在一些优选的实施例中，源数据和所述数据处理结果在总线(BUS)上通过多突发(multiburst)的形式进行传输，而不采用传统的单突发(sigleburst)的形式进行传输，节省了总线资源。CPU10、存储器20、和硬件电路处理模块30之间通过总线进行通信。存储器20为辅助存储器，即外存，在一些优选的实施例中，存储器20为Flash(闪存，即FlashMemory)或硬盘等外存，源数据和数据处理结果(包括压缩数据、解压缩数据和备份数据)都将存储在存储器20中的对应的位置，数据处理结果则将存储在目标地址中。本专利技术实施例提供的数据处理系统通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份等处理，不像传统的方式——数据处理都由CPU执行，特别是针对大数据处理，能提高大数据处理的处理效率，节省了大量的CPU资源，由于占用的CPU资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。图2是本专利技术具体实施方式中提供的一种数据处理系统的另一实施例的结构框图，如图2所示，在一些优选的实施例中，该数据处理系统还包括搜索引擎40和主机50；CPU10还用于根据所述处理指令向搜索引擎40发送第二数据处理请求；硬件电路处理模块30还用于将数据处理结果发送给搜索引擎40；搜索引擎40用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机50；所述第二数据处理请求为搜索请求或不处理请求。如图2所示，若用户要对压缩数据进行搜索处理，则CPU将根据所述处理指令从存储器20中获取源数据，并将所述源数据和解压缩请求发送给硬件电路处理模块30、向搜索引擎40发送搜索请求；硬件电路处理模块30对压缩数据进行解压缩处理，并将解压缩处理本文档来自技高网...

【技术保护点】
一种数据处理系统，包括CPU和存储器，其特征在于，还包括有一硬件电路处理模块；所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。

【技术特征摘要】
1.一种数据处理系统，包括CPU和存储器，其特征在于，还包括有一硬件电路处理模块；所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。2.根据权利要求1所述的一种数据处理系统，其特征在于，所述数据处理系统还包括一搜索引擎和一主机；CPU还用于根据所述处理指令向搜索引擎发送第二数据处理请求；硬件电路处理模块还用于将数据处理结果发送给搜索引擎；搜索引擎用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；所述第二数据处理请求为搜索请求或不处理请求。3.根据权利要求1所述的一种数据处理系统，其特征在于，所述存储器为Flash。4.根据权利要求1所述的一种数据处理系统，其特征在于，所述存储器为硬盘。5.根据权利要求1所述的一种数据处理系统...

【专利技术属性】
技术研发人员：李福文，
申请(专利权)人：深圳大普微电子科技有限公司，
类型：发明
国别省市：广东,44