一种数据去重方法、系统及FPGA和数据处理系统技术方案

本申请公开了一种数据去重方法、系统及一种FPGA、计算机可读存储介质和一种数据处理系统，该方法包括：当接收到主机发送的数据处理命令时，按目标字节数读取缓存中的待处理数据；利用去重公式对所述待处理数据进行数据去重处理，得到去重数据；当所述缓存中的待处理数据全部处理完成后，向所述主机返回所述去重数据。本申请提供的数据去重方法，使用通用处理器CPU作为主机端运行主程序，FPGA作为协处理器进行数据去重算法的硬件加速单元，通过并行流水的优化方式提高算法的并行度，能够有效的提升数据去重算法的执行性能，改善算法执行时的吞吐率性能。

【技术实现步骤摘要】
一种数据去重方法、系统及FPGA和数据处理系统
本申请涉及计算机
，更具体地说，涉及一种数据去重方法、系统及一种FPGA、一种计算机可读存储介质和一种数据处理系统。
技术介绍
在云计算的时代，大量的数据传输需要进行数据去重运算，导致占用大量CPU(中文全称：中央处理器，英文全称：CentralProcessingUnit)或运算资源，影响云计算数据中心的运算性能，而现有技术中的数据去重运算效率较低。因此，如何提高数据去重运算效率是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的在于提供一种数据去重方法、系统及一种FPGA、一种计算机可读存储介质和一种数据处理系统，提高了数据去重运算效率。为实现上述目的，本申请提供了一种数据去重方法，应用于FPGA，包括：当接收到主机发送的数据处理命令时，按目标字节数读取缓存中的待处理数据；利用去重公式对所述待处理数据进行数据去重处理，得到去重数据；当所述缓存中的待处理数据全部处理完成后，向所述主机返回所述去重数据。其中，还包括：当接收到主机发送的创建缓存命令时，在本地创建所述缓存。为实现上述目的，本申请提供了一种数据去重系统，应用于F本文档来自技高网...

【技术保护点】
1.一种数据去重方法，其特征在于，应用于FPGA，包括：当接收到主机发送的数据处理命令时，按目标字节数读取缓存中的待处理数据；利用去重公式对所述待处理数据进行数据去重处理，得到去重数据；当所述缓存中的待处理数据全部处理完成后，向所述主机返回所述去重数据。

【技术特征摘要】
1.一种数据去重方法，其特征在于，应用于FPGA，包括：当接收到主机发送的数据处理命令时，按目标字节数读取缓存中的待处理数据；利用去重公式对所述待处理数据进行数据去重处理，得到去重数据；当所述缓存中的待处理数据全部处理完成后，向所述主机返回所述去重数据。2.根据权利要求1所述数据去重方法，其特征在于，还包括：当接收到主机发送的创建缓存命令时，在本地创建所述缓存。3.一种数据去重系统，其特征在于，应用于FPGA，包括：读取模块，用于当接收到主机发送的数据处理命令时，按目标字节数读取缓存中的待处理数据；处理模块，用于利用去重公式对所述待处理数据进行数据去重处理，得到去重数据；返回模块，用于当所述缓存中的待处理数据全部处理完成后，向所述主机返回所述去重数据。4.根据权利要求3所述数据去重系统，其特征在于，还包括：创建模块，用于当接收到主机发送的创建缓存命令时，在本地创建所述缓存。5.一种FPGA，其特征在于，包括：存储器，用于存储AOCX文件；处理器，用于执行所述AOCX文件时实现如权利...

【专利技术属性】
技术研发人员：徐翔宇，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41