一种数据去重方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据去重方法、装置、设备及存储介质。该方法包括：获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。本发明专利技术实施例通过计算哈希值和MD5值，解决了没有主关键字情况下的数据去重问题，缩短了数据去重的时间，进而提高了对文件中的数据采集的效率。

A data De duplication method, device, equipment and storage medium

【技术实现步骤摘要】
一种数据去重方法、装置、设备及存储介质
本专利技术实施例涉及数据库
，尤其涉及一种数据去重方法、装置、设备及存储介质。
技术介绍
在进行数据汇总的过程中，通常会通过主关键字的方式对数据文件进行去重处理，避免数据库中存在大量的重复数据，导致存储资源的浪费。具体的，主关键字可以用于唯一的标识表中的数据记录，主关键字又称为主键，可以由一个字段或多个字段组成。但是，数据文件的提供方提供的数据文件通常没有主键，并且经常会出现数据文件被重复性提供的情况。也有人提出可以通过临时库方式或全表对比的方式进行数据去重。其中，临时库方式是将文件数据统计采集到临时的数据库中，通过SQL(StructuredQueryLanguage，结构化查询语言)脚本进行数据去重，再将去重后得到的数据文件保存在数据库中。全表对比是在每次得到新的文件数据时，将该文件数据和数据库中的所有数据进行对比去重。基于上述现有的技术方案，临时库的方法会对已经去重过的文件数据重复进行去重处理，维护成本较大。而全表对比的方法在数据库数据量较大的情况下，数据去重的效率不高。
技术实现思路
本专利技术实施例提供了一种数据去重方法、装置、设备及存储介质，以提高数据去重的效率。第一方面，本专利技术实施例提供了一种数据去重方法，该方法包括：获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。第二方面，本专利技术实施例还提供了一种数据去重装置，该装置包括：待处理数据获取模块，用于获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；目标哈希分区确定模块，用于根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；第一MD5值确定模块，用于确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；重复数据确定模块，用于如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。第三方面，本专利技术实施例还提供了一种设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所涉及的任一所述的数据去重方法。第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的数据去重方法。本专利技术实施例通过计算哈希值和MD5值，解决了没有主关键字情况下的数据去重问题，缩短了数据去重的时间，进而提高了对文件中的数据采集的效率。附图说明图1是本专利技术实施例一提供的一种数据去重方法的流程图。图2是本专利技术实施例二提供的一种数据去重方法的流程图。图3是本专利技术实施例二提供的一种数据去重方法的具体实例流程图。图4是本专利技术实施例三提供的一种数据去重装置的示意图。图5是本专利技术实施例四提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的一种数据去重方法的流程图，本实施例可适用于文件采集时数据去重的情况，该方法可以由数据去重装置来执行，该装置可采用软件和/或硬件的方式实现。具体包括如下步骤：S110、获取待处理文件中的待处理数据，并计算待处理数据的第一哈希值和第一MD5值。其中，示例性的，待处理文件的文件类型包括excel(电子表格)、txt(文本文档)或csv(CommaSeparateValues，逗号分隔值)等。待处理数据的数据格式则与待处理文件的文件类型相关。示例性的，待处理数据可以是数字、文字和符号等等，此处待处理文件和待处理数据的不作限定。其中，待处理数据在待处理文件中的数据单元包括行和/或列。示例性的，待处理文件中的至少一个行数据包括与用户A相关的数据，或，至少一个列数据包括与用户A相关的数据，或，至少一行和至少一列数据包括与用户A相关的数据。此处对待处理数据在待处理文件中的数据范围不作限定，可以根据具体的数据形式确定。其中，哈希(Hash)是一种散列函数，将任一长度的输入数据通过散列算法变换成固定长度的数据输出，且输出数据为散列值。其中，示例性的，采用一致性哈希算法计算待处理数据的哈希值，具体的，一致性哈希算法包括CRC32函数。需要说明的是，本专利技术实施例中计算得到的哈希值由数字组成，且不存在字母或特殊字符。其中，MD5(Message-DigestAlgorithm5，信息摘要算法)是一种密码散列函数，输出128位元的散列值。需要说明的是，本专利技术实施例中计算得到的MD5值包括数字、字母和特殊字符中至少一种数值格式。MD5值可以唯一的确定一段数据，但MD5算法没有解密算法，即不能通过MD5值反推得到原始数据。在一个实施例中，可选的，获取待处理数据中的预设字段数据，并基于预设字段数据计算第一哈希值和第一MD5值。其中，预设字段数据包括至少一个字段数据，示例性的，预设字段数据可以是全部待处理数据，也可以是待处理数据中的关键数据。在一个实施例中，可选的，根据待处理文件的业务类型，确定预设字段数据。示例性的，业务类型可以是理财、用户信息统计和消费记录等。举例而言，如果待处理文件的业务类型为理财，则待处理数据中的预设字段数据包括基金/股票、金额、买入时间和卖出时间等数据类别对应的数据；如果待处理文件的业务类型为用户信息统计，则待处理数据中的预设字段数据包括姓名、性别、出生年月、家庭住址和学历等数据类别对应的数据。此处对预设字段数据的数据类别不作限定，可以根据数据采集时对应的业务类型具体确定。S120、根据第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值。在一个实施例中，可选的，获取文档数据库中已存储的至少一个存储数据，并计算存储数据的第二哈希值和第二MD5值；根据缓存数据库中的哈希分区，将第二MD5值存储至与第二MD5值对应的第二哈希值所属的哈希分区中，生成检索数据。其中，文档数据库是用于存储采集到的数据的数据库。其中，第二哈本文档来自技高网...

【技术保护点】
1.一种数据去重方法，其特征在于，包括：/n获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；/n根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；/n确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；/n如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。/n

【技术特征摘要】
1.一种数据去重方法，其特征在于，包括：
获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；
根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；
确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；
如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。


2.根据权利要求1所述的方法，其特征在于，还包括：
获取文档数据库中已存储的至少一个存储数据，并计算所述存储数据的第二哈希值和第二MD5值；
根据缓存数据库中的哈希分区，将所述第二MD5值存储至与所述第二MD5值对应的第二哈希值所属的哈希分区中，生成检索数据。


3.根据权利要求1所述的方法，其特征在于，所述检索数据还包括所述各存储数据对应的主关键字数据，相应的，在获取待处理文件中的待处理数据之后，还包括：
确定所述待处理数据中是否存在预设主关键字数据；
如果存在，则基于所述预设主关键字数据对所述待处理数据进行重复性判断。


4.根据权利要求3所述的方法，其特征在于，所述基于所述预设主关键字数据对所述待处理数据进行重复性判断，包括：
将所述待处理数据的预设主关键字数据与所述检索数据中的主关键字数据进行比对；
当所述预设主关键字数据与所述检索数据中的任一主关键字数据相同时，确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述预设主关键字数据对应的存储数据进行更新。


5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
如果所述目标哈希分区的至少一个MD5...

【专利技术属性】
技术研发人员：李猛，
申请(专利权)人：软通动力信息技术有限公司，
类型：发明
国别省市：天津;12