【技术实现步骤摘要】
本申请涉及数据存储，尤其涉及一种数据处理方法、装置、介质和设备。
技术介绍
1、金融业务中，用户的数据量比较大，对用户数据进行处理时，需要将用户数据从硬盘拉到内存中，如果直接存储到内存中，那么用户数据就会占用大量的内存空间。因此会对用户数据进行压缩存储。
2、现有技术中，可以使用位图技术来对用户数据进行压缩，如图1所示，第一行中的1表示对应位置的用户逾期，第一行中的0对应位置的用户没有逾期。第二行表示的是与第一行对应的用户编号，即一位代表一个用户。上述的这种方式，每个位置和用户之间是有关联关系的，因此，只需要在用户对应的位置处，存储0或者1的数值就可以了。此外，一些应用场景中，需要判断用户信息是否存在，为了减少碰撞概率，对用户信息进行哈希映射之后，将一个用户信息存储在位图的多个位置中，但由于存储之前需要对用户信息进行处理，不同的用户信息最终的存储信息可能是一样的，仍然出现存储碰撞，使得对数据的处理准确率较低。
3、基于此，目前亟需一种数据处理方法、装置、介质和设备，用于提高对数据处理的准确率。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、介质和设备，用于提高对数据处理的准确率。
2、第一方面，本申请实施例提供一种数据处理方法，所述方法包括：
3、基于数据处理指令指示的待处理数据，使用n个不同的第一哈希函数对所述待处理数据进行第一运算，获得n个第一数值；
4、基于所述n个第一数值对应的数据指纹fp，确定加盐索引
5、从所述n个第一数值中确定所述加盐索引值对应的第二数值；
6、使用第二哈希函数对所述数据指纹fp与所述第二数值的拼接结果进行第二运算，得到所述待处理数据对应的存储信息；所述待处理数据以所述存储信息的形态进行存储。
7、在上述方式中，对于不同的待处理数据，根据加盐索引值找到第二数值，并将第二数值和数据指纹进行拼接，由于根据加盐索引值找到的第二数值是不同的，那么和数据指纹fp拼接之后的拼接结果也是不同的，之后再进行第二运算得到存储信息，这个存储信息也是不同的。那么对于这个待处理数据的存储就是唯一的，不会和其他的数据产生碰撞，从而，提高了数据处理的精准度。
8、一种可能的实现方式中，通过如下方式确定所述n个第一数值对应的数据指纹fp，包括：
9、将所述n个第一数值依序作为默克尔树的各叶子节点；按照默克尔树的生成规则，得到所述默克尔树的根节点，将所述根节点作为所述n个第一数值对应的数据指纹fp。
10、在上述方式中，使用n个默克尔树对n个第一数值进行处理，最终得到一个数据指纹，在默克尔树中，树中的每个内部节点都表示其子节点的哈希值的组合，每个节点的哈希值都依赖于其子节点的哈希值，最终，所有的子节点的哈希值将汇聚到根节点，形成一个唯一的哈希值，通过比较根节点的哈希值与预期的哈希值，可以确定整个数据集是否完全无误或未被篡改，由此确保了数据指纹的安全性。
11、一种可能的实现方式中，针对所述n个第一数值中的任一第一数值，将所述第一数值拆分为长度相等的子部分；对各子部分进行第三运算，得到所述第一数值对应的叶子值；所述叶子值的长度符合所述默克尔树的生成规则；
12、将所述n个第一数值对应的叶子值依序作为默克尔树的各叶子节点。
13、在上述方式中，对第一数值进行拆分，之后再对各个子部分进行第三运算，得到第一数值对应的叶子值，既缩短了各个第一数值的长度，又保留了各个第一数值的全部信息，节省了存储空间，降低了默克尔树中数据处理的资源消耗。
14、一种可能的实现方式中，基于所述数据指纹fp的拆分索引值，确定所述存储信息的分割存储位；所述拆分索引值是按照所述存储信息的存储位数对所述数据指纹fp进行第四运算得到的；
15、按照所述分割存储位，确定所述存储信息在不同分区的存储子信息；任一存储子信息为所述存储信息中的部分信息且各存储子信息组成所述存储信息。
16、在上述方式中，基于数据指纹fp的拆分索引值确定所述存储信息的分割存储位，可以得到一个与数据指纹fp一一对应的拆分索引值，从而使用拆分索引值对存储信息进行分割，得到分割存储位，由此，对于相同的存储信息由于拆分索引值地不同，也可以得到不同的存储子信息，避免不同的待处理数据存储信息相同。
17、一种可能的实现方式中，所述拆分索引值是按照所述存储信息的存储位数对所述数据指纹fp进行取模运算得到的；
18、所述加盐索引值是按照所述第一哈希函数的个数n对所述拆分索引值进行取模运算得到的。
19、在上述方式中，按照所述存储信息的存储位数对所述数据指纹fp进行取模运算得到拆分索引值，可以保证拆分索引值小于存储信息的存储位数，确保拆分不会出现错误。按照所述第一哈希函数的个数n对所述拆分索引值进行取模运算得到加盐索引值，确保加盐索引值的大小不会超过第一哈希函数的个数n，确保一定可以找到一个与加盐索引值对应的第一数值。
20、一种可能的实现方式中，所述数据处理指令为数据存储指令；确定所述存储信息在不同分区的存储子信息之后，还包括：
21、针对任一存储子信息，按所述存储子信息所对应的分区存储所述存储子信息。
22、在上述方式中，按照存储子信息所对应的分区存储子信息，可以极大的降低存储过程中，不同的待处理数据对应的存储信息相同的情形。
23、一种可能的实现方式中，所述数据处理指令为数据查询指令；确定所述存储信息在不同分区的存储子信息之后，还包括：
24、针对任一存储子信息，在所述存储子信息所对应的分区中查询是否存储有所述存储子信息，得到所述存储子信息的查询结果；
25、若任一存储子信息的查询结果为未查询到，则确定所述数据查询指令对应的待处理数据没有存储。
26、在上述方式中，对任一存储子信息在存储子信息所对应的分区中查询，如果查询结果为可以查询到，则说明存储子信息对应的数据被存储在了对应的分区中，并且，这种查询方式增加了查询的准确率，降低了查询误判率，进而可以提高数据处理的准确率。
27、第二方面，本申请实施例提供一种装置，该装置包括：
28、计算模块，用于基于数据处理指令指示的待处理数据，使用n个不同的第一哈希函数对所述待处理数据进行第一运算，获得n个第一数值；
29、确定模块，用于基于所述n个第一数值对应的数据指纹fp，确定加盐索引值；
30、确定模块，还用于从所述n个第一数值中确定所述加盐索引值对应的第二数值；
31、所述计算模块，还用于使用第二哈希函数对所述数据指纹fp与所述第二数值的拼接结果进行第二运算，得到所述待处理数据对应的存储信息；所述待处理数据以所述存储信息的形态进行存储。
32、一种可能的实现方式中，确定模块具体用于，将所述n个第一数值依序作为默克尔树的各叶子节点；按照默克尔本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，通过如下方式确定所述N个第一数值对应的数据指纹FP，包括：
3.如权利要求2所述的方法，其特征在于，将所述N个第一数值依序作为默克尔树的各叶子节点，包括：
4.如权利要求1-3中任一项所述的方法，其特征在于，得到所述待处理数据对应的存储信息之后，还包括：
5.如权利要求4所述的方法，其特征在于，
6.如权利要求4所述的方法，其特征在于，所述数据处理指令为数据存储指令；确定所述存储信息在不同分区的存储子信息之后，还包括：
7.如权利要求4所述的方法，其特征在于，所述数据处理指令为数据查询指令；确定所述存储信息在不同分区的存储子信息之后，还包括：
8.一种数据处理装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，执行如权利要求1至7中任一项所述的方法。
10.一种计算设备，其特征在于，包括：
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，通过如下方式确定所述n个第一数值对应的数据指纹fp，包括：
3.如权利要求2所述的方法，其特征在于，将所述n个第一数值依序作为默克尔树的各叶子节点，包括：
4.如权利要求1-3中任一项所述的方法，其特征在于，得到所述待处理数据对应的存储信息之后，还包括：
5.如权利要求4所述的方法，其特征在于，
6.如权利要求4所述的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：曹亚飞，孙明堃，陈政，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。