一种数据处理方法、装置、介质和设备制造方法及图纸

技术编号:40425190 阅读:18 留言:0更新日期:2024-02-20 22:45
本申请涉及数据存储技术领域,尤其涉及一种数据处理方法、装置、介质和设备。其中方法包括:基于数据处理指令指示的待处理数据,使用N个不同的第一哈希函数对待处理数据进行第一运算,获得N个第一数值;基于N个第一数值对应的数据指纹FP,确定加盐索引值;从N个第一数值中确定加盐索引值对应的第二数值;使用第二哈希函数对数据指纹FP与第二数值的拼接结果进行第二运算,得到待处理数据对应的存储信息;待处理数据以存储信息的形态进行存储。在上述方式中,保证了对于待处理数据的存储是唯一的,不会和其他的数据产生碰撞,从而,提高了数据处理的精准度。

【技术实现步骤摘要】

本申请涉及数据存储,尤其涉及一种数据处理方法、装置、介质和设备


技术介绍

1、金融业务中,用户的数据量比较大,对用户数据进行处理时,需要将用户数据从硬盘拉到内存中,如果直接存储到内存中,那么用户数据就会占用大量的内存空间。因此会对用户数据进行压缩存储。

2、现有技术中,可以使用位图技术来对用户数据进行压缩,如图1所示,第一行中的1表示对应位置的用户逾期,第一行中的0对应位置的用户没有逾期。第二行表示的是与第一行对应的用户编号,即一位代表一个用户。上述的这种方式,每个位置和用户之间是有关联关系的,因此,只需要在用户对应的位置处,存储0或者1的数值就可以了。此外,一些应用场景中,需要判断用户信息是否存在,为了减少碰撞概率,对用户信息进行哈希映射之后,将一个用户信息存储在位图的多个位置中,但由于存储之前需要对用户信息进行处理,不同的用户信息最终的存储信息可能是一样的,仍然出现存储碰撞,使得对数据的处理准确率较低。

3、基于此,目前亟需一种数据处理方法、装置、介质和设备,用于提高对数据处理的准确率。


<p>技术实现思本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,通过如下方式确定所述N个第一数值对应的数据指纹FP,包括:

3.如权利要求2所述的方法,其特征在于,将所述N个第一数值依序作为默克尔树的各叶子节点,包括:

4.如权利要求1-3中任一项所述的方法,其特征在于,得到所述待处理数据对应的存储信息之后,还包括:

5.如权利要求4所述的方法,其特征在于,

6.如权利要求4所述的方法,其特征在于,所述数据处理指令为数据存储指令;确定所述存储信息在不同分区的存储子信息之后,还包括:</p>

7.如权...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,通过如下方式确定所述n个第一数值对应的数据指纹fp,包括:

3.如权利要求2所述的方法,其特征在于,将所述n个第一数值依序作为默克尔树的各叶子节点,包括:

4.如权利要求1-3中任一项所述的方法,其特征在于,得到所述待处理数据对应的存储信息之后,还包括:

5.如权利要求4所述的方法,其特征在于,

6.如权利要求4所述的方法,其特征在于,所述...

【专利技术属性】
技术研发人员:曹亚飞孙明堃陈政
申请(专利权)人:深圳前海微众银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1