数据处理方法、装置、终端及存储介质制造方法及图纸

技术编号:41860783 阅读:17 留言:0更新日期:2024-06-27 18:34
本公开涉及计算机技术领域,尤其涉及一种数据处理方法、装置。其中,该数据处理方法,包括获取与数据处理指令对应的第一数据集合,对所述第一数据集合进行拆分,获取到至少一个数据子集;根据所述至少一个数据子集的任一数据子集中第一数据的数据标识和哈希值集合,采用工作线程池组按照第一顺序对所述至少一个数据子集中任一数据子集进行数据处理;采用查询线程池组按照第二顺序对所述任一数据子集中第二数据进行查询处理,将所述第二数据对应的数据标识存储至所述哈希值集合,其中,所述第一顺序与所述第二顺序为不同方向的顺序。采用本公开可以提高数据的处理效率和处理能力。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种数据处理方法、装置、终端及存储介质


技术介绍

1、随着科学技术的发展,不同系统之间例如可以进行数据交互。其中,例如可以通过接口交互和json格式进行数据交互,或者通过接口交互和xml格式进行数据交互。但是,json格式或xml格式文本占用空间大,传输效率低,使得数据处理效率较低。


技术实现思路

1、本公开提供一种数据处理方法、装置、终端及存储介质,以提高数据的处理效率和处理能力。本公开的技术方案如下:

2、根据本公开实施例的第一方面,提供一种数据处理方法,包括:

3、获取与数据处理指令对应的第一数据集合,对所述第一数据集合进行拆分,获取到至少一个数据子集;

4、根据所述至少一个数据子集的任一数据子集中第一数据的数据标识和哈希值集合,采用工作线程池组按照第一顺序对所述任一数据子集中的所述第一数据进行数据处理;

5、采用查询线程池组按照第二顺序对所述任一数据子集中第二数据进行查询处理,将所述第二数据对应的数据标识存储至所述哈希值集合,本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于接收终端,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个数据子集的任一数据子集中第一数据的数据标识和哈希值集合,采用工作线程池组按照第一顺序对所述至少一个数据子集中任一数据子集进行数据处理,包括:

4.根据权利要求3所述的方法,其特征在于,所述在所述第二查询结果指示第一数据的数据标识在所述哈希值集合中存在的情况下,对所述第一数据进行逻辑计算和校验处理,得到所述第一数据的数据处理结果,包括:

5.根据权利要求4所述的方法...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于接收终端,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个数据子集的任一数据子集中第一数据的数据标识和哈希值集合,采用工作线程池组按照第一顺序对所述至少一个数据子集中任一数据子集进行数据处理,包括:

4.根据权利要求3所述的方法,其特征在于,所述在所述第二查询结果指示第一数据的数据标识在所述哈希值集合中存在的情况下,对所述第一数据进行逻辑计算和校验处理,得到所述第一数据的数据处理结果,包括:

5.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员:徐阳刘杰
申请(专利权)人:人保信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1