数据处理方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:38736548 阅读:9 留言:0更新日期:2023-09-08 23:23
本申请提供了一种数据处理方法、装置、设备、存储介质及程序产品,包括:第一处理进程接收到针对目标对象的数据处理请求,数据处理请求用于请求对目标对象对应的目标数据进行目标类型的数据处理;响应于数据处理请求,确定目标数据对应的索引信息;发送索引信息至第二处理进程,第二处理进程用于采用树形存储结构存储至少两个第一处理进程的共享数据;基于索引信息,通过第二处理进程在树形存储结构中索引得到目标数据,并返回目标数据至第一处理进程;通过第一处理进程,对目标数据执行目标类型的数据处理。通过本申请,能够改善共享数据存储结构的缺陷,提高数据存储的性能。提高数据存储的性能。提高数据存储的性能。

【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及程序产品


[0001]本申请涉及互联网技术,尤其涉及一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]相关技术中swoole进程间数据共享主要有两种方案:第一种是使用swoole原生支持的swoole_table;第二种是使用外部存储,如数据库或者缓存服务器。然而,针对上述第一种方案,swoole_table是key/value的形式存储的,无法存储复杂的数据结构,如多维数组,所以在使用场景上会有限制;同时swoole_table的内存是在数据存储前预先计算好的,无法在存储过程中进行动态调整,所以会存在内存分配不均影响存储性能的问题;针对上述第二种方案,采用外部存储需要进行一次跨机器的网络调用,一般处理效率不高,会影响swoole性能,对于性能要求高的场景不太适用。

技术实现思路

[0003]本申请实施例提供种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品,能够改善共享数据存储结构的缺陷,提高数据存储的性能。
[0004]本申请实施例的技术方案是这样实现的:
[0005]本申请实施例提供一种数据处理方法,包括:
[0006]第一处理进程接收到针对目标对象的数据处理请求,所述数据处理请求用于请求对所述目标对象对应的目标数据进行目标类型的数据处理;
[0007]响应于所述数据处理请求,确定所述目标数据对应的索引信息;
[0008]发送所述索引信息至第二处理进程,所述第二处理进程用于采用以应用为根节点的树形存储结构存储至少两个所述第一处理进程的共享数据;
[0009]基于所述索引信息,通过所述第二处理进程在所述树形存储结构中索引得到所述目标数据,并返回所述目标数据至所述第一处理进程;
[0010]通过所述第一处理进程,对所述目标数据执行所述目标类型的数据处理。
[0011]本申请实施例提供一种数据处理装置,包括:
[0012]第一处理模块,用于接收到针对目标对象的数据处理请求,所述数据处理请求用于请求对所述目标对象对应的目标数据进行目标类型的数据处理;
[0013]响应模块,用于响应于所述数据处理请求,确定所述目标数据对应的索引信息;
[0014]发送模块,用于发送所述索引信息至第二处理进程,所述第二处理进程用于采用树形存储结构存储至少两个所述第一处理进程的共享数据;
[0015]第二处理模块,用于基于所述索引信息,通过所述第二处理进程在所述树形存储结构中索引得到所述目标数据,并返回所述目标数据至所述第一处理进程;
[0016]执行模块,用于通过所述第一处理进程,对所述目标数据执行所述目标类型的数据处理。
[0017]在上述方案中,所述响应模块,还用于响应于所述数据处理请求,对所述数据处理请求进行解析,得到所述目标对象的对象标识、以及以所述对象标识为索引节点时,所述对象标识归属的父索引节点的节点标识;将所述对象标识及所述节点标识,确定为所述目标数据对应的索引信息。
[0018]在上述方案中,所述第二处理模块,还用于当所述数据处理请求由即时通讯应用所发送、所述目标对象为会话对象、所述父索引节点为会话房间时,通过所述第二处理进程,确定以所述即时通讯应用为根节点的树形存储结构;在以所述即时通讯应用为根节点的树形存储结构中,基于所述会话房间的房间标识,索引得到所述目标对象归属的会话房间;基于所述会话房间及所述会话对象的对象标识,索引得到所述目标对象对应的会话连接描述符,将所述会话连接描述符作为所述目标数据。
[0019]在上述方案中,所述第二处理模块,还用于当所述数据处理请求由媒体信息应用发送、所述目标对象为媒体信息的关联信息、所述父索引节点为所述媒体信息时,通过所述第二处理进程,确定以所述媒体信息应用为根节点的树形存储结构;在以所述媒体信息应用为根节点的树形存储结构中,基于所述媒体信息的媒体标识,索引得到所述目标对象归属的媒体信息;基于所述媒体信息及所述关联信息的信息标识,索引得到所述关联信息的信息内容,将关联信息的信息内容作为所述目标数据。
[0020]在上述方案中,所述索引信息包括的层级数为至少两级,所述第二处理模块,还用于基于至少两级的索引信息中的父索引信息,对所述树形存储结构进行逐层索引,以确定所述父索引信息对应的树节点;基于所述父索引信息对应的树节点、及所述至少两级的索引信息中的子索引信息,索引得到所述目标对象对应的所述目标数据。
[0021]在上述方案中,所述执行模块,还用于获取对所述目标数据进行数据处理的目标类型;其中,所述目标类型包括数据增加、数据删除、数据查询以及数据修改中至少之一;基于所述目标类型,对所述目标数据进行数据处理。
[0022]在上述方案中,所述装置还包括第一存储模块,所述第一存储模块用于,获取待存储的所述目标数据以及所述第二处理进程的数量;当所述第二处理进程的数量为至少两个时,确定用于存储所述目标数据的第二处理进程;将所述目标数据存储至确定的所述第二处理进程的树形存储结构。
[0023]在上述方案中,所述第一存储模块,还用于当所述第二处理进程的数量为至少两个时,对所述目标数据进行哈希处理,得到处理结果;获取各所述第二处理进程的标识;将所述处理结果与所述标识进行匹配,得到匹配结果;基于所述匹配结果,从至少两个所述第二处理进程中选取用于存储所述目标数据的第二处理进程。
[0024]在上述方案中,所述装置还包括第二存储模块,所述第二存储模块用于,获取待存储的所述目标数据以及所述第二处理进程的数量;当所述第二处理进程的数量为一个时,随机生成对应所述第二处理进程的标识;基于所述标识,将所述目标数据存储至所述第二处理进程的树形存储结构。
[0025]在上述方案中,所述第二处理进程的数量为至少两个,所述发送模块,还用于获取所述索引信息与各第二处理进程的映射关系;基于所述映射关系,确定与所述索引信息对应的所述第二处理进程的标识;基于所述第二处理进程的标识,将所述索引信息发送至对应的所述第二处理进程。
[0026]本申请实施例提供一种电子设备,包括:
[0027]存储器,用于存储可执行指令;
[0028]处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的数据处理方法。
[0029]本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的数据处理方法。
[0030]本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行本申请实施例提供的数据处理方法。
[0031]本申请实施例具有以下有益效果:
[0032]通过设置第一处理进程和第二处理进程,在第一处理进程接收到数据处理请求时,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:第一处理进程接收到针对目标对象的数据处理请求,所述数据处理请求用于请求对所述目标对象对应的目标数据进行目标类型的数据处理;响应于所述数据处理请求,确定所述目标数据对应的索引信息;发送所述索引信息至第二处理进程,所述第二处理进程用于采用树形存储结构存储至少两个所述第一处理进程的共享数据;基于所述索引信息,通过所述第二处理进程,在所述树形存储结构中索引得到所述目标数据,并返回所述目标数据至所述第一处理进程;通过所述第一处理进程,对所述目标数据执行所述目标类型的数据处理。2.如权利要求1所述的方法,其特征在于,所述响应于所述数据处理请求,确定所述目标数据对应的索引信息,包括:响应于所述数据处理请求,对所述数据处理请求进行解析,得到所述目标对象的对象标识、以及以所述对象标识为索引节点时所述对象标识归属的父索引节点的节点标识;将所述对象标识及所述节点标识,确定为所述目标数据对应的索引信息。3.如权利要求2所述的方法,其特征在于,所述基于所述索引信息,通过所述第二处理进程,在所述树形存储结构中索引得到所述目标数据,包括:当所述数据处理请求由即时通讯应用所发送、所述目标对象为会话对象、所述父索引节点为会话房间时,通过所述第二处理进程,确定以所述即时通讯应用为根节点的树形存储结构;在以所述即时通讯应用为根节点的树形存储结构中,基于所述会话房间的房间标识,索引得到所述目标对象归属的会话房间;基于所述会话房间及所述会话对象的对象标识,索引得到所述目标对象对应的会话连接描述符,将所述会话连接描述符作为所述目标数据。4.如权利要求2所述的方法,其特征在于,所述基于所述索引信息,通过所述第二处理进程,在所述树形存储结构中索引得到所述目标数据,包括:当所述数据处理请求由媒体信息应用发送、所述目标对象为媒体信息的关联信息、所述父索引节点为所述媒体信息时,通过所述第二处理进程,确定以所述媒体信息应用为根节点的树形存储结构;在以所述媒体信息应用为根节点的树形存储结构中,基于所述媒体信息的媒体标识,索引得到所述目标对象归属的媒体信息;基于所述媒体信息及所述关联信息的信息标识,索引得到所述关联信息的信息内容,将关联信息的信息内容作为所述目标数据。5.如权利要求1所述的方法,其特征在于,所述索引信息包括的层级数为至少两级,所述基于所述索引信息,通过所述第二处理进程,在所述树形存储结构中索引得到所述目标数据,包括:基于至少两级的索引信息中的父索引信息,对所述树形存储结构进行逐层索引,以确定所述父索引信息对应的树节点;基于所述父索引信息对应的树节点、及所述至少两级的索引信息中的子索引信息,索引得到所述目标对象对应的所述目标数据。
6.如权利要求1所述的方法,其特征在于,所述通过所述第一处理进程,对所述目标数据执行所述目标类型的数据处理,包括:获取对所述目标数据进行数据处理的目标类型;其中,所述目标类型包括...

【专利技术属性】
技术研发人员:王培盛
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1