数据处理方法、装置、服务端及存储介质制造方法及图纸

技术编号:39261843 阅读:13 留言:0更新日期:2023-10-30 12:14
本申请实施例提供了一种数据处理方法、装置、服务端以及存储介质。本数据处理方法包括:接收客户端发送的数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;若所述数据操作请求为数据写请求,接收客户端发送的多个待操作数据,将接收到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,其中,不同业务类型对应的待操作数据对应的列族数据库不同;若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给所述客户端。通过上述方法,根据待操作数据各自对应的业务类型将待操作数据写入到对应的列族数据库中,从而使同一个列族数据库中的数据的类型相同,方便对数据进行压缩。缩。缩。

【技术实现步骤摘要】
数据处理方法、装置、服务端及存储介质


[0001]本申请属于计算机
,具体涉及一种数据处理方法、装置、服务端及可读存储介质。

技术介绍

[0002]在相关的技术中,通常服务端默认创建两个列族数据库,由其中一个列族数据库存储所有的数据,使得该存储数据的列族数据库中的数据的类型较为复杂,不利于进行数据压缩。

技术实现思路

[0003]鉴于上述问题,本申请提出了一种数据处理方法、装置、服务端及存储介质,以实现改善上述问题。
[0004]第一方面,本申请实施例提出了一种数据处理方法,应用于主服务端,所述方法包括:接收客户端发送的数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;若所述数据操作请求为数据写请求,获取所述客户端发送的多个待操作数据,将获取到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,其中,不同业务类型对应的待操作数据对应的列族数据库不同;若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给客户端。
[0005]进一步的,所述若所述数据操作请求为数据写请求,获取所述客户端发送的多个待操作数据,将获取到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,包括:若所述数据操作请求为数据写请求,获取预设映射表,基于所述预设映射表创建多个列族数据库,所述预设映射表中包括业务类型和列族数据库的对应关系;接收所述客户端发送的所述多个待操作数据,根据所述多个待操作数据各自对应的身份标识确定各自对应的业务类型;基于多个待操作数据各自对应的业务类型,从所述多个列族数据库中确定各自对应的列族数据库;将所述多个待操作数据写入到各自对应的列族数据库中。通过上述方法,通过预设映射表记录业务类型与列族数据库之间的对应关系,从而便于将多待操作数据写入到各自对应列族数据库中。
[0006]进一步的,所将所述多个待操作数据写入到各自对应的列族数据库中之后还包括:将所述多个列族数据库中的待操作数据同步到从服务端对应的多个列族数据库中。
[0007]进一步的,所述将所述多个列族数据库中的待操作数据同步到从服务端对应的多个列族数据库中之后还包括:若检测到所述从服务端中的多个待操作数据小于所述主服务端中的多个待操作数据,且所述从服务端中的多个待操作数据与所述主服务端中的多个待操作数据的数据量差值大于预设阈值,获取差量数据的元数据信息,所述差量数据为所述主服务端的多个待操作数据中,多于所述从服务端的多个待操作数据的待操作数据;向从服务端发送所述元数据信息,以使所述从服务端基于所述元数据信息从所述主服务端中获取对应的差量数据。通过上述方法,通过从服务端获取差量数据的元数据信息,从而根据元
数据信息在主服务端获取到差量数据,使得从服务端中的待操作数据与主服务端中的待操作数据同步。
[0008]进一步的,所述若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给客户端,包括:若所述数据操作请求为数据读请求,在预设缓存区域中查找是否存在与数据读请求对应的多个待操作数据;若预设缓存区域中不存在与所述数据读请求对应的多个待操作数据,根据所述数据读请求包括的待操作数据对应的业务类型,从所述业务类型对应的列族数据库中获取待操作数据,并将所述待操作数据返回给客户端。通过上述方法,在从列族数据库获取待操作数据之前,现在预设缓存区域中查询是否存在与数据读请求对应的待操作数据,从而在预设缓存区域中存在与数据读请求对应的待操作数据的情况下加速了读速度。
[0009]进一步的,所述列族数据库包括第一存储区域以及第二存储区域;所述方法还包括:若所述数据操作请求为数据写请求,将获取到的所述多个待操作数据根据各自对应的业务类型写入到对应的列族数据库中的第一存储区域中;若所述第一存储区域被写满,对所述被写满的第一存储区域中包括的待操作数据进行数据压缩,以将所述被写满的第一存储区域中包括的待操作数据压缩到对应的第二存储区域中。
[0010]第二方面,本申请实施例提出了一种数据处理方法,应用于客户端,所述方法包括:响应于业务调用操作,向主服务端发送数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;在所述数据操作请求为数据写请求的情况下,将多个待操作数据发送至所述主服务端,以使所述主服务端将多个待操作数据写入到各自对应的列族数据库中;在所述数据操作请求为数据读请求的情况下,基于所述数据读请求从所述主服务端中获取与业务类型对应的待操作数据。
[0011]进一步的,所述在所述数据操作请求为数据写请求的情况下,将多个待操作数据根据业务类型发送至所述主服务端,包括:在所述数据操作请求为数据写请求情况下,对多个待处理数据添加身份标识,得到多个待操作数据;将所述多个待操作数据根据所述业务类型发送至所述主服务端。通过上述方法,通过对待处理数据根据各自对应的业务类型添加身份标识,从而使得可以通过识别身份标识确定待操作数据对应的业务类型。
[0012]进一步的,所述数据操作包括数据读操作和数据写操作;所述响应于业务调用操作,向主服务端发送数据操作请求,包括:响应于业务调用操作,获取元数据服务器发送的服务端地址;向所述服务端地址对应的服务端发送数据操作请求。
[0013]第三方面,本申请实施例提出了一种数据处理装置,运行于主服务端,所述装置包括:请求接收单元、数据写入单元以及数据返回单元。请求接收单元,接收客户端发送的数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;数据写入单元,用于若所述数据操作请求为数据写请求,获取客户端发送的多个待操作数据,将获取到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,其中,不同业务类型对应的待操作数据对应的列族数据库不同;数据返回单元,用于若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给客户端。
[0014]第四方面,本申请实施例提出了一种数据处理装置,运行于客户端,所述装置包括:请求发送单元、数据发送单元以及数据获取单元。请求发送单元,用于响应于业务调用操作,向主服务端发送数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;
数据发送单元,用于在所述数据操作请求为数据写请求的情况下,将多个待操作数据发送至所述主服务端,以使所述主服务端将多个待操作数据写入到各自对应的列族数据库中;数据获取单元,用于在所述数据操作请求为数据读请求的情况下,基于所述数据读请求从所述主服务端中获取与业务类型对应的待操作数据。
[0015]第五方面,本申请实施例提供了一种主服务端,包括一个或多个处理器以及存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
[0016]第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述的方法。
[0017]本申请实施例提供了一种数据处本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于主服务端,所述方法包括:接收客户端发送的数据操作请求,所述数据操作请求包括待操作数据对应的业务类型;若所述数据操作请求为数据写请求,获取所述客户端发送的多个待操作数据,将获取到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,其中,不同业务类型对应的待操作数据对应的列族数据库不同;若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给所述客户端。2.根据权利要求1所述的方法,其特征在于,所述若所述数据操作请求为数据写请求,获取所述客户端发送的多个待操作数据,将获取到的所述多个待操作数据根据各自对应的业务类型写入对应的列族数据库中,包括:若所述数据操作请求为数据写请求,获取预设映射表,基于所述预设映射表创建多个列族数据库,所述预设映射表中包括业务类型和列族数据库的对应关系;接收所述客户端发送的所述多个待操作数据,根据所述多个待操作数据各自对应的身份标识确定各自对应的业务类型;基于多个待操作数据各自对应的业务类型,从所述多个列族数据库中确定各自对应的列族数据库;将所述多个待操作数据写入到各自对应的列族数据库中。3.根据权利要求2所述的方法,其特征在于,所将所述多个待操作数据写入到各自对应的列族数据库中之后还包括:将所述多个列族数据库中的待操作数据同步到从服务端对应的多个列族数据库中。4.根据权利要求3所述的方法,其特征在于,所述将所述多个列族数据库中的待操作数据同步到从服务端对应的多个列族数据库中之后还包括:若检测到所述从服务端中的多个待操作数据小于所述主服务端中的多个待操作数据,且所述从服务端中的多个待操作数据与所述主服务端中的多个待操作数据的数据量差值大于预设阈值,获取差量数据的元数据信息,所述差量数据为所述主服务端的多个待操作数据中,多于所述从服务端的多个待操作数据的待操作数据;向从服务端发送所述元数据信息,以使所述从服务端基于所述元数据信息从所述主服务端中获取对应的差量数据。5.根据权利要求1所述的方法,其特征在于,所述若所述数据操作请求为数据读请求,将与所述业务类型对应的多个待操作数据返回给所述客户端,包括:若所述数据操作请求为数据读请求,在预设缓存区域中查找是否存在与所述数据读请求对应的多个待操作数据;若所述预设缓存区域中不存在与所述数据读请求对应的多个待操作数据,根据所述数据读请求包括的待操作数据对应的业务类型,从所述业务类型对应的列族数据库中获取待操作数据,并将所述待操作数据返回给所述客户端。6.根据权利要求1所述的方法,其特征在于,所述列族...

【专利技术属性】
技术研发人员:周玉坤李正正
申请(专利权)人:深信服科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1