【技术实现步骤摘要】
数据处理方法、装置、计算机可读介质及电子设备
[0001]本申请属于计算机
,具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。
技术介绍
[0002]随着计算机和网络技术的发展,在互联网上产生了大量的网络数据,并且这些数据大多具有无结构化和小尺寸化的特点。为业务系统提供数据支持的数据存储系统一般采用键值对存储系统(如DynamoDB、Redis等)来存储数据,以适应数据访问的高并发需求。键值对存储系统以键值对Key-Value的形式进行数据存储,随着数据量的积累,与单一关键字Key所对应的值域中的数据存储量也将越来越庞大,这将导致存储系统的整体数据吞吐性能下降。例如,在对某一关键字Key进行检索时,需要遍历扫描该关键字Key对应的全量数据,不仅需要花费大量的计算资源,而且数据处理效率低下。而如果对单一关键字Key所对应的值域数据Value进行拆分,则难以保证数据并行读写的一致性。因此,如何提高数据存储系统的数据处理效率是目前亟待解决的问题。
技术实现思路
[0003]本申请的目的在于 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息,所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字;对所述数据过滤信息进行结构化编排,得到与待查询的业务数据相对应的记录编码;在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据,并将所述目标业务数据返回给数据请求方。2.根据权利要求1所述的数据处理方法,其特征在于,所述对所述表格标识和所述关键字进行结构化编排,得到业务数据的记录编码,包括:获取按照预设编码格式对多个标识位进行结构化编排得到的编码模板;根据所述表格标识和所述关键字对所述编码模板中的各个标识位进行赋值处理,得到业务数据的记录编码。3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理,包括:根据所述表格标识对所述编码模板中的存储区域标识位进行赋值处理,所述存储区域标识位用于指示业务数据所在的业务数据表格;根据所述关键字对所述编码模板中与所述存储区域标识位相邻的关键字标识位进行赋值处理,所述关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的主关键字。4.根据权利要求3所述的数据处理方法,其特征在于,所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理,还包括:根据预设的数据类型标识符对位于所述编码模板头部的存储类型标识位进行赋值处理,所述存储类型标识位用于指示当前业务数据的存储类型为表格数据或者非表格数据;根据预设的记录标识符对位于所述编码模板尾部的编码类型标识位进行赋值处理,所述编码类型标识位用于指示当前编码的编码类型为记录编码或者索引编码。5.根据权利要求3所述的数据处理方法,其特征在于,所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理,还包括:获取与业务数据相关联的次级关键字;根据所述次级关键字对所述编码模板中的次级关键字标识位进行赋值处理,所述次级关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的次级关键字。6.根据权利要求5所述的数据处理方法,其特征在于,所述获取与业务数据相关联的次级关键字,包括:对所述数据过滤信息中的关键字进行类型识别,得到每个关键字的业务类型;根据所述业务类型将所述关键字分类为与业务数据相关联的主关键字和次级关键字。7.根据权利要求5所述的数据处理方法,其特征在于,所述获取与业务数据相关联的次级关键字,包括:从所述数据过滤信息中获取待查询的业务数据的索引字段;根据所述索引字段对所述编码模板中的索引字段标识位进行赋值处理,所述索引字段标识位用于指示存储业务数据时配置的索引字段;
根据预设的索引标识符对所述编码模板中的编码类型标识位进行赋值处理,所述编码类型标识位用于指示当前编码的编码类型为记录编码或者...
【专利技术属性】
技术研发人员:陈云云,李达统,曾楚伟,李斌,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。