本申请属于计算机技术领域，具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。该方法包括：从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息，所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字；对所述数据过滤信息进行结构化编排，得到与待查询的业务数据相对应的记录编码；在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据，并将所述目标业务数据返回给数据请求方。该方法可以提高数据存储系统的数据处理效率和高并发的数据吞吐能力。能力。能力。
【技术实现步骤摘要】
数据处理方法、装置、计算机可读介质及电子设备
[0001]本申请属于计算机
，具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。
技术介绍
[0002]随着计算机和网络技术的发展，在互联网上产生了大量的网络数据，并且这些数据大多具有无结构化和小尺寸化的特点。为业务系统提供数据支持的数据存储系统一般采用键值对存储系统(如DynamoDB、Redis等)来存储数据，以适应数据访问的高并发需求。键值对存储系统以键值对Key-Value的形式进行数据存储，随着数据量的积累，与单一关键字Key所对应的值域中的数据存储量也将越来越庞大，这将导致存储系统的整体数据吞吐性能下降。例如，在对某一关键字Key进行检索时，需要遍历扫描该关键字Key对应的全量数据，不仅需要花费大量的计算资源，而且数据处理效率低下。而如果对单一关键字Key所对应的值域数据Value进行拆分，则难以保证数据并行读写的一致性。因此，如何提高数据存储系统的数据处理效率是目前亟待解决的问题。
技术实现思路
[0003]本申请的目的在于提供一种数据处理方法、数据处理装置、计算机可读介质以及电子设备，至少在一定程度上克服数据存储系统中存在的数据处理效率低的技术问题。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供一种数据处理方法，该方法包括：从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息，所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字；对所述数据过滤信息进行结构化编排，得到与待查询的业务数据相对应的记录编码；在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据，并将所述目标业务数据返回给数据请求方。
[0006]根据本申请实施例的一个方面，提供一种数据处理装置，该装置包括：信息获取模块，被配置为从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息，所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字；记录编码模块，被配置为对所述数据过滤信息进行结构化编排，得到与待查询的业务数据相对应的记录编码；数据查询模块，被配置为在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据，并将所述目标业务数据返回给数据请求方。
[0007]在本申请的一些实施例中，基于以上技术方案，所述记录编码模块包括：模板获取单元，被配置为获取按照预设编码格式对多个标识位进行结构化编排得到的编码模板；模板赋值单元，被配置为根据所述表格标识和所述关键字对所述编码模板中的各个标识位进行赋值处理，得到业务数据的记录编码。
[0008]在本申请的一些实施例中，基于以上技术方案，所述模板赋值单元包括：第一赋值子单元，被配置为根据所述表格标识对所述编码模板中的存储区域标识位进行赋值处理，所述存储区域标识位用于指示业务数据所在的业务数据表格；第二赋值子单元，被配置为根据所述关键字对所述编码模板中与所述存储区域标识位相邻的关键字标识位进行赋值处理，所述关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的主关键字。
[0009]在本申请的一些实施例中，基于以上技术方案，所述模板赋值单元还包括：第三赋值子单元，被配置为根据预设的数据类型标识符对位于所述编码模板头部的存储类型标识位进行赋值处理，所述存储类型标识位用于指示当前业务数据的存储类型为表格数据或者非表格数据；第四赋值子单元，被配置为根据预设的记录标识符对位于所述编码模板尾部的编码类型标识位进行赋值处理，所述编码类型标识位用于指示当前编码的编码类型为记录编码或者索引编码。
[0010]在本申请的一些实施例中，基于以上技术方案，所述模板赋值单元还包括：次级关键字获取子单元，被配置为获取与业务数据相关联的次级关键字；第五赋值子单元，被配置为根据所述次级关键字对所述编码模板中的次级关键字标识位进行赋值处理，所述次级关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的次级关键字。
[0011]在本申请的一些实施例中，基于以上技术方案，所述次级关键字获取子单元包括：类型识别子单元，被配置为对所述数据过滤信息中的关键字进行类型识别，得到每个关键字的业务类型；关键字分类子单元，被配置为根据所述业务类型将所述关键字分类为与业务数据相关联的主关键字和次级关键字。
[0012]在本申请的一些实施例中，基于以上技术方案，所述次级关键字获取子单元包括：索引字段获取子单元，被配置为从所述数据过滤信息中获取待查询的业务数据的索引字段；第六赋值子单元，被配置为根据所述索引字段对所述编码模板中的索引字段标识位进行赋值处理，所述索引字段标识位用于指示存储业务数据时配置的索引字段；第七赋值子单元，被配置为根据预设的索引标识符对所述编码模板中的编码类型标识位进行赋值处理，所述编码类型标识位用于指示当前编码的编码类型为记录编码或者索引编码；次级关键字查询子单元，被配置为在存储系统中查询索引前缀与赋值处理得到的索引编码相匹配的次级关键字。
[0013]在本申请的一些实施例中，基于以上技术方案，所述信息获取模块包括：请求生成单元，被配置为获取数据请求方在业务系统上对业务数据表执行的表格操作信息，以根据所述表格操作信息生成业务数据查询请求；接口调用单元，被配置为调用在所述业务系统与存储系统之间配置的对象关系映射接口；映射转换单元，被配置为通过所述对象关系映射接口对所述业务数据查询请求进行映射转换，得到用于在所述存储系统上进行数据查询的数据过滤信息。
[0014]在本申请的一些实施例中，基于以上技术方案，所述存储系统包括位于内存中的可读写文件、位于内存中的只读文件以及位于磁盘中的具有层状结构的有序字符串表；所述数据查询模块包括：第一查询单元，被配置为在所述可读写文件中查询数据前缀与所述记录编码相匹配的目标业务数据；第二查询单元，被配置为若在所述可读写文件中查询失败，则在所述只读文件中查询与所述记录编码相匹配的目标业务数据；第三查询单元，被配
置为若在所述只读文件中查询失败，则在所述有序字符串表中逐级查询与所述记录编码相匹配的目标业务数据。
[0015]在本申请的一些实施例中，基于以上技术方案，所述数据查询模块还包括：数据读取单元，被配置为对查询得到的目标业务数据执行数据读取操作；数据加锁单元，被配置为对所述目标业务数据进行加锁处理，以使所述目标业务数据拒绝其他业务数据处理线程的数据访问请求；数据返回单元，被配置为将读取完成的目标业务数据返回给数据请求方，并对所述目标业务数据进行解锁处理。
[0016]在本申请的一些实施例中，基于以上技术方案，所述数据加锁单元包括：主关键字获取子单元，被配置为获取与所述目标业务数据相对应的主关键字；主关键字加锁子单元，被配置为为存储系统中与所述主关键字相对应的数据对象添加共享锁。
[0017]在本申请的一些实施例中，基于以上本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从基于业务数据表格的业务数据查询请求中获取用于进行数据查询的数据过滤信息，所述数据过滤信息包括所述业务数据表格的表格标识以及与待查询的业务数据相对应的关键字；对所述数据过滤信息进行结构化编排，得到与待查询的业务数据相对应的记录编码；在存储系统中查询数据前缀与所述记录编码相匹配的目标业务数据，并将所述目标业务数据返回给数据请求方。2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述表格标识和所述关键字进行结构化编排，得到业务数据的记录编码，包括：获取按照预设编码格式对多个标识位进行结构化编排得到的编码模板；根据所述表格标识和所述关键字对所述编码模板中的各个标识位进行赋值处理，得到业务数据的记录编码。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理，包括：根据所述表格标识对所述编码模板中的存储区域标识位进行赋值处理，所述存储区域标识位用于指示业务数据所在的业务数据表格；根据所述关键字对所述编码模板中与所述存储区域标识位相邻的关键字标识位进行赋值处理，所述关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的主关键字。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理，还包括：根据预设的数据类型标识符对位于所述编码模板头部的存储类型标识位进行赋值处理，所述存储类型标识位用于指示当前业务数据的存储类型为表格数据或者非表格数据；根据预设的记录标识符对位于所述编码模板尾部的编码类型标识位进行赋值处理，所述编码类型标识位用于指示当前编码的编码类型为记录编码或者索引编码。5.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述表格标识和所述关键字对所述编码模板中的标识位进行赋值处理，还包括：获取与业务数据相关联的次级关键字；根据所述次级关键字对所述编码模板中的次级关键字标识位进行赋值处理，所述次级关键字标识位用于指示存储业务数据时配置的与所述业务数据相关联的次级关键字。6.根据权利要求5所述的数据处理方法，其特征在于，所述获取与业务数据相关联的次级关键字，包括：对所述数据过滤信息中的关键字进行类型识别，得到每个关键字的业务类型；根据所述业务类型将所述关键字分类为与业务数据相关联的主关键字和次级关键字。7.根据权利要求5所述的数据处理方法，其特征在于，所述获取与业务数据相关联的次级关键字，包括：从所述数据过滤信息中获取待查询的业务数据的索引字段；根据所述索引字段对所述编码模板中的索引字段标识位进行赋值处理，所述索引字段标识位用于指示存储业务数据时配置的索引字段；
根据预设的索引标识符对所述编码模板中的编码类型标识位进行赋值处理，所述编码类型标识位用于指示当前编码的编码类型为记录编码或者...
【专利技术属性】
技术研发人员：陈云云，李达统，曾楚伟，李斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。