数据操作方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及数据处理领域，具体公开了一种数据操作方法、装置、电子设备及存储介质。该方法包括：获取数据表操作请求中包含的数据库标识以及数据表标识；获取与所述数据库标识相对应的数据库配置信息，根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点；从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息；根据所述数据表属性信息，对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作。该方式大幅提升了数据表的操作效率，且避免了手动输入信息出错的问题，提升了准确性。了准确性。了准确性。

【技术实现步骤摘要】
数据操作方法、装置、电子设备及存储介质


[0001]本公开实施例涉及数据处理领域，具体涉及一种数据操作方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。大数据的主要特点是体量大、种类多、速度快以及价值高等特点，并同时伴随着多源、异构以及海量的数据特征。
[0003]为了实现大数据的存储，各种类型的数据库也随之应运而生。数据库中存储着海量的数据表，在一些业务场景中，需要针对数据库中已创建的数据表执行各种类型的数据操作。
[0004]在相关技术中，为了能够对已创建的数据表执行数据操作，需要用户手动输入已创建的数据表的各项信息，以便根据用户手动输入的各项信息定位到数据库中对应的数据表，并执行相关数据操作。由此可见，在数据表数量较多的应用场景中，上述实现方式至少存在操作繁琐、效率低下的缺陷。

技术实现思路

[0005]鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据操作方法、装置、电子设备及存储介质。
[0006]根据本公开实施例的一个方面，提供了一种数据操作方法，包括：
[0007]获取数据表操作请求中包含的数据库标识以及数据表标识；
[0008]获取与所述数据库标识相对应的数据库配置信息，根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点；
[0009]从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息；
[0010]根据所述数据表属性信息，对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作。
[0011]在一种可选的实现方式中，所述数据操作包括：写入操作；所述根据所述数据表属性信息，对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作具体包括：
[0012]获取与所述数据表操作请求相对应的待写入数据；其中，所述待写入数据包括：按照第一字段次序排列的多个待写入字段；
[0013]根据所述数据表属性信息，确定与所述目标数据表相对应的第二字段次序；
[0014]在所述第二字段次序与所述第一字段次序不匹配的情况下，对所述多个待写入字段的字段次序进行调整，将多个调整后的待写入字段写入所述目标数据表。
[0015]在一种可选的实现方式中，所述获取与所述数据表操作请求相对应的待写入数据具体包括：
[0016]根据所述数据库标识，确定与所述数据库标识相对应的目标数据格式；
[0017]获取与所述数据表操作请求相对应的原始操作数据，确定所述原始操作数据的原始数据格式；
[0018]对所述原始操作数据执行格式转换处理，得到与所述目标数据格式相匹配的所述待写入数据。
[0019]在一种可选的实现方式中，所述对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作之前，还包括：
[0020]获取与所述数据表操作请求相对应的分区调整参数，根据所述数据表属性信息确定所述目标数据表的初始分区信息；
[0021]根据所述分区调整参数中包含的调整类型以及虚拟分区字段，对所述目标数据表的初始分区信息进行调整，得到所述目标数据表调整后的分区信息；
[0022]则所述对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作具体包括：根据所述目标数据表调整后的分区信息，对所述目标数据表执行数据操作。
[0023]在一种可选的实现方式中，所述根据所述分区调整参数中包含的调整类型以及虚拟分区字段，对所述目标数据表的初始分区信息进行调整，得到所述目标数据表调整后的分区信息具体包括：
[0024]获取所述虚拟分区字段的字段值，根据所述数据表属性信息中包含的分区配置信息，确定与所述虚拟分区字段的字段值相对应的目标分区；
[0025]按照所述调整类型，对所述目标分区进行调整，得到所述调整后的分区信息；其中，所述调整类型包括：尺寸调整类型、和/或数据删除类型。
[0026]在一种可选的实现方式中，所述根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点具体包括：
[0027]根据所述数据库配置信息，确定与所述数据库标识相对应的集群拓扑结构；
[0028]根据所述集群拓扑结构，确定与所述数据库标识相对应的多个前端数据节点以及多个后端数据节点；
[0029]从所述多个前端数据节点中确定与所述数据表标识相对应的前端数据节点，以及，从多个后端数据节点中确定与所述数据表标识相对应的后端数据节点。
[0030]在一种可选的实现方式中，所述从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息包括：
[0031]根据所述集群拓扑结构，获取所述数据表标识相对应的前端数据节点的节点地址以及鉴权信息；
[0032]根据所述节点地址以及鉴权信息，从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息；其中，所述鉴权信息包括：账号信息和/或密码信息。
[0033]在一种可选的实现方式中，所述方法执行之前，还包括：
[0034]根据目标数据库的数据库类型，生成所述数据库标识；
[0035]配置并加载与所述数据库标识相对应的目标数据库服务；
[0036]其中，所述获取数据表操作请求中包含的数据库标识以及数据表标识的步骤及其后续步骤通过所述目标数据库服务执行。
[0037]在一种可选的实现方式中，所述目标数据库为分布式关系型列式数据库；
[0038]并且，所述目标数据库服务中包括以下接口中的至少一个：信息获取接口、数据操作接口、以及分区操作接口；
[0039]则所述获取与所述数据库标识相对应的数据库配置信息，根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点；从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息的步骤通过调用所述信息获取接口实现；
[0040]所述对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作的步骤通过调用所述数据操作接口实现；
[0041]所述对所述目标数据表的初始分区信息进行调整的步骤通过调用所述分区操作接口实现。
[0042]在一种可选的实现方式中，所述目标数据库服务包括：基于批处理计算框架实现的插件服务；或者，所述目标数据库服务包括：基于微服务实现的对象关系映射框架服务。
[0043]依据本公开的再一方面，提供了一种数据操作装置，所述装置包括：
[0044]标识获取模块，适于获取数据表操作请求中包含的数据库标识以及数据表标识；
[0045]配置获取模块，适于获取与所述数据库标识相对应的数据库配置信息，根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据操作方法，包括：获取数据表操作请求中包含的数据库标识以及数据表标识；获取与所述数据库标识相对应的数据库配置信息，根据所述数据库配置信息确定与所述数据表标识相对应的前端数据节点以及后端数据节点；从所述前端数据节点中获取与所述数据表标识相对应的数据表属性信息；根据所述数据表属性信息，对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作。2.根据权利要求1所述的方法，其中，所述数据操作包括：写入操作；所述根据所述数据表属性信息，对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作具体包括：获取与所述数据表操作请求相对应的待写入数据；其中，所述待写入数据包括：按照第一字段次序排列的多个待写入字段；根据所述数据表属性信息，确定与所述目标数据表相对应的第二字段次序；在所述第二字段次序与所述第一字段次序不匹配的情况下，对所述多个待写入字段的字段次序进行调整，将多个调整后的待写入字段写入所述目标数据表。3.根据权利要求2所述的方法，其中，所述获取与所述数据表操作请求相对应的待写入数据具体包括：根据所述数据库标识，确定与所述数据库标识相对应的目标数据格式；获取与所述数据表操作请求相对应的原始操作数据，确定所述原始操作数据的原始数据格式；对所述原始操作数据执行格式转换处理，得到与所述目标数据格式相匹配的所述待写入数据。4.根据权利要求2或3所述的方法，其中，所述对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作之前，还包括：获取与所述数据表操作请求相对应的分区调整参数，根据所述数据表属性信息确定所述目标数据表的初始分区信息；根据所述分区调整参数中包含的调整类型以及虚拟分区字段，对所述目标数据表的初始分区信息进行调整，得到所述目标数据表调整后的分区信息；则所述对所述后端数据节点中存储的与所述数据表标识相对应的目标数据表执行数据操作具体包括：根据所述目标数据表调整后的分区信息，对所述目标数据表执行数据操作。5.根据权利要求4所述的方法，其中，所述根据所述分区调整参数中包含的调整类型以及虚拟分区字段，对所述目标数据表的初始分区信息进行调整，得到所述目标数据表调整后的分区信息具体包括：获取所述虚拟分区字段的字段值，根据所述数据表属性信息中包含的分区配置信息，确定与所述虚拟分区字段的字段值相对应的目标分区；按照所述调整类型，对所述目标分区进行调整，得到所述调整后的分区信息；其中，所述调整类型包括：尺寸调整类型、和/或数据删除类型。6.根据权利要求1
‑
5任一所述的方法，其中，所述根据所述数据库配置信息确定与所述
数据表标识相对应的前端数据节点以及后端数据节点具体包括：根据所述数据库配置信息，确定与所述数据库标识相对应的集群拓扑结构；根据所述集群拓扑结构，确定与所述数据库标识相对应的多个前端数据节点以及多个后端数据节...

【专利技术属性】
技术研发人员：陈铖，
申请(专利权)人：上海米哈游天命科技有限公司，
类型：发明
国别省市：