数据管理方法、装置、设备及计算机存储介质制造方法及图纸

本公开实施例提供数据管理方法、装置、设备及计算机存储介质。数据管理方法包括：解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择‑插入方式对所述中间表进行数据生产，其中，所述选择‑插入方式为将选择到的数据在内存中插入到所述中间表中，可以使用配置自动化的选择‑插入进行中间表数据生产的方式可以简化用户查询数据时繁琐的操作步骤、提高效率，并且降低由于人工干预而导致的出错概率，保证字段列数一致、字段类型对应。

【技术实现步骤摘要】
数据管理方法、装置、设备及计算机存储介质
本公开实施例涉及计算机应用
，尤其涉及数据管理方法、装置、设备及计算机存储介质。
技术介绍
目前大数据行业正在蓬勃的发展，大数据中的需求也变得多样化，所以多样的需求催生了各种应对的方案。其中在大数据中面对海量数据的查询方法依然是比较陈旧，在基于原表对数据的聚合查询、关联查询、子查询等，然后得到最终想要的结果。这样的查询效率比较低，每次查询都需要多个原表关联和需要庞大的结构化查询语言(StructuredQueryLanguage，sql)语句，在海量的数据中寻寻觅觅想要的结果数据。而且现有的中间表方式是先手动创建中间表结构，然后通过本地上传数据等方式上传数据到中间表。这样的查询效率是比较低的，步骤比较繁琐，需要用户自己手动定义表的结构，字段的类型等。而且，用户自己手动创建表结构，添加定义字段的类型增大了出错的概率，很可能导致字段列数没有一致、字段类型没有对应等错误。
技术实现思路
为了解决上述技术问题，本公开第一方面提供了一种数据管理方法，包括：解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择-插入方式对所述中间表进行数据生产，其中，所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中。结合第一方面，本公开在第一方面的第一种实现方式中，所述元数据包括所述解析结构化查询语言的语句所查询的选择项的名称、所查询的选择项的类型和所查询的表的名称。结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：利用所述元数据中的选择项的名称和选择项的类型拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表。结合第一方面，本公开在第一方面的第三种实现方式中，在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前，所述方法还包括：从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区。结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：利用所述元数据中的选择项的名称、选择项的类型和所述分区字段拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表，其中，所述中间表具有根据所述分区字段描述的分区。结合第一方面，本公开在第一方面的第五种实现方式中，在所述利用选择-插入方式对所述中间表进行数据生产之前，所述方法还包括：对所述中间表的更新设置例行配置，其中，所述例行配置包含所述中间表更新的执行周期。结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前，所述方法还包括：从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区；其中，所述例行配置包含所述中间表更新的执行周期和执行分区。结合第一方面的第五种实现方式或第六种实现方式，本公开在第一方面的第七种实现方式中，所述利用选择-插入方式对所述中间表进行数据生产，包括：根据所述例行配置利用选择-插入方式对所述中间表进行数据生产。本公开第二方面提供了一种数据管理装置，包括：解析模块，被配置为解析结构化查询语言的语句以获取元数据；中间表创建模块，配置为利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；数据生产模块，配置为利用选择-插入方式对所述中间表进行数据生产，其中，所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中。结合第二方面，本公开在第二方面的第一种实现方式中，所述元数据包括所述解析结构化查询语言的语句所查询的选择项的名称、所查询的选择项的类型和所查询的表的名称。结合第二方面的第一种实现方式，本公开在第二方面的第二种实现方式中，所述中间表创建模块还被配置为：利用所述元数据中的选择项的名称和选择项的类型拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表。结合第二方面，本公开在第二方面的第三种实现方式中，在所述中间表创建模块之前，所述装置还包括：分区配置模块，被配置为从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区。结合第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述中间表创建模块还被配置为：利用所述元数据中的选择项的名称、选择项的类型和所述分区字段拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表，其中，所述中间表具有根据所述分区字段描述的分区。结合第二方面，本公开在第二方面的第五种实现方式中，在所述数据生产模块之前，所述装置还包括：例行配置模块，被配置为对所述中间表的更新设置例行配置，其中，所述例行配置包含所述中间表更新的执行周期。结合第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，在所述中间表创建模块之前，所述装置还包括：分区配置模块，被配置为从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区；其中，所述例行配置包含所述中间表更新的执行周期和执行分区。结合第二方面的第五种实现方式或第六种实现方式，本公开在第二方面的第七种实现方式中，所述数据生产模块还被配置为：根据所述例行配置利用选择-插入方式对所述中间表进行数据生产。本公开第三方面提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种实现方式至第七种实现方式中的任一项所述的方法。本公开第四方面提供了一种计算机存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种实现方式至第七种实现方式中的任一项所述的方法。在本公开实施方式中，通过解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择-插入方式对所述中间表进行数据生产，其中，所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中，可以使用配置自动化的选择-插入(Select-Insert，SI)进行中间表数据生产的方式可以简化用户查询数据时繁琐的操作步骤、提高效率，并且降低由于人工干预而导致的出错概率，保证字段列数一致、字段类型对应。本公开的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对示例性实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些示例性实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出根据本公开一实施方式的数据管理方法的流程图；图2示出根据本公开另一实施方式的数据管理方法的流程图；图3示出根据本公开另一实施方式的数据管理方法的流本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，包括：解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择‑插入方式对所述中间表进行数据生产，其中，所述选择‑插入方式为将选择到的数据在内存中插入到所述中间表中。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：解析结构化查询语言的语句以获取元数据；利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表；利用选择-插入方式对所述中间表进行数据生产，其中，所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中。2.根据权利要求1所述的方法，其特征在于，所述元数据包括所述解析结构化查询语言的语句所查询的选择项的名称、所查询的选择项的类型和所查询的表的名称。3.根据权利要求2所述的方法，其特征在于，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：利用所述元数据中的选择项的名称和选择项的类型拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表。4.根据权利要求1所述的方法，其特征在于，在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前，所述方法还包括：从所述元数据中的项目中选取一个项目作为分区字段，其中，所述分区字段描述了所要创建的中间表的分区。5.根据权利要求4所述的方法，其特征在于，所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表，包括：利用所述元数据中的选择项的名称、选择项的类型和所述分区字段拼装成中间表的创建语句，并且将所述中间表的创建语句提交到服务器以创建中间表，其中，所...

【专利技术属性】
技术研发人员：梁福坤，刘海宇，王宇鑫，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：上海,31