【技术实现步骤摘要】
数据管理方法、装置、设备及计算机存储介质
本公开实施例涉及计算机应用
,尤其涉及数据管理方法、装置、设备及计算机存储介质。
技术介绍
目前大数据行业正在蓬勃的发展,大数据中的需求也变得多样化,所以多样的需求催生了各种应对的方案。其中在大数据中面对海量数据的查询方法依然是比较陈旧,在基于原表对数据的聚合查询、关联查询、子查询等,然后得到最终想要的结果。这样的查询效率比较低,每次查询都需要多个原表关联和需要庞大的结构化查询语言(StructuredQueryLanguage,sql)语句,在海量的数据中寻寻觅觅想要的结果数据。而且现有的中间表方式是先手动创建中间表结构,然后通过本地上传数据等方式上传数据到中间表。这样的查询效率是比较低的,步骤比较繁琐,需要用户自己手动定义表的结构,字段的类型等。而且,用户自己手动创建表结构,添加定义字段的类型增大了出错的概率,很可能导致字段列数没有一致、字段类型没有对应等错误。
技术实现思路
为了解决上述技术问题,本公开第一方面提供了一种数据管理方法,包括:解析结构化查询语言的语句以获取元数据;利用所述元数据组合拼装成中间表的创建语 ...
【技术保护点】
1.一种数据管理方法,其特征在于,包括:解析结构化查询语言的语句以获取元数据;利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表;利用选择‑插入方式对所述中间表进行数据生产,其中,所述选择‑插入方式为将选择到的数据在内存中插入到所述中间表中。
【技术特征摘要】
1.一种数据管理方法,其特征在于,包括:解析结构化查询语言的语句以获取元数据;利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表;利用选择-插入方式对所述中间表进行数据生产,其中,所述选择-插入方式为将选择到的数据在内存中插入到所述中间表中。2.根据权利要求1所述的方法,其特征在于,所述元数据包括所述解析结构化查询语言的语句所查询的选择项的名称、所查询的选择项的类型和所查询的表的名称。3.根据权利要求2所述的方法,其特征在于,所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表,包括:利用所述元数据中的选择项的名称和选择项的类型拼装成中间表的创建语句,并且将所述中间表的创建语句提交到服务器以创建中间表。4.根据权利要求1所述的方法,其特征在于,在所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表之前,所述方法还包括:从所述元数据中的项目中选取一个项目作为分区字段,其中,所述分区字段描述了所要创建的中间表的分区。5.根据权利要求4所述的方法,其特征在于,所述利用所述元数据组合拼装成中间表的创建语句并且利用所述创建语句创建中间表,包括:利用所述元数据中的选择项的名称、选择项的类型和所述分区字段拼装成中间表的创建语句,并且将所述中间表的创建语句提交到服务器以创建中间表,其中,所...
【专利技术属性】
技术研发人员:梁福坤,刘海宇,王宇鑫,
申请(专利权)人:拉扎斯网络科技上海有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。