基于presto的数据处理方法及装置制造方法及图纸

技术编号:20724816 阅读:40 留言:0更新日期:2019-03-30 17:40
本发明专利技术实施例涉及大数据处理技术领域,具体而言,涉及一种基于presto的数据处理方法及装置。该方法能够将客户端发送的配置信息以动态编码的形式转化为结构化查询语句,并交由设定处理引擎进行处理,进而获得目标数据,如此,能够动态地将配置信息进行改造,实现动态化的脱节点配置,使得客户端在响应用户输入的操作指令生成对应的配置信息之后直接将该配置信息交由服务端进行处理,无需用户进行额外的编码操作,能够满足用户根据多样化的数据分析和处理需求。

【技术实现步骤摘要】
基于presto的数据处理方法及装置
本专利技术实施例涉及大数据处理
,具体而言,涉及一种基于presto的数据处理方法及装置。
技术介绍
大数据是大量、高速、多变的信息,它需要新型的处理方式去促成更强的决策能力、洞察力与最佳化处理。大数据为用户获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。随着大数据的发展,用户需要根据自身的业务、逻辑需求对大数据进行分析和挖掘,这也要求后台对数据处理的能力要与用户需求所匹配,但是现有技术进行数据处理的灵活性较差,常常需要用户具备一定的编码基础以辅助实现数据的处理。
技术实现思路
有鉴于此,本专利技术提供了一种基于presto的数据处理方法及装置。本专利技术实施例提供了一种基于presto的数据处理方法,应用于与客户端通信连接的服务端,所述方法包括:获取所述客户端发送的配置信息;将所述配置信息以动态编码的形式转化为结构化查询语句;将所述结构化查询语句提交至设定处理引擎,使所述设定处理引擎将所述结构化查询语句的数据类型转化为目标数据类型,提取完成转化的结构化查询语句中包括的自定义查询信息和待查询数据库信息;使所述设定处理引擎根据所述待查询数本文档来自技高网...

【技术保护点】
1.一种基于presto的数据处理方法,其特征在于,应用于与客户端通信连接的服务端,所述方法包括:获取所述客户端发送的配置信息;将所述配置信息以动态编码的形式转化为结构化查询语句;将所述结构化查询语句提交至设定处理引擎,使所述设定处理引擎将所述结构化查询语句的数据类型转化为目标数据类型,提取完成转化的结构化查询语句中包括的自定义查询信息和待查询数据库信息;使所述设定处理引擎根据所述待查询数据库信息从预设数据库中调取对应的至少一个数据库,并使所述设定处理引擎在内存中执行所述自定义查询信息以实现从所述至少一个数据库中查找出目标数据,再使所述设定处理引擎将所述目标数据发送至所述客户端。

【技术特征摘要】
1.一种基于presto的数据处理方法,其特征在于,应用于与客户端通信连接的服务端,所述方法包括:获取所述客户端发送的配置信息;将所述配置信息以动态编码的形式转化为结构化查询语句;将所述结构化查询语句提交至设定处理引擎,使所述设定处理引擎将所述结构化查询语句的数据类型转化为目标数据类型,提取完成转化的结构化查询语句中包括的自定义查询信息和待查询数据库信息;使所述设定处理引擎根据所述待查询数据库信息从预设数据库中调取对应的至少一个数据库,并使所述设定处理引擎在内存中执行所述自定义查询信息以实现从所述至少一个数据库中查找出目标数据,再使所述设定处理引擎将所述目标数据发送至所述客户端。2.根据权利要求1所述的基于presto的数据处理方法,其特征在于,使所述设定处理引擎将所述结构化查询语句的数据类型转化为目标数据类型的步骤,包括:使所述设定处理引擎将所述结构化查询语句进行解析,获得所述结构化查询语句的数据类型;判断所述数据类型是否与所述目标数据类型一致,若所述数据类型与所述目标数据类型不一致,将所述数据类型转换为所述目标数据类型。3.根据权利要求1所述的基于presto的数据处理方法,其特征在于,使所述设定处理引擎在内存中执行所述自定义查询信息以实现从所述至少一个数据库中查找出目标数据的步骤,包括:若所述至少一个数据库的数量为多个,判断各所述数据库的数据源类型是否相同,若各所述数据库的数据源类型不相同,将各所述数据库进行整合以获得关联数据库;使所述设定处理引擎在所述内存中执行所述自定义查询信息以实现从所述关联数据库中查找出所述目标数据。4.根据权利要求3所述的基于presto的数据处理方法,其特征在于,将各所述数据库进行整合以获得关联数据库的步骤,包括:创建空白数据库;将各所述数据库中数据复制到所述空白数据库以获得所述关联数据库。5.根据权利要求1所述的基于presto的数据处理方法,其特征在于,将所述结构化查询语句提交至设定处理引擎的步骤,包括:创建传输链接;采用所述传输链接将所述结构化查询语句提交至所述设定处理引擎。6.一种基于presto的数据处理装置,其特征在于,应用于与客户端通信连...

【专利技术属性】
技术研发人员:费滔赖文文王纯斌赵神州
申请(专利权)人:成都四方伟业软件股份有限公司
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1