【技术实现步骤摘要】
基于Linux平台的大数据执行方法、系统、设备及存储介质
本专利技术涉及大数据
,具体地说,涉及一种基于Linux平台的大数据执行方法、系统、设备及存储介质。
技术介绍
随着云计算大数据技术的发展,在大数据分析领域,分析型数据库ClickHouse由于其读写速度快、支持功能全面等优点,比如支持类SQL查询、支持支持繁多库函数以及支持数组和嵌套数据结构,所以越来越受到开发人员的欢迎。但是现有技术中,开发人员在开发ClickHouse数据库相关业务逻辑时,很多业务逻辑代码存在重复开发的情况,这导致数据库平台上存在大量冗余代码,开发效率低下。并且开发人员调度使用ClickHouse数据库内的大数据时,每个人都需要输入用户名、密码、服务器IP,使用不便。在数据库执行出错之后,只能依赖人工在执行代码中寻找错误信息,排错效率低,不利于快速开发。
技术实现思路
针对现有技术中的问题,本专利技术的目的在于提供一种基于Linux平台的大数据执行方法、系统、设备及存储介质,提高ClickHouse数据库 ...
【技术保护点】
1.一种基于Linux平台的大数据执行方法,其特征在于,包括以下步骤:/n建立多个数据库配置文件,形成配置文件库;/n建立业务逻辑封装模型;/n建立业务逻辑执行函数,所述业务逻辑执行函数具有一参数组,所述参数组至少包括配置文件参数和业务逻辑字符串参数;/n获取所述配置文件参数位置上对应的目标配置文件名,以及所述业务逻辑字符串参数位置上对应的目标业务逻辑代码;/n依据所述目标配置文件名,从所述配置文件库中获得目标配置文件;/n依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果。/n
【技术特征摘要】 【专利技术属性】
1.一种基于Linux平台的大数据执行方法,其特征在于,包括以下步骤:
建立多个数据库配置文件,形成配置文件库;
建立业务逻辑封装模型;
建立业务逻辑执行函数,所述业务逻辑执行函数具有一参数组,所述参数组至少包括配置文件参数和业务逻辑字符串参数;
获取所述配置文件参数位置上对应的目标配置文件名,以及所述业务逻辑字符串参数位置上对应的目标业务逻辑代码;
依据所述目标配置文件名,从所述配置文件库中获得目标配置文件;
依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果。
2.如权利要求1所述的基于Linux平台的大数据执行方法,其特征在于,所述依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果,包括:
对所述目标业务逻辑代码中的操作方式进行解析,获得数据表执行请求;所述操作方式包括左连接、右连接以及内连接;
根据数据表执行请求,获取对应的数据表表名和执行字段;
根据所述数据表表名和执行字段,获取与所述执行字段匹配的数据执行结果。
3.如权利要求2所述的基于Linux平台的大数据执行方法,其特征在于,所述依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果,还包括:
根据数据表执行请求,获取对应的数据过滤条件;
根据所述数据表表名、数据过滤条件和执行字段,获取与所述执行字段以及数据过滤条件匹配的数据执行结果。
4.如权利要求1所述的基于Linux平台的大数据执行方法,其特征在于,所述业务逻辑封装模型中包含第一读取路径和第二读取路径;
所述依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果,包括:
基于所述配置文件参数位置匹配所述第一读取路径或者第二读取路径,确定第一目标路径;
基于所述业务逻辑字符串参数位置匹配所述第一读取路径或者第二读取路径,确定第二目标路径;
将所述目标配置文件作为所述业务逻辑封装模型中所述第一目标路径对应的输入,将所述目标业务逻辑代码作为所述业务逻辑封装模型中所述第二目标路径对应的输入,获得数据执行结果。
5.如权利要求4所述的基于Linux平台的大数据执行方法,其特征在于,所述业务逻辑封装模型中还包含第一输出路径;
所述依据所述目标配置文件以及所述目标业务逻辑代码,执行所述业务逻辑封装模型,获得数据执行结果,包括:
基于所述第一输出路径生成所述业务逻辑封装模型执行过程对应的日志文件。
技术研发人员:叶小琴,吉聪睿,朱秋石,陈莉,
申请(专利权)人:携程计算机技术上海有限公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。