基于SQL的数据湖数据开发方法和数据湖数据开发系统技术方案

本申请公开了一种基于SQL的数据湖数据开发方法和数据湖数据开发系统，属于数据处理技术领域。所述基于SQL的数据湖数据开发方法，包括：基于软件开发工具包和资源文件，生成链接库；将所述链接库部署至计算集群的目标工作节点，生成数据湖数据开发系统。本申请的基于SQL的数据湖数据开发方法，基于软件开发包和资源文件生成链接库，并将链接库部署至计算集群的目标工作节点以生成数据湖数据开发系统，使得在后续数据查询过程中，无需额外开发代码，只需通过目标工作节点调取部署于该节点的链接库即可查询结构化数据以及非结构化数据，操作简单快捷，使用门槛低，且提高了数据查询以及维护效率。维护效率。维护效率。

【技术实现步骤摘要】
基于SQL的数据湖数据开发方法和数据湖数据开发系统


[0001]本申请属于数据处理
，尤其涉及一种基于SQL的数据湖数据开发方法和数据湖数据开发系统。

技术介绍

[0002]传统数据仓库仅支持结构化数据的格式，且数据生态封闭，无法满足日益增长的对数据时效性的需求，而数据湖可以高效率低成本地管理海量多源异构数据，打通数据孤岛，释放数据价值，助力新时代下各行业企业的数字化转型，被广泛应用于企业业务数据管理中。
[0003]然而相关技术中，在对数据湖进行开发以及加工过程中，涉及较多且复杂的技术栈，需采用多种原生的程序开发语言，导致数据开发以及加工的步骤繁琐，任务调度复杂，使用门槛较高；除此之外，还需要维护原始操作系统的crontab表达式，在大批量的数据开发以及加工任务同时调度的场景下几乎无法进行手工维护，从而影响开发效率。

技术实现思路

[0004]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种基于SQL的数据湖数据开发方法和数据湖数据开发系统，降低操作门槛，提高数据查询以及维护效率。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SQL的数据湖数据开发方法，其特征在于，包括：基于软件开发工具包和资源文件，生成链接库；将所述链接库部署至计算集群的目标工作节点，生成数据湖数据开发系统。2.根据权利要求1所述的基于SQL的数据湖数据开发方法，其特征在于，在所述将所述链接库部署至计算集群的目标工作节点之后，所述方法还包括：接收查询请求；响应于所述查询请求，在所述目标工作节点调用所述链接库，且从目标数据库中调取与所述查询请求对应的目标数据。3.根据权利要求2所述的基于SQL的数据湖数据开发方法，其特征在于，所述链接库对应有秘钥，所述在所述目标工作节点调用所述链接库，且从目标数据库中调取与所述查询请求对应的目标数据，包括：在所述秘钥验证通过的情况下，在所述目标工作节点调用所述链接库，且从所述目标数据库中调取与所述查询请求对应的所述目标数据。4.根据权利要求1
‑
3任一项所述的基于SQL的数据湖数据开发方法，其特征在于，在所述基于软件开发工具包和资源文件，生成链接库之前，所述方法还包括：基于CA证书生成秘钥。5.根据权利要求1
‑
3任一项所述的基于SQL的数据湖数据开发方法，其特征在于，所述基于软件开发工具包和资源文件，生成链接库，包括：定义函数原型文件；采用javac
‑
h生成所述函数原型文件对应的头文件，所述头文件与所述软件开发工具包对接；编译所述头文件和所述资源文件，生成所述链接库。6.根据权利要求5所述的基于SQL的数据湖数...

【专利技术属性】
技术研发人员：田丰，林誉，彭冠莲，林华，凌征有，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：