【技术实现步骤摘要】
本专利技术属于，具体涉及一种通用标准结构化查询语言转换异构数据源的方法及系统。
技术介绍
1、传统标准结构化查询语言(sql)是一种广泛使用的关系型数据库管理系统语言，大部分现有技术中基本基于sql2000协议进行数据查询。虽然sql提供了关系型数据标准查询语句进行dml、ddl等操作。但在处理大规模数据和高并发访问时，可能会出现性能瓶颈或故障，因此不能很好地应对一些极端情况。
2、随着大数据时代的到来，传统数据库已经无法满足大规模数据分析的需求。尽管可以通过采用大数据解析来处理这些数据，但针对每一种数据库都需要涉及到不同的语法，这导致了缺乏通用性，各数据库查询语句也无法标准统一。由此，学习成本较大，而且很难实现复用。
3、在大数据时代，因为传统的关系型数据库无法满足海量数据的存储和处理需求，往往需要使用分布式数据库进行大规模数据分析。这些分布式数据库通常有不同的架构和特性，因此会有不同的查询语言和api来支持它们的操作。
4、由于不同数据库的查询语句是互相独立的，因此当用户使用不同的数据库时，需要学习和掌握特定的查询语句和api。这就导致学习成本增高、代码重复和维护难度大、缺乏标准化和可移植性低等问题的出现。
5、有鉴于此，提出一种通用标准结构化查询语言转换异构数据源的方法及系统是非常具有意义的。
技术实现思路
1、为了解决现有操作数据库繁琐、不同数据库中要编写对应的数据库语句等问题，本专利技术提供一种通用标准结构化查询语言转换异构
2、第一方面，本专利技术提出了一种通用标准结构化查询语言转换异构数据源的方法，该方法包括如下步骤：
3、响应于对web管理平台进行可视化配置；
4、创建udf函数并进行配置，对配置好后的udf函数进行在线测试以验证udf函数是否符合预期；
5、进一步对udf进行配置，以决定udf函数是否应全局共享还是仅针对特定数据源共享；
6、编写标准sql语句并执行，执行过程中根据优化建议和推荐进行调整，执行完毕后对目标端的语句进行解析并保存到数据库或文件中；以及
7、对底层代码封装生成客户端sdk集成。
8、优选的，对web管理平台进行可视化配置具体包括：
9、在数据配置阶段，根据需求选择添加多种不同的数据源，数据源包括关系型数据库以及非关系型数据库；
10、在基础设置中，填写数据源的别名、地址、端口号和认证信息，认证信息包括用户名和密码，完成上述基础设置后，进行连接测试以确保数据源与web管理平台之间的链接是否正常；
11、进一步进行高级设置，选择配置数据源的jdbc url信息，并选择或上传相应的驱动程序版本；
12、完成上述步骤后，将数据源信息保存并存储到文件中。
13、进一步优选的，创建udf函数并进行配置具体包括：
14、点击创建udf函数，输入udf函数参数，选择udf资源，点击提交，以创建udf函数；
15、输入udf函数的名称；
16、输入udf函数的全路径及对应udf类的实现具体过程；
17、通过配置好的udf函数，配置包括使用详解，编写udf函数名称的使用说明情况，udf函数入参类型及对应的定义解释，udf出参返回的结果。
18、进一步优选的，对配置好后的udf函数进行在线测试以验证udf函数是否符合预期具体包括：
19、进行在线测试前，先完成udf函数的创建和配置，在测试udf函数时，需要注意使用正确的数据类型和格式，以确保测试结果准确无误，在测试完成后，仔细分析测试结果，并根据需要对函数进行调整和优化；
20、通过编写传入函数参数并运行该函数以查看结果；如果函数返回的结果与所需结果相同，则认为该函数符合预期，否则需要进一步检查和调整；如果测试结果不符合预期，通过日志记录和调试功能来查找问题并进行修复。
21、进一步优选的，编写标准sql语句并执行包括通过web管理平台的标准sql语句功能，操作不同类型的数据源，具体包括：
22、在sql编辑器中编写所需的sql语句，如mongodb数据源；
23、基于apache calcite框架实现，web管理平台能够将该sql语句转换为mongodb的db.mongo_table.find()语法进行执行，在此过程中，web管理平台会自动将sql语句转换为相应的mongodb语句，并返回结果；
24、在执行sql语句的过程中，通过web管理平台使用自定义udf函数进行业务操作。
25、进一步优选的，执行过程中根据优化建议和推荐进行调整具体包括：
26、通过使用calcite监视器帮助测量sql查询的各个阶段所需的时间，并推导出执行慢分析；
27、通过判断当前语句是否有命中索引来进一步进行性能分析和调试。
28、进一步优选的，执行完毕后对目标端的语句进行解析并保存到数据库或文件中具体包括：
29、当执行sql查询时，web管理平台会自动记录查询日志、执行时间、命中索引的信息，并将其保存到相应的数据表或文件中；
30、web管理平台将查询结果按照表格形式进行数据展示，查询结果将包括表头和数据行两部分，可根据需要对其进行排序、过滤、导出的操作，以便更好地查看和处理结果。
31、第二方面，本专利技术实施例还提供一种通用标准结构化查询语言转换异构数据源的系统，该系统包括：
32、可视化配置模块，配置用于对web管理平台进行可视化配置；
33、udf函数模块，配置用于创建udf函数并进行配置，对配置好后的udf函数进行在线测试以验证udf函数是否符合预期，对udf进行配置，以决定udf函数是否应全局共享还是仅针对特定数据源共享；
34、编写模块，配置用于编写标准sql语句并执行，执行过程中根据优化建议和推荐进行调整，执行完毕后对目标端的语句进行解析并保存到数据库或文件中；
35、封装模块，配置用于对底层代码封装生成客户端sdk集成。
36、第三方面，本专利技术实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
37、第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
38、与现有技术相比，本专利技术的有益成果在于：
39、(1)通过本专利技术，可以解决现有技术中操作数据库繁琐、不同数据库中要编写对应的数据库语句的问题，并且在大数据的情况下，多线程和分布式，向量化执行优化数据查询；此外，在易用方面，基于通本文档来自技高网...
【技术保护点】
1.一种通用标准结构化查询语言转换异构数据源的方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，对Web管理平台进行可视化配置具体包括：
3.根据权利要求2所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，创建UDF函数并进行配置具体包括：
4.根据权利要求3所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，对配置好后的UDF函数进行在线测试以验证UDF函数是否符合预期具体包括：
5.根据权利要求4所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，编写标准sql语句并执行包括通过Web管理平台的标准SQL语句功能，操作不同类型的数据源，具体包括：
6.根据权利要求5所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，执行过程中根据优化建议和推荐进行调整具体包括：
7.根据权利要求6所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，执行完毕后对目标端的语句进行解析并保存到数据库或文件中
8.一种通用标准结构化查询语言转换异构数据源的系统，其特征在于，该系统包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的方法。
...【技术特征摘要】
1.一种通用标准结构化查询语言转换异构数据源的方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，对web管理平台进行可视化配置具体包括：
3.根据权利要求2所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，创建udf函数并进行配置具体包括：
4.根据权利要求3所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，对配置好后的udf函数进行在线测试以验证udf函数是否符合预期具体包括：
5.根据权利要求4所述的通用标准结构化查询语言转换异构数据源的方法，其特征在于，编写标准sql语句并执行包括...
【专利技术属性】
技术研发人员：李丹丹，段思欣，高素华，刘柏良，
申请(专利权)人：厦门市美亚柏科信息安全研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。