基于Spark SQL的UDF查询方法及系统技术方案

本发明专利技术公开了一种基于Spark SQL的全局UDF查询方法及系统，涉及函数配置领域。该方法的步骤包括：在默认库下注册所需的UDF，收到用户发出的包括函数名称的UDF查询请求时，在默认库下查询UDF。本发明专利技术在UDF查询之前，预先将所需的UDF注册在默认库下并作为全局函数来使用，用户若在当前库下未查询到UDF，可在默认库下查询。因此，用户只需要在默认库下注册自定义函数，即可在其他数据库下使用，用户查询时可不需要输入数据库名称，查询流程比较简单。

【技术实现步骤摘要】

本专利技术涉及函数配置领域，具体涉及一种基于spark sql(structured querylanguage，结构化查询语言)的全局udf(user defined function，在apache spark框架中使用的用户自定义函数)查询方法及系统。

技术介绍

1、按照sql标准的解释，在sql环境下catalog(目录)和schema都属于抽象概念。在关系数据库中，catalog是一个宽泛的概念，通常可以理解为一个容器或数据库对象命名空间中的一个层次，主要用来解决命名冲突等问题。

2、在spark sql系统中，catalog主要用于各种函数资源信息和元数据信息(数据库、数据表、数据视图、数据分区与函数等)的统一管理。

3、具体来讲，spark sql中的catalog体系实现以sessioncatalog为主体，通过sparksession(spark程序入口)提供给外部调用。一般一个sparksession对应一个sessioncatalog。本质上，sessioncatalog起到了一个代理的作用，对底层的元数据信息本文档来自技高网...

【技术保护点】

1.一种基于Spark SQL的UDF查询方法，其特征在于，该方法包括以下步骤：在默认库下注册所需的UDF，收到用户发出的包括函数名称的UDF查询请求时，在默认库下查询UDF。

2.如权利要求1所述的基于Spark SQL的UDF查询方法，其特征在于：所述收到用户发出的包括函数名称的UDF查询请求时，在默认库下查询UDF的具体流程包括：在当前库下查询UDF，若当前库下没有UDF，则在默认库下查询UDF。

3.如权利要求2所述的基于Spark SQL的UDF查询方法，其特征在于：所述UDF查询请求还包括数据库名称，所述收到用户发出的包括函数名称的UDF查询请求时，在...

【技术特征摘要】

1.一种基于spark sql的udf查询方法，其特征在于，该方法包括以下步骤：在默认库下注册所需的udf，收到用户发出的包括函数名称的udf查询请求时，在默认库下查询udf。

2.如权利要求1所述的基于spark sql的udf查询方法，其特征在于：所述收到用户发出的包括函数名称的udf查询请求时，在默认库下查询udf的具体流程包括：在当前库下查询udf，若当前库下没有udf，则在默认库下查询udf。

3.如权利要求2所述的基于spark sql的udf查询方法，其特征在于：所述udf查询请求还包括数据库名称，所述收到用户发出的包括函数名称的udf查询请求时，在默认库下查询udf的具体流程包括：先根据udf查询请求中指定的数据库名称在对应的指定数据库中查询udf；若指定数据库下没有udf，则在当前库下查询udf，若当前库下没有udf，则在默认库下查询udf。

4.如权利要求3所述的基于spark sql的udf查询方法，其特征在于：所述在默认库下查询udf的过程包括：判断是否开启全局udf查询功能，若是则在默认库下查询udf，否则返回查询结果。

5.如权利要求4所述的基于spark sql...

【专利技术属性】
技术研发人员：黄俊奕，彭晓强，袁东东，李金鑫，胡浩，郑州，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：