一种教育系统的用于Hive离线计算方法及电子设备技术方案

本发明专利技术公开了一种教育系统的用于Hive离线计算方法及电子设备，其中，所述方法包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息，本发明专利技术所述方案能够实现数据库配置的自动建表和分区，可以大大节省开发成本，降低运行出错概率。

An Educational System for Hive Off-line Computing Method and Electronic Equipment

The invention discloses an educational system for off-line Hive computing method and electronic equipment, in which the method comprises steps: A. reading configuration information in database; B. generating SQL execution according to template for uncreated data tables. The off-line calculation method for Hive is described, in which the configuration information in the database includes the database table building and partition configuration information. The scheme of the invention can realize the automatic table building and partition of the database configuration, and can greatly save the development cost and reduce the probability of running errors.

【技术实现步骤摘要】
一种教育系统的用于Hive离线计算方法及电子设备
本专利技术涉及数据算法领域，尤其涉及一种教育系统的用于Hive离线计算方法及电子设备。
技术介绍
在大数据离线计算场景中，通常需要用到Hive计算框架，Hive的优点在于面向开发人员的时SQL语句，而SQL底层会被转化为MapReduce执行。在Hive计算过程中需要大量创建源数据表，并对数据表插入分区，在传统的做法中一般是手动编写所有建表和插入分区的SQL语句，这种做法浪费了大量的时间和人力成本，冗余代码很多，代码运行出错概率大，不易排查。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种教育系统的用于Hive离线计算方法及电子设备，旨在解决快速建表和分区的问题。本专利技术的技术方案如下：一种教育系统的用于Hive离线计算方法，其中，包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。所述的用于Hive离线计算方法，其中，所述步骤A之前还包括：接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。所述的用于Hive离线计算方法，其中，所述步骤B包括：判断数据表是否已创建，当已创建时，跳过配置信息；当数据表未创建时，读取模板信息；将建表和分区字段信息插入模板中生成SQL执行。所述的用于Hive离线计算方法，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。一种电子设备，其中，包括：包括处理器，适于实现各指令，以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：读取数据库中的配置信息；对未创建的数据表按照模板生成SQL执行。所述的电子设备，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。所述的电子设备，其中，所述处理器还用于加载并执行：接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。所述的电子设备，其中，所述处理器还用于加载并执行：判断数据表是否已创建，当已创建时，跳过配置信息；当数据表未创建时，读取模板信息；将建表和分区字段信息插入模板中生成SQL执行。所述的电子设备，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。有益效果：本专利技术公开了一种教育系统的用于Hive离线计算方法及电子设备，其中，所述方法包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息，本专利技术所述方案能够实现数据库配置的自动建表和分区，可以大大节省开发成本，降低运行出错概率。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1为本专利技术所述教育系统的用于Hive离线计算方法的步骤流程图。图2为本专利技术所述电子设备的结构示意图。具体实施方式本专利技术提供一种教育系统的用于Hive离线计算方法及电子设备，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，为本专利技术所述教育系统的用于Hive离线计算方法的步骤流程图，本专利技术公开了一种教育系统的用于Hive离线计算方法，其中，包括步骤：S1.读取数据库中的配置信息；S2.对未创建的数据表按照模板生成SQL执行。进一步的，所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。进一步的，所述的用于Hive离线计算方法，其中，所述步骤S1之前还包括：接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。进一步的，所述的用于Hive离线计算方法，其中，所述步骤S2包括：判断数据表是否已创建，当已创建时，跳过配置信息；当数据表未创建时，读取模板信息；将建表和分区字段信息插入模板中生成SQL执行。所述的用于Hive离线计算方法，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。本专利技术所述用于Hive离线计算方法，具体实施时，Hive程序启动，读取数据库建表和分区配置信息，其中数据库中的建表和分区配置信息由之前录入，即UI页面填写有关建表和分区字段信息的表单，请求后台接口，生成配置录入数据库中，判断数据表是否已创建，若数据表已经创建，则跳过配置信息，执行下一条的配置，当数据表未创建时，读取数据库中的模板信息，将建表和分区字段信息插入到模板中，生成SQL执行，实现建表和分区，其中，模板的样式已经在数据中存储，用户只需要根据模板，插入相应的字段信息即可完成配置，实现建表和分区。本专利技术所述用于Hive离线计算方法，解决效果：通过该方案可以有效减少冗余的代码，节省开发成本，降低程序运行时错误。通过UI页面生成配置信息，也减少了人工干预数据库配置而发生配置错误的概率。进一步的，本专利技术还公开了一种电子设备10，如图2所示，为所述电子设备的结构示意图，其中，包括：包括处理器110，适于实现各指令，以及存储设备120，适于存储多条指令，所述指令适于由处理器110加载并执行：读取数据库中的配置信息；对未创建的数据表按照模板生成SQL执行。所述处理器110可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器还可以是任何传统处理器、微处理器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、任何其它这种配置。存储设备120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本专利技术实施例中的教育互动方法对应的程序指令。处理器通过运行存储在存储设备中的非易失性软件程序、指令以及单元，从而执行教育互动方法的各种功能应用以及数据处理，即实现上述方法实施例。本专利技术所述用于电子设备，具体实施时，Hive程序启动，读取数据库建表和分区配置信息，其中数据库中的建表和分区配置信息由之前录入，即UI页面填写有关建表和分区字段信息的表单，请求后台接口，生成配置录入数据库中，判断数据表是否已创建，若数据表已经创建，则跳过配置信息，执行下一条的配置，当数据表未创建时，读取数据库中的模板信息，将建表和分区字段信息插入到模板中，生成SQL执行，实现建表和分区，其中，模板的样式已经在数据中存储，用户只需要根据模板，插入相应的字段信息即可完成配置，实现建表和分区。本专利技术所述用于电子设备，解决效果：通过该方案可以有效减少冗余的代码，节省开发成本，降低程序运行时错误。通过UI页面生成配置信息，也减少了人工干预本文档来自技高网...

【技术保护点】
1.一种教育系统的用于Hive离线计算方法，其特征在于，包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。

【技术特征摘要】
1.一种教育系统的用于Hive离线计算方法，其特征在于，包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。2.根据权利要求1所述的用于Hive离线计算方法，其特征在于，所述数据库中的配置信息包括数据库的建表和分区配置信息。3.根据权利要求2所述的用于Hive离线计算方法，其特征在于，所述步骤A之前还包括：接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。4.根据权利要求3所述的用于Hive离线计算方法，其特征在于，所述步骤B包括：判断数据表是否已创建，当已创建时，跳过配置信息；当数据表未创建时，读取模板信息；将建表和分区字段信息插入模板中生成SQL执行。5.根据权利要求4所述的用于Hive离线计算方法，其特征在于，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。6....

【专利技术属性】
技术研发人员：李天驰，孙悦，涂桂朝，
申请(专利权)人：深圳点猫科技有限公司，
类型：发明
国别省市：广东,44