一种用于教育操作系统的数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种用于教育操作系统的数据处理方法及装置，方法包括：获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。本发明专利技术实施例可以有效管理大量的数据表，而且有规律可选，大大提高了开发效率；同时在同步最终结果数据给业务系统时，可以避免同步不必要的数据表，提高了HIVE离线计算的效率。

【技术实现步骤摘要】
一种用于教育操作系统的数据处理方法及装置
本专利技术涉及通信
，尤其涉及一种用于教育操作系统的数据处理方法及装置。
技术介绍
教育操作系统是一种在线学习的教育系统，有大量的用户登录，产生大量数据。现有技术中经常采用HIVE离线计算对数据进行计算，HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。但现有的Hive计算过程中都涉及到表操作，譬如源数据表，过程数据表，计算结果数据表等等。数据库的各种表命名规范杂乱无章，数据表与数据表之间的重名或重复的问题也很常见，而且也给开发带来巨大的难度。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种用于教育操作系统的数据处理方法及装置，旨在解决现有技术中的HIVE离线计算过程中的数据库表的表命名不规范，开发难度大的问题。本专利技术的技术方案如下：一种用于教育操作系统的数据处理方法，所述方法包括：获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。可选地，所述获取HIVE待重命名的原始表数据前，包括：预先对原始表数据的类型与新的名称的映射关系进行设置。可选地，所述解析原始表数据的类型，包括：对原始表数据归属的数据层进行解析；对原始表数据的结果类型进行解析。可选地，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：根据原始表数据归属的数据层生成前缀标识；根据原始表数据的结果类型生成结果类型标识；根据前缀标识和结果类型标识生成新的名称；将原始表数据的名称修改为新的名称，得到新的表数据。可选地，所述解析原始表数据的类型还包括：对原始表数据的业务类型进行解析。可选地，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：根据原始表数据归属的数据层生成前缀标识；根据原始表数据的结果类型生成结果类型标识；根据原始表数据的业务类型生成业务标识；根据前缀标识、结果类型标识和业务标识生成新的名称；将原始表数据的名称修改为新的名称，得到新的表数据。可选地，所述数据层包括：源数据接入层、明细模型层、聚合模型层、临时数据层和最终结果数据层。本专利技术又一实施例还提供了一种用于教育操作系统的数据处理装置，所述装置包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的用于教育操作系统的数据处理方法。本专利技术的另一实施例还提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的用于教育操作系统的数据处理方法。本专利技术的另一种实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，使所述处理器执行上述的用于教育操作系统的数据处理方法。有益效果：本专利技术公开了一种用于教育操作系统的数据处理方法及装置，本专利技术实施例可以有效管理大量的数据表，而且有规律可选，大大提高了开发效率。同时在同步最终结果数据给业务系统时，可以避免同步不必要的数据表。。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1为本专利技术一种用于教育操作系统的数据处理方法较佳实施例的流程图；图2为本专利技术一种用于教育操作系统的数据处理装置较佳实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合附图对本专利技术实施例进行介绍。请参阅图1，图1为本专利技术一种用于教育操作系统的数据处理方法较佳实施例的流程图。如图1所示，其包括步骤：步骤S100、获取HIVE待重命名的原始表数据；步骤S200、解析原始表数据的类型；步骤S300、根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；步骤S400、将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。具体实施时，Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。Hive构建在基于静态批处理的Hadoop之上，Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不能够在大规模数据集上实现低延迟快速的查询，例如，Hive在几百MB的数据集上执行查询一般有分钟级的时间延迟。HIVE中没有统一的命名规范。为了提高离线效率，对原始表数据的命名进行统一处理，获取HIVE中待重命名的原始表数据，并对原始表数据的类型进行解析，根据解析后的类型对原始表数据的名称进行修改，得到新的表数据。在新的表数据中，添加原始表数据的映射，得到与新的表数据对应的表数据。进一步地，获取HIVE待重命名的原始表数据前，包括：预先对原始表数据的类型与新的名称的映射关系进行设置。具体实施时，为了区分表数据，可预先获取HIVE中所有的原始表数据的类型，并对每一类型的原始表的类型与新的名称的映射关系进行设置。从而使同一类的原始表数据的命名也具有相同的部分。。进一步地，解析原始表数据的类型，包括：对原始表数据归属的数据层进行解析；对原始表数据的结果类型进行解析。具体实施时，对原始表数据进行解析，原始表数据的类型包括但不限于原始表数据归属的数据层，以及结果类型。其中数据层包括但不限于源数据接入层、明细模型层、聚合模型层、临时数据层和最终结果数据层。结果类型包括但不限于基础类源数据表、计算结果类数据表和临时结果类数据表。进一步地，根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：根据原始表数据归属的数据层生成前缀标识；根据原始表数据的结果类型生成结果类型标识；根据前缀标识和结果类型标识生成新的名称；将原始表数据的名称修改为新的名称，得到新的表数据。具体实施时，先获取原始表数据归属的数据层生成前缀标识，然后根据原始表数据的结果类型生成结果类型标识，前缀标识在前、结果类型标识在后，生成了新的名称，将原始表数据的名称修改为新的，得到新的表数据。例如，预先定义的规则为源数据接入层用sss做前缀标识，明细模型层用ddd做前缀标识，聚合模型层用ggg做前缀标识，临时数据层用ttt做前缀标识，最终结果数据用rrr做前缀标识。基础类源数据表用x做结果标识；计算结本文档来自技高网...

【技术保护点】
1.一种用于教育操作系统的数据处理方法,其特征在于,所述方法包括：获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。

【技术特征摘要】
1.一种用于教育操作系统的数据处理方法,其特征在于,所述方法包括：获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。2.根据权利要求1所述的用于教育操作系统的数据处理方法，其特征在于，所述获取HIVE待重命名的原始表数据前，包括：预先对原始表数据的类型与新的名称的映射关系进行设置。3.根据权利要求1所述用于教育操作系统的数据处理方法，其特征在于，所述解析原始表数据的类型，包括：对原始表数据归属的数据层进行解析；对原始表数据的结果类型进行解析。4.根据权利要3所述的用于教育操作系统的数据处理方法，其特征在于，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：根据原始表数据归属的数据层生成前缀标识；根据原始表数据的结果类型生成结果类型标识；根据前缀标识和结果类型标识生成新的名称；将原始表数据的名称修改为新的名称，得到新的表数据。5.根据权利要求3所述的用于教育操作系统的数据处理方法，其特征在于，所述解析原始表数据的类型还包括：对原始表数据的业务类型进行解析。6.根据权利要求5所述的用于教育操作系统的数据处理方法，其特征在于，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得...

【专利技术属性】
技术研发人员：孙悦，李天驰，涂桂朝，
申请(专利权)人：深圳点猫科技有限公司，
类型：发明
国别省市：广东,44