数据源通用处理框架构建方法、数据源处理方法及装置制造方法及图纸

本申请实施例提供了一种数据源通用处理框架构建方法、数据源处理方法及装置，能够构建出包含统一操作接口、通用抽象类和特有抽象类的通用处理框架；其中，统一操作接口对各个类型的数据源的操作接口进行了统一和分类；通用抽象类和特有抽象类将数据源共有的数据操作和特有的数据操作进行的分层次的封装处理。应用本申请实施例构建的通用处理框架，只需调用统一操作接口，就可以通过通用处理框架中的通用抽象类和特有抽象类完成对各类数据源的数据操作，从而，不需要对每一种数据库都建立接口连接，减少数据源系统资源的连接数，简化了数据源的操作逻辑，降低数据源系统资源的占用，提高数据源系统运行速度和效率。

Data source general processing frame construction method, data source processing method and device

The application example provides a data source general processing framework construction method, data source processing method and device, which can build a universal processing framework containing unified operating interface, general abstract class and unique abstract class. Classes; general abstract classes and special abstract classes encapsulate data operations common to data sources and specific data operations in a hierarchical manner. The general processing framework, which is built with this application example, requires only a unified operation interface to complete the data operation of various data sources through the general abstract class and the special abstract class in the general processing framework. Therefore, it does not need to establish an interface connection to each database and reduce the resources of the data source system. Connection simplifies the operation logic of data source, reduces the occupancy of data source system resources, and improves the running speed and efficiency of data source system.

【技术实现步骤摘要】
数据源通用处理框架构建方法、数据源处理方法及装置
本申请涉及数据处理
，尤其涉及一种异构数据源的通用处理框架构建方法、处理方法及装置。
技术介绍
随着计算机技术、互联网技术的发展和大数据时代的到来，互联网的数据量飞速增长，在互联网世界中，各类数据不断地产生、传播和积累。因此，现有技术中，为了实现对大量的数据进行处理、分析和管理，出现了许多数据存储技术，这些数据存储技术将某一类数据以特定的格式存储，就生成了一个数据源。现有技术中的数据源主要包括关系型数据源(SQL)和非关系型数据源(NoSQL)，其中：关系型数据源(SQL)包括MySQL数据库、Oracle数据库、PostgreSQL数据库和Hive数据库等；非关系型数据源(NoSQL)包括ApacheHBase数据库、ApacheSolr数据库、MongoDB数据库和ElasticSearch数据库等。可见，现有技术中数据源的种类众多，因此，本领域技术人员在数据处理中，经常涉及到对多个不同类型的异构数据源的处理。现有技术中，通过使用JDBC(Java数据库连接)接口程序或SpringBoot框架等实现异构数据源的统一处理。但是，现有技术中的JDBC接口程序只能用于处理非关系型数据源，并且，JDBC接口程序每次处理数据源时都需要连接数据源，在对数据源处理结束之后又需要关闭连接，因此，如果数据源被频繁处理，那么就需要JDBC接口程序频繁地创建和关闭连接数据，浪费系统资源，从而降低数据源处理效率。现有技术中的SpringBoot框架虽然能够处理一些关系型数据源(SQL)和非关系型数据源(NoSQL)，但适用的数据源种类有限，不具备通用性；并且，SpringBoot对每个数据源使用不同的处理方式，当数据源的类型较多时，SpringBoot框架就变得臃肿复杂，从而降低数据源处理效率。因此，如何提高异构数据源处理方法的通用性，以提高异构数据源的处理效率，成为本领域技术人员亟待解决的技术问题。
技术实现思路
本申请实施例提供了一种异构数据源的通用处理框架构建方法、处理方法及装置，以解决现有技术中存在的问题。第一方面，本申请实施例提供了一种异构数据源的通用处理框架构建方法，所述通用处理框架包含统一操作接口、通用抽象类和特有抽象类，所述方法包括：根据数据源可用的操作类型，构建所述统一操作接口；所述操作类型包括数据操作和非数据操作；所述数据操作包括增加数据、删除数据、修改数据和查询数据中的至少一个；所述非数据操作包括对数据源的数据结构的解析；根据数据源可用的非数据操作，生成通用抽象类，所述通用抽象类用于解析数据源的实体类；根据每个类别的数据源的数据操作，生成每一类数据源的特有抽象类，所述特有抽象类用于对指定类别的数据源执行特有的数据操作。结合第一方面，在第一方面的一种可选择的方式中，所述通用处理框架还包括实体类框架和与所述实体类框架关联的第一数据访问对象，所述方法还包括：根据数据源可用的非数据操作，构建所述实体类框架；所述实体类框架用于连接数据源；继承每个预设类别数据源的所述特有抽象类，构建匹配每一类数据源的所述第一数据访问对象；每个所述第一数据访问对象与所述实体类框架关联，所述第一数据访问对象用于获取操作命令，并根据所述操作命令调用所述统一操作接口执行数据操作。第二方面，本申请实施例提供了一种异构数据源的处理方法，应用于本申请实施例构建的通用处理框架，所述方法包括：对每一类待处理数据源构建实体类，并对所述实体类添加注解；所述注解标识了所述实体类与待处理数据源的对应关系，以及所述实体类的主键与所述待处理数据源的主键的对应关系；继承每一类待处理数据源的特有抽象类，构建匹配每一类待处理数据源的第二数据访问对象；每个所述第二数据访问对象关联对应数据源类别的所述实体类；通过所述第二数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。第三方面，本申请实施例提供了另一种异构数据源的处理方法，应用于本申请实施例构建的通用处理框架，所述方法包括：获取待处理数据源的连接信息；所述连接信息包括数据源的驱动信息、数据源地址、数据源的用户名和数据源的密码中的一个或多个；根据所述连接信息，连接所述实体类框架与待处理数据源；获取与待处理数据源对应的第一数据访问对象；通过所述第一数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。第四方面，本申请实施例提供了一种异构数据源的通用处理框架构建装置，所述装置包括：统一操作接口构建单元，用于根据数据源可用的操作类型，构建所述统一操作接口；所述操作类型包括数据操作和非数据操作；所述数据操作包括增加数据、删除数据、修改数据和查询数据中的至少一个；所述非数据操作包括对数据源的数据结构的解析；通用抽象类生成单元，用于根据数据源可用的非数据操作，生成通用抽象类，所述通用抽象类用于解析数据源的实体类；特有抽象类生成单元，用于根据每个类别的数据源的数据操作，生成每一类数据源的特有抽象类，所述特有抽象类用于对指定类别的数据源执行特有的数据操作。结合第四方面，在第四方面的一种可选择的实施方式中，所述装置还包括：实体类框架构建单元，用于根据数据源可用的非数据操作，构建所述实体类框架；所述实体类框架用于连接数据源；第一数据访问对象构建单元，用于继承每个预设类别数据源的所述特有抽象类，构建匹配每一类数据源的所述第一数据访问对象；每个所述第一数据访问对象与所述实体类框架关联，所述第一数据访问对象用于获取操作命令，并根据所述操作命令调用所述统一操作接口执行数据操作。第五方面，本申请实施例提供了一种异构数据源的处理装置，应用于本申请实施例构建的通用处理框架，所述装置包括：实体类构建单元，用于对每一类待处理数据源构建实体类，并对所述实体类添加注解；所述注解标识了所述实体类与待处理数据源的对应关系，以及所述实体类的主键与所述待处理数据源的主键的对应关系；第二数据访问对象构建单元，用于继承每一类待处理数据源的特有抽象类，构建匹配每一类待处理数据源的第二数据访问对象；每个所述第二数据访问对象关联对应数据源类别的所述实体类；第一操作单元，用于通过所述第二数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。第六方面，本申请实施例提供了另一种异构数据源的处理装置，应用于本申请实施例构建的通用处理框架，所述装置包括：获取单元，用于获取待处理数据源的连接信息；所述连接信息包括数据源的驱动信息、数据源地址、数据源的用户名和数据源的密码中的一个或多个；连接单元，用于根据所述连接信息，连接所述实体类框架与待处理数据源；第二数据访问对象构建单元，用于获取与待处理数据源对应的第一数据访问对象；第二操作单元，用于通过所述第一数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。由以上技术方案可知，本申请实施例提供的数据源通用处理框架构建方法、数据源处理方法及装置，能够构建出包含统一操作接口、通用抽象类和特有抽象类的通用处理框架；其中，统一操作接口对各个类型的数据源的操作接口进行了统一和分类；通用抽象类和特有抽象类将数据源共有的数据操作和特有的数据操作进行的分层次的封装处理，方便用户根据实际需求添加或删除通用处理框架构支持的数据源的类型。应用本申请实施例构本文档来自技高网...

【技术保护点】
1.一种数据源通用处理框架构建方法，其特征在于，所述通用处理框架包含统一操作接口、通用抽象类和特有抽象类，所述方法包括：根据数据源可用的操作类型，构建所述统一操作接口；所述操作类型包括数据操作和非数据操作；所述数据操作包括增加数据、删除数据、修改数据和查询数据中的至少一个；所述非数据操作包括对数据源的数据结构的解析；根据数据源可用的非数据操作，生成通用抽象类，所述通用抽象类用于解析数据源的实体类；根据每个类别的数据源的数据操作，生成每一类数据源的特有抽象类，所述特有抽象类用于对指定类别的数据源执行特有的数据操作。

【技术特征摘要】
1.一种数据源通用处理框架构建方法，其特征在于，所述通用处理框架包含统一操作接口、通用抽象类和特有抽象类，所述方法包括：根据数据源可用的操作类型，构建所述统一操作接口；所述操作类型包括数据操作和非数据操作；所述数据操作包括增加数据、删除数据、修改数据和查询数据中的至少一个；所述非数据操作包括对数据源的数据结构的解析；根据数据源可用的非数据操作，生成通用抽象类，所述通用抽象类用于解析数据源的实体类；根据每个类别的数据源的数据操作，生成每一类数据源的特有抽象类，所述特有抽象类用于对指定类别的数据源执行特有的数据操作。2.根据权利要求1所述的方法，其特征在于，所述通用处理框架还包括实体类框架和与所述实体类框架关联的第一数据访问对象，所述方法还包括：根据数据源可用的非数据操作，构建所述实体类框架；所述实体类框架用于连接数据源；继承每个预设类别数据源的所述特有抽象类，构建匹配每一类数据源的所述第一数据访问对象；每个所述第一数据访问对象与所述实体类框架关联，所述第一数据访问对象用于获取操作命令，并根据所述操作命令调用所述统一操作接口执行数据操作。3.一种数据源处理方法，其特征在于，应用于权利要求1构建的通用处理框架，所述方法包括：对每一类待处理数据源构建实体类，并对所述实体类添加注解；所述注解标识了所述实体类与待处理数据源的对应关系，以及所述实体类的主键与所述待处理数据源的主键的对应关系；继承每一类待处理数据源的特有抽象类，构建匹配每一类待处理数据源的第二数据访问对象；每个所述第二数据访问对象关联对应数据源类别的所述实体类；通过所述第二数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。4.根据权利要求3所述的方法，其特征在于，所述通过第二数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源的步骤包括：通过所述第二数据访问对象向所述统一操作接口传递操作参数；所述通用处理框架的通用抽象类根据操作参数解析所述实体类；所述通用处理框架的特有抽象类根据所述操作参数和所述实体类的解析结果操作待处理数据源。5.一种数据源处理方法，其特征在于，应用于权利要求1-2构建的通用处理框架，所述方法包括：获取待处理数据源的连接信息；所述连接信息包括数据源的驱动信息、数据源地址、数据源的用户名和数据源的密码中的一个或多个；根据所述连接信息，连接所述实体类框架与待处理数据源；获取与待处理数据源对应的第一数据访问对象；通过所述第一数据访问对象调用所述通用处理框架的统一操作接口操作待处理数据源。6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：刘虎，李德彦，王文军，
申请(专利权)人：北京神州泰岳软件股份有限公司，
类型：发明
国别省市：北京,11