一种多源异构数据访问中间件构建方法技术

本发明专利技术公开了一种多源异构数据访问中间件构建方法，该方法突破高效多源异构数据访问中间件构建、缓存替换算法两项关键技术，能够构建用于信息系统应用的多源异构数据访问中间件，提供统一的数据访问接口，简化信息系统开发中的多源异构数据访问问题，采用数据缓存机制，减轻高频数据访问对数据库的压力并提高数据访问速度，为今后信息系统的数据访问需求提供支撑。

A Method of Constructing Multi-source Heterogeneous Data Access Middleware

【技术实现步骤摘要】
一种多源异构数据访问中间件构建方法
本专利技术属于信息自动化领域，尤其涉及一种多源异构数据访问中间件构建方法。
技术介绍
数据访问中间件主要提供透明式数据库访问，封装了底层实现细节，减轻了开发人员的负担；保证了系统的可移植性和扩展性，只要中间件的对外接口不变，即使底层系统改变，上层业务系统也无需改变。数据访问中间件位于业务系统与数据库层之间，中间件层将业务层的访问请求按照自身的逻辑传递给数据库层，接收数据库层返回的结果集，在做完相应的处理后，传递给业务层，完成整个请求过程。通过将数据库访问和网络传输等相关模块独立出来，使得开发人员能够集中精力处理业务逻辑，只需遵循与中间件进行交互的接口标准，就可以方便的与异构异地的数据库进行数据的交互。在目前的数据访问中间件研究中，主要存在以下两个问题：(1)目前信息系统对数据的访问不仅涉及数据库的结构化数据，同样涉及半结构化与非结构化数据，涉及多种数据源，不同类型的数据源提供的访问接口各不相同，在开发信息系统应用时，开发人员需要了解各个数据源的访问接口与数据格式，影响开发效率，需要采用数据访问中间件为应用提供统一的访问接口，屏蔽底层差异；(2)当应用访问数据的频率较高时，对数据库的频繁访问将会对数据库造成较大的压力，导致访问数据库所需时间增加甚至引起数据库崩溃；
技术实现思路
本专利技术目的是为解决信息系统的数据访问问题，简化多源异构数据访问的复杂性并提高数据访问的速度，为信息系统的数据访问提供服务支撑。为实现上述目的，本专利技术提供了一种多源异构数据访问中间件构建方法。所述数据访问中间件包括中间件动态库、管理节点、处理节点及缓存系统，所述中间件动态库由应用程序调用，为应用程序提供统一的数据访问接口，应用程序能够通过中间件动态库访问、查询及更新结构化数据、半结构化数据及非结构化数据；所述管理节点用于接收应用程序的数据访问请求(即对数据的增、删、改、查)，生成相应的任务交给处理节点执行；管理节点用于向应用程序返回数据访问数据及结果；管理节点用于管理缓存系统，进行缓存更新，维持缓存中数据与数据源中数据的一致性，并根据需要进行缓存替换；所述处理节点负责根据管理节点的任务，访问数据源，从数据源中读取数据或更新数据源中的数据；所述缓存系统是一组Memcached(开源的分布式内存对象缓存系统)或Redis(开源的Key-Value内存数据库)组成的分布式缓存，用于存储缓存数据，Memcached或Redis将数据存储在内存中。例如：应用程序调用中间件动态库，向管理节点发出数据查询请求，请求的内容包括数据方法id及查询参数。每个数据方法id对应一条配置文件中定义的一条查询语句，查询参数对应查询时的筛选条件。管理节点接收到数据查询请求后，根据数据方法id和查询条件生成数据访问任务，任务中包含任务id、数据源的类型(关系型数据库、非关系型数据库、分布式文件系统等)、数据源的用户名、密码、地址等信息及所需执行的查询语句。管理节点将生成的数据查询任务发送给处理节点，处理节点根据任务信息，执行数据查询任务(即连接对应的数据源，执行数据查询)，将数据源返回的数据(根据数据源类型的不同，返回不同形式的数据，如关系型数据库返回一组多行多列的数据；非关系型数据库返回一组键值对；分布式文件系统返回一组文件的二进制数据)转化为一系列的键值对并序列化为一个二进制数组，将其连同查询结果(即任务执行结果，成功或失败)一起返回给管理节点。管理节点接收到处理节点返回的任务执行结果和数据后，将其返回给中间件动态库，并由中间件动态库将二进制的数据反序列化为一系列的键值对，交给应用程序使用。同时若本次数据查询请求所使用的数据源为关系型数据库，管理节点可将本次数据方法id及查询参数转化为一个Key值，将本次查询得到的数据作为Value，组成一个键值对，存放入缓存系统中，并记录缓存系统中所缓存的所有的键值对Key-Value的Key值。之后当接收到相同的数据方法id和查询参数后，可直接从缓存系统中读取对应的数据，返回给应用。与上述数据查询过程类似，当应用需要更新数据源中的数据时(即执行增、删、改操作)，调用中间件动态库，中间件动态库向管理节点发送数据更新请求，包括数据方法id及更新参数。管理节点根据数据方法id及更新参数生成数据更新任务，发送给处理节点执行，处理节点执行数据更新任务，更新指定数据源中的数据，并将执行结果(成功或失败)返回给管理节点，管理节点将执行结果返回给中间件动态库，由中间件动态库返回给应用。同时，管理节点根据数据方法id查询配置文件中记录的该请求所影响的关系型数据库的id及影响的表名，检查缓存系统所缓存的键值对Key-Value是否可能收到影响，若缓存系统中缓存的某一条查询数据所对应的数据库id及表名包含在本次数据更新请求所影响的数据库的id及表名之中，则认为本次数据更新请求会影响这一条查询数据，该查询数据已经失效，需要更新。此时将会生成该查询数据对应的数据查询任务，交给处理节点执行，当处理节点返回查询数据后，重新更新缓存系统中的这一条键值对。所述管理节点包括数据访问服务接口、配置管理模块、需求管理模块、任务管理模块、节点管理模块和缓存管理模块；所述数据访问服务接口与应用程序的中间件动态库进行交互，接收应用的数据访问请求，向应用返回请求的执行结果和数据；所述配置管理模块用于加载并维护管理节点的配置信息，供其他模块(即需求管理模块、节点管理模块和缓存管理模块)使用；所述需求管理模块用于维护应用的数据访问请求，对请求进行处理，生成对应的任务交给任务管理模块处理；所述任务管理模块用于对数据访问任务进行管理，根据不同任务类型，按照一定的算法流程调用节点管理模块及缓存管理模块进行处理；例如对于数据查询任务，首先查询缓存管理模块，若缓存管理模块已经缓存了所需的数据，直接从缓存管理模块读取数据返回给应用，若缓存管理模块中无所需数据，则需要从指定的数据源获取数据，返回给应用，然后将数据交给缓存管理模块判断是否需要缓存，对于数据更新任务，首先将数据更新任务交给节点管理模块，执行成功后，将结果返回给应用，并将任务信息交给缓存管理模块，由缓存管理模块判断是否需要更新缓存，若需要则通知任务管理模块生成数据查询任务，将执行得到的数据交给缓存管理模块，由缓存管理模块更新缓存；所述节点管理模块用于对处理节点进行管理，基于任务分配算法(基于现有技术，专利名称：《基于国产化平台的高可靠集群构建方法》，申请号：201711308590.4)，将任务分发给处理节点进行处理，并将处理结果返回给任务管理模块；所述缓存管理模块负责对缓存系统进行操作，包括缓存数据读取、写入、更新，负责监控缓存系统的使用容量，当容量达到上限时，按照缓存替换算法，进行缓存替换。所述数据访问中间件执行如下步骤：步骤a1，用户根据自己的实际需要，通过配置管理模块对数据访问中间件的数据方法进行配置，采用XML文件形式进行配置，配置数据方法id、数据方法、对应的数据源参数；步骤a2，数据访问中间件的管理节点加载配置文件；步骤a3，应用调用数据访问中间件提供的中间件动态库，进行数据访问操作；步骤a4，中间件动态库将数据访问请求发送给管理节点；步骤a5，管理节点的需求管理模块根本文档来自技高网...

【技术保护点】
1.一种多源异构数据访问中间件构建方法，其特征在于，所述数据访问中间件包括中间件动态库、管理节点、处理节点及缓存系统，所述中间件动态库由应用程序调用，为应用程序提供统一的数据访问接口，应用程序能够通过中间件动态库访问、查询及更新结构化数据、半结构化数据及非结构化数据；所述管理节点用于接收应用程序的数据访问请求，生成相应的任务交给处理节点执行；管理节点用于向应用程序返回数据访问数据及结果；管理节点用于管理缓存系统，进行缓存更新，维持缓存中数据与数据源中数据的一致性，并根据需要进行缓存替换；所述处理节点负责根据管理节点的任务，访问数据源，从数据源中读取数据或更新数据源中的数据；所述缓存系统是一组Memcached或Redis组成的分布式缓存，用于存储缓存数据，Memcached或Redis将数据存储在内存中。

【技术特征摘要】
1.一种多源异构数据访问中间件构建方法，其特征在于，所述数据访问中间件包括中间件动态库、管理节点、处理节点及缓存系统，所述中间件动态库由应用程序调用，为应用程序提供统一的数据访问接口，应用程序能够通过中间件动态库访问、查询及更新结构化数据、半结构化数据及非结构化数据；所述管理节点用于接收应用程序的数据访问请求，生成相应的任务交给处理节点执行；管理节点用于向应用程序返回数据访问数据及结果；管理节点用于管理缓存系统，进行缓存更新，维持缓存中数据与数据源中数据的一致性，并根据需要进行缓存替换；所述处理节点负责根据管理节点的任务，访问数据源，从数据源中读取数据或更新数据源中的数据；所述缓存系统是一组Memcached或Redis组成的分布式缓存，用于存储缓存数据，Memcached或Redis将数据存储在内存中。2.根据权利要求1所述的方法，其特征在于，所述管理节点包括数据访问服务接口、配置管理模块、需求管理模块、任务管理模块、节点管理模块和缓存管理模块；所述数据访问服务接口与应用程序的中间件动态库进行交互，接收应用的数据访问请求，向应用返回请求的执行结果和数据；所述配置管理模块用于加载并维护管理节点的配置信息，供其他模块使用；所述需求管理模块用于维护应用的数据访问请求，对请求进行处理，生成对应的任务交给任务管理模块处理；所述任务管理模块用于对数据访问任务进行管理，根据不同任务类型，按照一定的算法流程调用节点管理模块及缓存管理模块进行处理，；所述节点管理模块用于对处理节点进行管理，基于任务分配算法，将任务分发给处理节点进行处理，并将处理结果返回给任务管理模块；所述缓存管理模块负责对缓存系统进行操作，包括缓存数据读取、写入、更新，负责监控缓存系统的使用容量，当容量达到上限时，按照缓存替换算法，进行缓存替换。3.根据权利要求2所述的方法，其特征在于，所述数据访问中间件执行如下步骤：步骤a1，用户根据自己的实际需要，通过配置管理模块对数据访问中间件的数据方法进行配置，采用XML文件形式进行配置，配置数据方法id、数据方法、对应的数据源参数；步骤a2，数据访问中间件的管理节点加载配置文件；步骤a3，应用调用数据访问中间件提供的中间件动态库，进行数据访问操作；步骤a4，中间件动态库将数据访问请求发送给管理节点；步骤a5，管理节点的需求管理模块根据配置文件解析数据访问请求，包括数据查询请求和数据更新请求，生成数据访问任务交给任务管理模块进行处理，其中数据更新请求包括数据的增、删、改，所述数据访问任务包括数据查询任务和数据更新任务；任务管理模块根据任务类型，调用节点管理模块和缓存管理模块进行处理；节点管理模块将数据查询任务和数据更新任务交给处理节点执行；步骤a6，管理节点将数据访问请求的执行结果和数据发送给中间件动态库；步骤a7，中间件动态库向应用返回执行结果和数据。4.根据权利要求3所述的方法，其特征在于，步骤a5中，当执行数据查询任务时，具体包括如下步骤：步骤b1，管理节点的任务管理模块将数据方法id及参数值提交给缓存管理模块，缓存管理模块根据数据方法id及参数值，计算该数据对应的缓存的key值，通过一致性hash算法计算该key值可能存在于缓存系统的位置；步骤b2，管理节...

【专利技术属性】
技术研发人员：陈阳，刘海天，付建苏，王会龙，张民强，王梓，刘飞，邱德明，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏,32