基于缓存的多源数据管理方法及系统技术方案

本发明专利技术公开了基于缓存的多源数据管理方法及系统，属于数据治理技术领域，要解决的技术问题为如何在降低系统能源消耗的前提下、确保应用系统快速对接数据源。包括如下步骤：缓存初始化：配置缓存的基本参数形成配置文件，通过置文件对本地的缓存进行初始化，所述缓存用于存放数据源连接池，并为缓存配置监听服务，通过缓存监听服务对数据源连接池的连接和使用状态进行监听；缓存添加：业务系统处理数据过程中，对于新建的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中；缓存移除：对缓存内数据源连接池进行移除。对缓存内数据源连接池进行移除。对缓存内数据源连接池进行移除。

【技术实现步骤摘要】
基于缓存的多源数据管理方法及系统


[0001]本专利技术涉及数据治理
，具体地说是基于缓存的多源数据管理方法及系统。

技术介绍

[0002]数据如何入湖或者说如何快速的接入各种类型的数据源成为治理数据的关键。在数据治理过程中，通常会涉及到多种类型的数据源，并且每种类型数据源不止一个，在传统的数据库连接方式中，每次数据访问都必须经历建立数据库连接、打开数据库、存取数据、关闭数据库连接等步骤。数据库连接是一种关键的、有限的、昂贵的资源，频繁的建立、关闭连接，增加很多重复资源开销，会极大的减低系统的性能，因此对于连接的使用成了系统性能的瓶颈，特别是在今天应用并发大暴发及海量数据时代，这个性能瓶颈显得尤为突出。
[0003]面对外接数据源越来越多的数据湖或者数据治理平台，如何保证其他应用能够快速对接数据源，既能降低人员开发成本，又能降低系统资源的消耗，实时监控数据源的连接和使用状态，是需要解决的技术问题。

技术实现思路

[0004]本专利技术的技术任务是针对以上不足，提供基于缓存的多源数据管理方法及系统，来解决如何在降低系统能源消耗的前提下、确保应用系统快速对接数据源的技术问题。
[0005]第一方面，本专利技术一种基于缓存的多源数据管理方法，通过缓存存储数据源连接池，所述方法包括如下步骤：
[0006]缓存初始化：配置缓存的基本参数形成配置文件，在业务系统启动时读取所述配置文件并通过所述配置文件对本地的缓存进行初始化，所述缓存用于存放数据源连接池，并为缓存配置监听服务，通过缓存监听服务对数据源连接池的连接和使用状态进行监听；
[0007]缓存添加：业务系统处理数据过程中，对于新建的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中；
[0008]缓存移除：对缓存内数据源连接池进行移除。
[0009]作为优选，所述监听服务包括：
[0010]缓存监听，所述缓存监听用于监听缓存内数据源连接池的个数、数据源连接池加入缓存的时间以及失效时间、以及数据源连接池状态；
[0011]缓存失效监听，当数据源连接池被移除时触发缓存失效监听，用于关闭数据源连接池；
[0012]数据源失效监听，当数据源本身被业务系统删除时，所述数据源失效监听用于判断缓存中是否存在与所述数据源对应的数据源连接池，如果存在，将所述数据源连接池从缓存中移除。
[0013]作为优选，所述缓存的基本参数包括缓存初始化容量、缓存最大容量、淘汰策略以及过期时间；
[0014]其中，淘汰策略为：当新建数据源连接池、但当前缓存的容量达到容量上限时，触发淘汰策略，对于当前缓存中使用次数最少的数据源连接池、将所述数据源连接池从缓存中移除，并将新建的数据源连接池存放至缓存；
[0015]所述过期时间为缓存中数据源连接池未被使用的预定期限，当缓存中数据源连接池超过预定期限未使用，所述数据源连接池视为过期数据源连接池；
[0016]对缓存内数据源连接池进行移除，包括如下三种情形：
[0017]缓存过期移除：当缓存内数据源连接池的未使用时间超过过期时间，则判定所述数据源连接池过期，对于过期的数据源连接池，将所述数据源连接池从缓存中移除；
[0018]淘汰策略移除：新建数据源连接池时，如果当前缓存的容量达到缓存容量最大值，触发淘汰策略，对于缓存内超过最少使用的数据源连接池，将所述数据源连接池从缓存中移除；
[0019]移除消息移除：接收到缓存移除消息后，对于缓存移除消息中指定的数据源连接池，将所述数据源连接池从缓存中移除。
[0020]作为优选，对于新建的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中，包括如下步骤：
[0021]a、用户创建或维护新的数据源连接信息；
[0022]b、业务系统获取新的数据源连接信息后，对所述数据源连接信息进行测试，如果测试成功，执行步骤c，否则，返回步骤a重新修改数据源连接信息；
[0023]c、基于数据源连接信息、通过MD5算法生成一个唯一标识，所述唯一标识判断缓存至是否存在所述数据源连接池，若不存在，执行步骤d，若存在缓存添加结束；
[0024]d、根据数据源信息，创建对应的数据源连接池，并判断当前缓存的容量是否达到缓存最大容量，如果是，触发淘汰策略，基于淘汰策略将缓存中使用次数最少的数据源连接池从缓存中移除后，将新建的数据源连接池存入缓存中；
[0025]其中，数据源连接信息包括数据源连接地址、数据源账号、数据库名称、以及数据库版本号。
[0026]作为优选，对缓存内数据源连接池进行移除，包括如下步骤：
[0027]a、查看需要移除的数据源连接池内是否仍有活动的连接正在被使用，如果是，执行步骤b，否则执行步骤c；
[0028]b、将所述数据源连接池从缓存中移除，等待活动的连接完成工作后，数据源连接池内所有连接均为空闲状态时，关闭数据源连接池内所有连接，并销毁所述数据源连接池；
[0029]c、关闭数据源连接池内所有连接并销毁数据源连接池，将数据源连接池从缓存中移除。
[0030]第二方面，本专利技术一种基于缓存的多源数据管理系统，用于执行如第一任一项所述的基于缓存的多源数据管理方法，所述系统包括：
[0031]缓存初始化模块，所述缓存初始化模块用于执行：配置缓存的基本参数形成配置文件，在业务系统启动时读取所述配置文件并通过所述配置文件对本地的缓存进行初始化，所述缓存用于存放数据源连接池，并为缓存配置监听服务，通过缓存监听服务对数据源连接池的连接和使用状态进行监听；
[0032]缓存添加模块，所述缓存添加模块用于执行：业务系统处理数据过程中，对于新建
的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中；
[0033]缓存移除模块，所述缓存移除模块用于执行：对缓存内数据源连接池进行移除。
[0034]作为优选，所述监听服务包括：
[0035]缓存监听，所述缓存监听用于监听缓存内数据源连接池的个数、数据源连接池加入缓存的时间以及失效时间、以及数据源连接池状态；
[0036]缓存失效监听，当数据源连接池被移除时触发缓存失效监听，用于关闭数据源连接池；
[0037]数据源失效监听，当数据源本身被业务系统删除时，所述数据源失效监听用于判断缓存中是否存在与所述数据源对应的数据源连接池，如果存在，将所述数据源连接池从缓存中移除。
[0038]作为优选，所述缓存的基本参数包括缓存初始化容量、缓存最大容量、淘汰策略以及过期时间；
[0039]其中，淘汰策略为：当新建数据源连接池、但当前缓存的容量达到容量上限时，触发淘汰策略，对于当前缓存中使用次数最少的数据源连接池、将所述数据源连接池从缓存中移除，并将新建的数据源连接池存放至缓存；
[0040]所述过期时间为缓存中数据源连接池未被使用的预定期限，当缓存中数据源连接池超过预定期限未使用，所述数据源连接池视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于缓存的多源数据管理方法，其特征在于，通过缓存存储数据源连接池，所述方法包括如下步骤：缓存初始化：配置缓存的基本参数形成配置文件，在业务系统启动时读取所述配置文件并通过所述配置文件对本地的缓存进行初始化，所述缓存用于存放数据源连接池，并为缓存配置监听服务，通过缓存监听服务对数据源连接池的连接和使用状态进行监听；缓存添加：业务系统处理数据过程中，对于新建的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中；缓存移除：对缓存内数据源连接池进行移除。2.根据权利要去1所述的基于缓存的多源数据管理方法，其特征在于，所述监听服务包括：缓存监听，所述缓存监听用于监听缓存内数据源连接池的个数、数据源连接池加入缓存的时间以及失效时间、以及数据源连接池状态；缓存失效监听，当数据源连接池被移除时触发缓存失效监听，用于关闭数据源连接池；数据源失效监听，当数据源本身被业务系统删除时，所述数据源失效监听用于判断缓存中是否存在与所述数据源对应的数据源连接池，如果存在，将所述数据源连接池从缓存中移除。3.根据权利要求1或2所述的基于缓存的多源数据管理方法，其特征在于，所述缓存的基本参数包括缓存初始化容量、缓存最大容量、淘汰策略以及过期时间；其中，淘汰策略为：当新建数据源连接池、但当前缓存的容量达到容量上限时，触发淘汰策略，对于当前缓存中使用次数最少的数据源连接池、将所述数据源连接池从缓存中移除，并将新建的数据源连接池存放至缓存；所述过期时间为缓存中数据源连接池未被使用的预定期限，当缓存中数据源连接池超过预定期限未使用，所述数据源连接池视为过期数据源连接池；对缓存内数据源连接池进行移除，包括如下三种情形：缓存过期移除：当缓存内数据源连接池的未使用时间超过过期时间，则判定所述数据源连接池过期，对于过期的数据源连接池，将所述数据源连接池从缓存中移除；淘汰策略移除：新建数据源连接池时，如果当前缓存的容量达到缓存容量最大值，触发淘汰策略，对于缓存内超过最少使用的数据源连接池，将所述数据源连接池从缓存中移除；移除消息移除：接收到缓存移除消息后，对于缓存移除消息中指定的数据源连接池，将所述数据源连接池从缓存中移除。4.根据权利要去3所述的基于缓存的多源数据管理方法，其特征在于，对于新建的数据源，基于数据源信息、将所述数据源对应的数据源连接池放入缓存中，包括如下步骤：a、用户创建或维护新的数据源连接信息；b、业务系统获取新的数据源连接信息后，对所述数据源连接信息进行测试，如果测试成功，执行步骤c，否则，返回步骤a重新修改数据源连接信息；c、基于数据源连接信息、通过MD5算法生成一个唯一标识，所述唯一标识判断缓存至是否存在所述数据源连接池，若不存在，执行步骤d，若存在缓存添加结束；d、根据数据源信息，创建对应的数据源连接池，并判断当前缓存的容量是否达到缓存最大容量，如果是，触发淘汰策略，基于淘汰策略将缓存中使用次数最少的数据源连接池从
缓存中移除后，将新建的数据源连接池存入缓存中；其中，数据源连接信息包括数据源连接地址、数据源账号、数据库名称、以及数据库版本号。5.根据权利要求3所述的基于缓存的多源数据管理方法，其特征在于，对缓存内数据源连接池进行移除，包括如下步骤：a、查看需要移除的数据源连接池内是否仍有活动的连接正在被使用，如果是，执行步骤b，否则执行步骤c；b、将所述数据源连接池从缓存中移除，等待活动的连接完成工作后，数据源连接池内所有连接均为空闲状态时，关闭数据源连接池内所有连接，并销毁所述数据源连接池；c、关闭数据源连接池内所有连接并销毁数据源连接池，将数据源连接池从缓存中移除。6.一种基于缓存的多源数据管理系统，其特征在于，用于执行如权利要求1
‑
5任一项所述的基于缓存的多源数据管理方法，所述系统包括：缓存初始化模块，所述缓存初始化模块用于执行：配置缓存的基本参数形成配置文件，在业务系统启动时读取所述配置文件并通过所述配置文件对本地的缓存进行初始化，所述缓存用于存放数据源连接池，并为缓存配置...

【专利技术属性】
技术研发人员：李光志，李连伟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：