一种连接池调度方法及装置制造方法及图纸

本发明专利技术提供一种连接池调度方法及装置，该方法为：判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；若是，减少多个连接池的配置时间，得到新配置时间；若否，确定在第一预设时间内每一连接池对应的数据源的访问次数；基于所有数据源的访问次数，配置每一连接池的最大连接数和最小连接数；在第二预设时间内，若数据库连接超时的次数大于次数阈值，增加数据库对应的超时时间，得到新超时时间。在本方案中，通过处理器和内存的使用情况，以及根据向数据源请求获取数据的频率，调整每个连接池的配置信息，提高后台系统的系统资源利用率。

A connection pool scheduling method and device

The invention provides a connection pool scheduling method and device, the method is: judge whether the processor utilization and memory utilization corresponding to the device used to perform connection pool scheduling are greater than the threshold value; if yes, reduce the configuration time of multiple connection pools to get a new configuration time; if no, determine the access times of data sources corresponding to each connection pool in the first preset time; based on For the access times of all data sources, configure the maximum number of connections and the minimum number of connections for each connection pool. In the second preset time, if the number of database connection timeouts is greater than the number threshold, increase the corresponding time-out of the database to get a new time-out. In this scheme, the configuration information of each connection pool is adjusted according to the usage of processor and memory, and the frequency of data acquisition from data source, so as to improve the system resource utilization of background system.

【技术实现步骤摘要】
一种连接池调度方法及装置
本专利技术涉及数据处理
，具体涉及一种连接池调度方法及装置。
技术介绍
随着科学技术的发展，数据以爆炸性的形式进行增长，各式各样的数据源也被逐渐应用于各行各业。对于Hive和Impala等数据源，通常是启用连接池的方式与数据源进行连接，并对数据源中的数据进行相应操作。但是在后台系统中，通常存在多个数据源和多个连接池的情况，当向数据源请求获取数据的频率过高时，多个连接池之间的资源调度会出现不均衡的情况，浪费后台系统的系统资源。因此，目前亟需一种能合理调度多个连接池的方法。
技术实现思路
有鉴于此，本专利技术实施例提供一种连接池调度方法及装置，以解决当向数据源请求获取数据的频率过高时浪费系统资源的问题。为实现上述目的，本专利技术实施例提供如下技术方案：本专利技术实施例第一方面公开一种连接池调度方法，所述方法包括：判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；若是，减少所述设备对应的多个连接池的配置时间，得到新配置时间；...

【技术保护点】
1.一种连接池调度方法，其特征在于，所述方法包括：/n判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；/n若是，减少所述设备对应的多个连接池的配置时间，得到新配置时间；/n若否，确定在第一预设时间内每一所述连接池对应的数据源的访问次数；/n基于所有所述数据源的访问次数，配置每一所述连接池的最大连接数和最小连接数；/n在第二预设时间内，若数据库连接超时的次数大于次数阈值，增加所述数据库对应的超时时间，得到新超时时间。/n

【技术特征摘要】
1.一种连接池调度方法，其特征在于，所述方法包括：
判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；
若是，减少所述设备对应的多个连接池的配置时间，得到新配置时间；
若否，确定在第一预设时间内每一所述连接池对应的数据源的访问次数；
基于所有所述数据源的访问次数，配置每一所述连接池的最大连接数和最小连接数；
在第二预设时间内，若数据库连接超时的次数大于次数阈值，增加所述数据库对应的超时时间，得到新超时时间。


2.根据权利要求1所述的方法，其特征在于，所述基于所有所述数据源的访问次数，配置每一所述连接池的最大连接数和最小连接数，包括：
根据每一所述数据源的访问次数，将预设的总连接数按比例分配给每一所述连接池，作为每一所述连接池的最大连接数；
针对每一所述连接池，将所述连接池的最小连接数设置为所述最大连接数的预设百分比。


3.根据权利要求2所述的方法，其特征在于，所述将预设的总连接数按比例分配给每一所述连接池，作为每一所述连接池的最大连接数，包括：
获取所有所述连接池中预设的特殊连接池当前的第一最大连接数；
将预设的总连接数按比例分配给每一所述连接池，得到每一所述连接池的第二最大连接数；
确定所述特殊连接池的第一最大连接数是否大于所述特殊连接池的第二最大连接数；
若否，将每一所述连接池的第二最大连接数作为每一所述连接池最新的最大连接数；
若是，将所述特殊连接池的第一最大连接数作为所述特殊连接池最新的最大连接数，以及将所述总连接数与第一最大连接数的差值按比例分配给其余所述连接池，得到其余所述连接池最新的最大连接数。


4.根据权利要求1所述的方法，其特征在于，所述减少所述设备对应的多个连接池的配置时间，得到新配置时间，包括：
针对所述设备对应的每一连接池，分别减少所述连接池对应的最大等待时间、查询空闲时间和连接空闲时间，得到新最大等待时间、新查询空闲时间和新连接空闲时间。


5.根据权利要求1所述的方法，其特征在于，所述减少所述设备对应的多个连接池的配置时间，得到新配置时间，包括：
确定所述设备对应的多个连接池的配置时间的减少百分比；
根据所述减少百分比，减少每个所述连接池的配置时间，得到新配置时间。<...

【专利技术属性】
技术研发人员：蔡炳炎，陈光尧，谢睿，吴丁，李金凤，
申请(专利权)人：广州趣丸网络科技有限公司，
类型：发明
国别省市：广东;44