数据源处理插件动态加载的方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种数据源处理插件动态加载的方法、装置、设备及存储介质，涉及人工智能、大数据及云计算领域，应用于分布式联邦查询引擎集群，具体实现方案为：响应于对数据源处理插件的操作请求，根据操作请求获取操作信息和插件配置信息；根据操作信息和插件配置信息，对分布式联邦查询引擎集群的共享存储模块之中的插件配置信息进行更新；将计算节点的本地存储模块中的插件配置信息与共享存储模块之中的插件配置信息进行差异比对，获得更新插件配置信息；基于更新插件配置信息，对计算节点的数据源处理插件进行加载。本方案可以在不重启联邦查询服务的情况下，实现对计算节点的数据源处理插件的动态加载。数据源处理插件的动态加载。数据源处理插件的动态加载。

【技术实现步骤摘要】
数据源处理插件动态加载的方法、装置、设备及存储介质


[0001]本公开涉及数据处理
，具体涉及人工智能、大数据及云计算领域，尤其涉及一种数据源处理插件动态加载的方法、装置、设备及存储介质。

技术介绍

[0002]随着大数据技术的发展，以及传统数据库技术的进一步演进，企业在数据架构上的选择越来越多。目前一个企业中的数据通常存储在多个数据源，对于业务复杂的企业，数据源甚至数十个到上百个。对于数据的挖掘分析，往往需要横跨多个业务系统，这时就需要具有联邦查询能力的计算引擎，对这些业务系统底层的异构数据源进行联邦分析。
[0003]但是，目前主流的联邦查询引擎，在添加数据源插件时，需要重启服务才能完成数据源对应的数据处理插件的加载。

技术实现思路

[0004]本公开提供了一种数据源处理插件动态加载的方法、装置、设备及存储介质。
[0005]根据本公开的第一方面，提供了一种数据源处理插件动态加载的方法，应用于分布式联邦查询引擎集群，所述方法包括：
[0006]响应于对数据源处理插件的操作请求，根据所述操作请求获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据源处理插件动态加载的方法，应用于分布式联邦查询引擎集群，所述方法包括：响应于对数据源处理插件的操作请求，根据所述操作请求获取操作信息和插件配置信息；根据所述操作信息和所述插件配置信息，对所述分布式联邦查询引擎集群的共享存储模块之中的插件配置信息进行更新；将计算节点的本地存储模块中的插件配置信息与所述共享存储模块之中的插件配置信息进行差异比对，获得更新插件配置信息；所述计算节点为所述分布式联邦查询引擎集群中的节点；基于所述更新插件配置信息，对所述计算节点的数据源处理插件进行加载。2.根据权利要求1所述的方法，其中，所述操作请求中包括身份信息；所述根据所述操作请求获取操作信息和插件配置信息，包括：从所述操作请求中获取操作信息和所述身份信息；根据所述操作信息和所述身份信息，校验所述操作请求的发起端是否有对数据源处理插件的操作权限；响应于所述操作请求的发起端有对数据源处理插件的操作权限，根据所述操作请求获取所述插件配置信息。3.根据权利要求2所述的方法，在所述根据所述操作请求获取所述插件配置信息之后，所述方法还包括：对所述插件配置信息进行解析，获得所述插件配置信息中各参数信息；对所述各参数信息进行格式校验；响应于所述格式校验成功，执行所述根据所述操作信息和所述插件配置信息，对所述分布式联邦查询引擎集群的共享存储模块之中的插件配置信息进行更新的步骤。4.根据权利要求1所述的方法，还包括：根据所述插件配置信息对数据源处理插件进行预加载处理；响应于所述预加载处理成功，执行所述根据所述操作信息和所述插件配置信息，对所述分布式联邦查询引擎集群的共享存储模块之中的插件配置信息进行更新的步骤。5.根据权利要求1至4中任一项所述的方法，其中，所述操作信息为新增数据源时，根据所述操作请求获取的插件配置信息包括新增的数据源处理插件的库文件和配置文件；所述操作信息为新增配置时，根据所述操作请求获取的插件配置信息包括新增操作对应的配置文件；所述操作信息为修改配置时，根据所述操作请求获取的插件配置信息包括修改操作对应的配置文件。6.根据权利要求1所述的方法，还包括：获得所述计算节点加载所述数据源处理插件后得到的插件实例；将所述插件实例注册至插件注册中心。7.根据权利要求1所述的方法，还包括：响应于对数据源处理插件的删除操作请求，根据所述删除操作请求获取待删除的配置文件标识；根据所述配置文件标识，删除所述共享存储模块之中对应的配置文件；
将计算节点的本地存储模块中的插件配置信息与所述共享存储模块之中的插件配置信息进行差异比对，获得删除配置文件信息；删除所述计算节点上与所述删除配置文件信息对应的插件实例。8.根据权利要求7所述的方法，还包括：获得所述计算节点上被删除的插件实例；将插件注册中心之中所述被删除的插件实例的注册信息进行删除。9.根据权利要求6或8所述的方法，还包括：在执行调度节点发送的分布式联邦查询任务时，采用所述分布式联邦查询任务对应的计算节点上的插件实例处理对应数据源；其中，所述分布式联邦查询任务是由所述调度节点基于所述插件注册中心中的注册信息和联邦查询请求生成的；所述调度节点为所述分布式联邦查询引擎集群中负责任务调度的节点。10.一种数据源处理插件动态加载的装置，应用于分布式联邦查询引擎集群，所述装置包括：插件服务模块，用于响应于对数据源处理插件的操作请求，根据所述操作请求获取操作信息和插件配置信息；更新模块，用于根据所述操作信息和所述插件配置信息，对所述分布式联邦查询引擎集群的共享存储模块之中的插件配置信息进行更新；扫描模块，将计算节点的本地存储模块中的插件配置信息与所述共享存储模块之中的插件配置信息进行差异比对，获得更新插件配置信息；所述计...

【专利技术属性】
技术研发人员：张奇伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：