用于寻找引擎插件的装置、方法及存储介质制造方法及图纸

本发明专利技术的实施例涉及引擎插件的寻找。本发明专利技术的实施例接收用户对引擎插件的请求，该请求包括品牌信息和类别信息，然后根据所述品牌信息和类别信息，在插件池中寻找与所述请求匹配的引擎插件，其中所述插件池用于存储与计算引擎对应的引擎插件。本发明专利技术的技术方案能够支持大数据平台应用不同厂商品牌、不同类别的引擎。本发明专利技术的实施例还能支持以不同厂商品牌的命令方式来操作适用的引擎。

【技术实现步骤摘要】
用于寻找引擎插件的装置、方法及存储介质
本公开涉及大数据
，特别是涉及一种寻找引擎插件的装置、方法及存储介质。
技术介绍
随着大数据技术的发展，大数据引擎种类越来越多，例如：分布式计算框架Hadoop、图数据计算平台Giraph、在线分析引擎Presto等。这些大数据引擎满足了特定应用场景的同时也带来了挑战。例如，当大数据平台引入新型引擎时，可能会影响到平台框架的稳定性；同时也无法在同一个大数据平台上运行多种厂商(或品牌)的引擎。这些问题不仅提高了运维成本，也限制了平台的扩展能力。已有一些技术来应对上述挑战。一种现有技术提出了基于业务插件化的电商大数据采集方法，通过将爬虫业务程序编译成动态链接库文件，使得调用者可以动态下载需要的爬虫业务模块来执行，即插即用，提高业务的可扩展性。另一种现有技术包括了多数据源配置模块，该可根据需要实现任意数据的配置导入和爬取，或者通过数据源来配置XML脚本语言，实现各种数据源的编程配置和映射配置。还有一种现有技术，利用插件在大数据应用框架下组装生成大数据应用。这些现有技术只支持管理多种类别的大数据引擎本文档来自技高网...

【技术保护点】
1.一种用于寻找引擎插件的装置，包括：/n插件池，用于存储与计算引擎对应的引擎插件，所述引擎插件具有关联的品牌信息和类别信息；和/n插件匹配器，用于根据用户的请求中的品牌和类别信息在插件池中寻找与所述请求匹配的引擎插件。/n

【技术特征摘要】
1.一种用于寻找引擎插件的装置，包括：
插件池，用于存储与计算引擎对应的引擎插件，所述引擎插件具有关联的品牌信息和类别信息；和
插件匹配器，用于根据用户的请求中的品牌和类别信息在插件池中寻找与所述请求匹配的引擎插件。


2.根据权利要求1所述的装置，还包括：
插件执行器，用于执行所述匹配的引擎插件。


3.根据权利要求1所述的装置，还包括：
插件加载器，用于向所述插件池引擎插件。


4.根据权利要求3所述的装置，其中所述插件池以子集的方式组织其存储的引擎插件，其中所述子集中的所有引擎插件与一品牌或类别对应。


5.根据权利要求4所述的装置，其中所述插件匹配器能够通过下述步骤来寻找与所述用户的请求匹配的引擎插件：
确定所述插件池中与所述请求中的品牌信息对应的第一子集；
确定所述插件池中与所述请求中的类别信息对应的第二子集；以及
将所述第一子集和第二子集进行交集运算，并其该交集运算的结果确定为与所述请求匹配的引擎插件。


6.根据权利要求1所述的装置，其中所述装置能够基于所述匹配的引擎插件的品牌和类别信息来寻找与所述用户的任务对应的资源包，并通过命令来载入该资源包，以执行所述任务。


7.根据权...

【专利技术属性】
技术研发人员：方迪，江敏，
申请(专利权)人：杭州数澜科技有限公司，
类型：发明
国别省市：浙江;33