一种更新数据查询引擎配置列表的方法及装置制造方法及图纸

技术编号:12888633 阅读:104 留言:0更新日期:2016-02-17 22:40
本发明专利技术实施例公开了一种更新数据查询引擎配置列表的方法及装置。该方法包括:如果监测到数据查询引擎的当前节点的服务进程启动时,则启动后台监控线程,监测所述数据查询引擎的配置文件目录的更新操作;如果监测到所述配置文件目录的更新操作,则获取被更新的配置文件信息;根据所述被更新的配置文件信息,对所述当前节点的配置列表进行相应的更新操作。本发明专利技术实施例所采用的技术方案,无需重启数据查询引擎节点的服务进程,就可实现数据查询引擎配置列表的动态更新,达到数据查询引擎自动化运维的效果,从而减轻运维人员负担,提升数据查询引擎的用户体验。

【技术实现步骤摘要】

本专利技术实施例涉及交互式数据查询引擎技术,尤其涉及一种更新数据查询引擎配置列表的方法及装置
技术介绍
在现今的信息化时代,对信息数据的应用与研究已成为一种趋势,很多大型公司需要通过如SQL Server, MySQL等数据库管理系统对公司相关数据进行查询、分析、管理以及处理,从而更好的改善产品质量,随着大数据的出现,仅通过数据库管理系统进行查询操作效率很低,因此,查询引擎成为快速查询相关数据的必备工具。Presto是一种纯内存的交互式SQL查询引擎,查询效率比Hive (基于Hadoop的一个数据仓库工具,提供简单的SQL查询功能)高出近10倍,能够跨越包括Hive、MySQL,Kafka在内的多种数据源进行查询,目前已成功应用在Facebook、Netflix、Dropbox、京东等知名互联网公司。Presto可以查询多种不同的数据源,而对于数据源属性的配置是以配置文件的形式存储在名为catalog的配置文件目录中,不同的数据源需要分不同的配置文件进行配置,相同的数据源但是属性不同(如MySQL连接地址不同)同样需要分不同的配置文件进行配置,一个合法的配置文件可作为Presto的一个catalog被保存在catalog列表中。当Presto服务启动时,如图1所示,首先检测catalog配置文件目录下的配置文件,如果配置文件合法则将其加载到Presto服务中,当所有catalog配置文件都加载完成后,当前Presto节点会声明自身所拥有的合法的catalog列表。在Presto的实际使用中,往往遇到对catalog配置进行增、删和改的更新需求,一般情况下,执行上述需求的现有技术方案往往是重新启动Presto服务,因为现有Presto服务对catalog配置的加载是一次性的,即只在Presto服务启动时进行加载,之后不会再对catalog进行任何处理。当Presto服务启动后,即使存在catalog配置文件的增删改操作,也只有通过重启Presto服务,重新对所有的catalog配置都会进行加载,才能实现catalog配置的更新。现有技术方案对于每次更新都需要重启Presto服务,一旦catalog配置错误就需要频繁重启Presto服务,导致Presto服务不能稳定运行,进而增大运维人员的负担,降低Presto服务的用户体检。
技术实现思路
本专利技术提供一种更新数据查询引擎配置列表的方法及装置,实现数据查询引擎中配置列表的动态更新,保证数据查询引擎服务的稳定运行,从而提高数据查询引擎服务的用户体检。—方面,本专利技术实施例提供了一种更新数据查询引擎配置列表的方法,包括:如果监测到数据查询引擎的当前节点的服务进程启动时,则启动后台监控线程,监测所述数据查询引擎的配置文件目录的更新操作;如果监测到所述配置文件目录的更新操作,则获取被更新的配置文件信息;根据所述被更新的配置文件信息,对所述当前节点的配置列表进行相应的更新操作。另一方面,本专利技术实施例提供了一种更新数据查询引擎配置列表的装置,集成在数据查询引擎中,该装置包括:更新操作监控模块,用于当监测到数据查询引擎的当前节点的服务进程启动时,启动后台监控线程,监测所述数据查询引擎的配置文件目录的更新操作;更新信息获取模块,用于当监测到所述配置文件目录的更新操作时,获取被更新的配置文件信息;配置列表更新模块,用于根据所述被更新的配置文件信息,对所述当前节点的配置列表进行相应的更新操作。本专利技术实施例中提供的一种更新数据查询引擎配置列表的方法及装置,根据监控线程监测数据查询引擎的配置文件目录,若监测到配置文件目录存在增加、删除或者修改的配置文件时,根据监测线程提供的被更新的配置文件信息,对数据查询引擎服务进程中的配置列表进行相应的更新。本专利技术无需重启数据查询引擎节点的服务进程,就可实现数据查询引擎配置列表的动态更新,达到数据查询引擎自动化运维的效果,从而减轻运维人员负担,提升数据查询引擎的用户体验。【附图说明】图1为现有技术中更新数据查询引擎配置列表的流程图;图2为本专利技术实施例一提供的一种更新数据查询引擎配置列表的方法的流程示意图;图3为本专利技术实施例二提供的一种更新数据查询引擎配置列表的方法的流程示意图;图4为本专利技术实施例三提供的一种更新数据查询引擎配置列表的装置的结构框图。【具体实施方式】下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图2为本专利技术实施例一提供的一种更新数据查询引擎配置列表方法的流程示意图,该方法可以由更新数据查询引擎配置列表的装置执行,其中该装置可由软件和/或硬件实现,作为数据查询引擎的一部分集成在数据查询引擎中,本专利技术实施例提供的更新数据查询引擎配置列表的方法,如图2所示,包括如下操作:步骤101、如果监测到数据查询引擎的当前节点的服务进程启动时,则启动后台监控线程,监测所述数据查询引擎的配置文件目录的更新操作。在本实施例中,所述数据查询引擎具体可指交互式连接关系型数据库,并通过客户端的数据查询请求实现快速查询的交互式查询系统,例如,名为Hive、Impala、Spark、Stinger以及Presto等都是目前较流行的开源大数据查询分析引擎,可实现大数据的快速查询处理。上述数据查询引擎均可用来对大数据进行查询分析和处理,因此在这些数据查询引擎中至少存在两个计算节点,在数据查询引擎工作时,需要启动相应的计算节点服务进程才能进行相应的处理计算工作。本实施例提出的更新数据查询引擎配置列表的方法就是在监测到数据查询引擎相应计算节点的服务进程启动后进行的一系列操作。在本实施例中,所述后台监控线程具体可指在所述数据查询引擎系统相应代码中加入的监控代码,可通过所述当前节点服务进程启动时的触发器触发启动,具体可用于监控数据查询引擎配置文件目录中是否出现配置文件的更新操作。所述配置文件目录具体可用于存放数据源的配置文件参数信息。所述配置文件目录的更新操作具体可包括:配置文件目录中配置文件的增加、删除以及参数变更。步骤102、如果监测到所述配置文件目录的更新操作,则获取被更新的配置文件信息。在本实施例中,对所述配置文件目录更新操作的监测由后台监控线程执行,所述后台监控线程由相应的监控代码实现,所述监控代码具体可为编程语言应用程序自带的编程接□ (Applicat1n Programming Interface,API)。优选的,本实施例米用Java语言中的WatchService API,所述WatchService API可以作为一个独立线程后台运行机制,在后台直接监控目录的变更情况并且返回对目录的监控信息,不会影响前端处理。所述WatchService API内部的具体监控目录变更的过程不再详细描述。步骤103、根据所述被更新的配置文件信息,对所述当前节点的配置列表进行相应的更新操作。在本实施例中,所述被更新的配置文件信息具体可包括:新增配置文件的文件名及参数信息、被删除文件的文件名、以及被修改配置文件的文件名及修改当前第1页1 2 3 本文档来自技高网
...

【技术保护点】
一种更新数据查询引擎配置列表的方法,其特征在于,包括:如果监测到数据查询引擎的当前节点的服务进程启动时,则启动后台监控线程,监测所述数据查询引擎的配置文件目录的更新操作;如果监测到所述配置文件目录的更新操作,则获取被更新的配置文件信息;根据所述被更新的配置文件信息,对所述当前节点的配置列表进行相应的更新操作。

【技术特征摘要】

【专利技术属性】
技术研发人员:袁安峰
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1