本发明专利技术公开了一种信息采集方法及装置。该方法包括：由多个第一处理程序对等地接收任务请求，获取设备列表并将所述任务请求拆分为多个子任务，将所述子任务发送给高可用的消息队列中间件MQ；之后，再由多个第二处理程序对等地从所述消息队列中间件处获取所述子任务并处理相应的子任务，其中所述第二处理程序的个数可根据所述子任务的个数进行相应的调整。如此，通过多个对等的程序接收任务请求，并使用高可用的消息队列中间件MQ进行任务调度，再由多个对等的程序获取并处理这些任务，从而实现了从接收任务、调度任务到处理任务各个环节的高可用。高可用。高可用。
【技术实现步骤摘要】
一种信息采集方法及装置
[0001]本专利技术涉及计算机信息处理领域，尤其涉及一种信息采集方法及装置。
技术介绍
[0002]随着通信技术和互联网的日益发展和进步，使用跨地区和跨时区的分布式存储设备或计算设备组成的超大数据运算平台，也日益成为一种趋势。
[0003]然后如何从这些日益增长的分布式设备上收集设备的相关信息，例如配置数据；性能数据；状态数据等等，并对这些数据进行统一管理，也成为越来越困难的一件事。
[0004]现有的设备信息采集系统，大多采用1个主节点多个代理节点的系统架构，且将数据抓取、存储、展现功能集成在一起，扩展性低且欠缺高可用性方案。在这种架构下，一旦设备增长到一定数目，例如200多设备时，主节点存在明显的性能瓶颈。
[0005]因此，如何搭建一个可扩展、高可用的分布式信息采集平台，并在其基础之上实现一种可伸缩性更强的设备信息采集方法，还是尚待解决的一个技术问题。
技术实现思路
[0006]针对以上问题，本专利技术实施例提供了一种信息采集方法、装置及存储介质。
[0007]根据本专利技术实施例第一方面，一种信息采集方法，该方法包括：由多个第一处理程序对等地接收任务请求，获取设备列表并将任务请求拆分为多个子任务，并将子任务发送给高可用的消息队列中间件MQ；消息队列中间件接收到子任务后，通知多个第二处理程序提取子任务进行处理；由多个第二处理程序对等地从消息队列中间件处获取子任务并处理相应的子任务。
[0008]根据本专利技术实施例一实施方式，任务请求包括信息采集任务，相应地，处理相应的子任务包括采集相应设备的信息。
[0009]根据本专利技术实施例一实施方式，在采集相应设备的信息之前，该方法还包括：自定义要采集的信息。
[0010]根据本专利技术实施例一实施方式，在采集相应设备的信息之后，该方法还包括：将采集到的信息存储到与其他应用所共享的信息存储系统中。
[0011]根据本专利技术实施例一实施方式，在采集相应设备的信息之后，该方法还包括：根据信息采集任务所采集到的信息，并结合其他设备管理信息，判断是否存在资源占用异常的设备，若存在，则生成针对相应设备的资源调优任务，并将资源调优任务发送给多个第一处理程序。
[0012]根据本专利技术实施例一实施方式，任务请求还包括资源调优任务。
[0013]根据本专利技术实施例一实施方式，获取设备列表，包括：从配置管理数据库CMDB中获取设备列表，其中，配置管理数据库还存储有与设备对应的其他设备管理信息；相应地，在处理相应的子任务之后，该方法还包括：根据子任务的处理结果，更新配置管理数据库的设备列表和/或其他设备管理信息。
[0014]根据本专利技术实施例一实施方式，消息队列中间件有多个实例，相应地，将子任务发送给高可用的消息队列中间件，包括：将子任务发送给高可用的消息队列中间件中，与子任务对应设备位置邻近的实例。
[0015]根据本专利技术实施例一实施方式，在将任务请求拆分为多个子任务之后，该方法还包括：获取子任务数量；根据子任务数量调整第二处理程序的个数。
[0016]根据本专利技术实施例第二方面，提供一种信息采集装置，该装置包括：任务请求接收模块，用于对等地接收任务请求；设备列表获取模块，用于获取设备列表；子任务拆分模块，用于将任务请求拆分为多个子任务；子任务发送模块，用于将子任务发送给高可用的消息队列中间件MQ；子任务调度模块，用于在接收到子任务后，通知多个第二处理程序提取子任务进行处理；子任务处理模块，用于对等地从消息队列中间件处获取子任务并处理相应的子任务。
[0017]根据本专利技术实施例第三方面，一种计算机存储介质，在计算机存储介质上存储了程序指令，程序指令在运行时用于执行上述任一项的信息采集方法。
[0018]本专利技术实施例提供一种信息采集方法、装置及计算机存储介质，该方法包括：由多个第一处理程序对等地接收任务请求，获取设备列表并将所述任务请求拆分为多个子任务，将所述子任务发送给高可用的消息队列中间件MQ；之后，再由多个第二处理程序对等地从所述消息队列中间件处获取所述子任务并处理相应的子任务，其中所述第二处理程序的个数可根据所述子任务的个数进行相应的调整。如此，通过多个对等的程序接收任务请求，并使用高可用的消息队列中间件MQ进行任务调度，再由多个对等的程序获取并处理这些任务，从而实现了从接收任务、调度任务到处理任务各个环节的高可用。
[0019]需要理解的是，本专利技术的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本专利技术的其他实施方式还能够实现上面未提到的有益效果。
附图说明
[0020]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：
[0021]在附图中，相同或对应的标号表示相同或对应的部分。
[0022]图1为本专利技术实施例信息采集方法的实现流程示意图；
[0023]图2为本专利技术实施例信息采集方法一应用的具体实现流程示意图；
[0024]图3为本专利技术实施例信息采集装置的组成结构示意图。
具体实施方式
[0025]为使本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0027]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0028]图1示出了本专利技术实施例信息采集方法的实现流程。参考图1，该方法包括：操作110，由多个第一处理程序对等地接收任务请求，获取设备列表并将任务请求拆分为多个子任务，并将子任务发送给高可用的消息队列中间件MQ；操作120，消息队列中间件接收到子任务后，通知多个第二处理程序提取子任务进行处理；操作130，由多个第二处理程序对等地从消息队列中间件处获取子任务并处理相应的子任务。
[0029]在操作110中，第一处理程序可以是应用程序；也本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种信息采集方法，所述方法包括：由多个第一处理程序对等地接收任务请求，获取设备列表并将所述任务请求拆分为多个子任务，并将所述子任务发送给高可用的消息队列中间件MQ；消息队列中间件接收到所述子任务后，通知多个第二处理程序提取所述子任务进行处理；由所述多个第二处理程序对等地从所述消息队列中间件处获取所述子任务并处理相应的子任务。2.根据权利要求1所述的方法，所述任务请求包括信息采集任务，相应地，所述处理相应的子任务包括采集相应设备的信息。3.根据权利要求2所述的方法，在采集相应设备的信息之前，所述方法还包括：自定义要采集的信息。4.根据权利要求2所述的方法，在所述采集相应设备的信息之后，所述方法还包括：将所述采集到的信息存储到与其他应用所共享的信息存储系统中。5.根据权利要求2所述的方法，在所述采集相应设备的信息之后，所述方法还包括：根据所述信息采集任务所采集到的信息，并结合其他设备管理信息，判断是否存在资源占用异常的设备，若存在，则生成针对相应设备的资源调优任务，并将所述资源调优任务发送给所述多个第一处理程序。6.根据权利要求5所述的方法，所述任务请求还包括资源调优任务。7.根据权利要求1所述的方法，所述获取...
【专利技术属性】
技术研发人员：张彬，张铎龙，任德磊，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。