一种节点确定方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种节点确定方法、装置、电子设备及存储介质。该方法包括：获取预设时间段内计算集群中各个计算节点的系统日志数据，系统日志数据中包括节点标识和对应的计算节点发生错误的指标名称；根据节点标识统计每个计算节点对应的各指标名称对应的系统日志数据的数量；根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定计算集群中的消极节点。本申请实施例中，由于不同指标名称对计算节点的性能影响不同，因此通过统计各个指标名称对应的系统日志数据的数量，从而能够高效地确定集群中各个计算节点的性能，进而获得消极节点。

【技术实现步骤摘要】
一种节点确定方法、装置、电子设备及存储介质
本申请涉及计算机集群
，具体而言，涉及一种节点确定方法、装置、电子设备及存储介质。
技术介绍
现如今，国内高性能计算机(HighPerformanceComputing，HPC)相关厂商都在积极提高单台高性能计算机的计算能力。众所周知，现阶段的高性能计算机都是以集群的形式部署实施，也就是说由成千上万个计算节点组成，那么如何快速地将其计算量调整到峰值，成为了进一步抢占HPC市场份额的重要影响因素。为了解决如上问题，领域内最频繁的解决方法就是优化集群的节点成分，也就是使用积极节点替换消极节点，使得集群中包括更多的积极节点，甚至集群中的节点都为积极节点，现有方案，判断积极节点与消极节点时，大都通过地毯式搜索法进行，由于集群中节点数量非常大，其搜索效率很低。
技术实现思路
本申请实施例的目的在于提供一种节点确定方法、装置、电子设备及存储介质，用以解决现有技术中从集群中确定消极节点的效率低的问题。第一方面，本申请实施例提供一种节点确定方法，包括：获取预设时间段内计算集群中各个计算节点的系统日志数据，所述系统日志数据中包括节点标识和对应的计算节点发生错误的指标名称；根据所述节点标识统计每个计算节点对应的各指标名称对应的系统日志数据的数量；根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点；其中，指标名称对应的优先级用于表征对计算节点性能的影响程度，所述消极节点为性能不满足要求的计算节点。>本申请实施例中，由于不同的指标名称对计算节点性能的影响不同，因此可以通过从系统日志中获取计算节点发生错误的指标名称，并统计各个指标名称对应的系统日志数据的数量，从而能够高效地确定集群中各个计算节点的性能，进而获得消极节点。进一步地，所述根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点，包括：获取指标列表，所述指标列表中包括多个指标名称以及每一指标名称对应的优先级；从所述指标列表中获取最高优先级的一个指标名称作为排序指标；统计每个计算节点对应的与排序指标对应的系统日志数据的数量；根据系统日志数据的数量对计算节点进行排序，获得目标节点序列；根据所述目标节点序列确定计算集群中的消极节点。本申请实施例通过预先获取对计算节点的性能影响较大的指标名称，并对指标名称进行优先级排序，按照优先级的大小以及各计算节点对应的系统日志数据的数量对计算节点进行排序，不需要考虑所有的指标名称，从而提高了获取消极节点的效率。进一步地，所述根据系统日志数据的数量对计算节点进行排序，获得目标节点序列，包括：若排序后获得的节点序列中包括排序并列的计算节点，则从所述指标列表中依次获取次高优先级的指标名称作为新的排序指标；获取依据上一优先级的排序结果对应的节点序列中排序并列的计算节点，并利用所述新的排序指标对所述排序并列的计算节点进行再次排序，直到获得的节点序列中不存在排序并列的计算节点为止，获得目标节点序列。本申请实施例通过优先级从高到低获取指标名称作为排序指标，并利用排序指标对计算节点进行排序，直到节点序列中不存在排序并列的计算节点为止，从获得的目标节点序列中获取消极节点，能够准确地从目标节点序列中确定消极节点。进一步地，所述根据系统日志数据的数量对计算节点进行排序，获得目标节点序列，包括：若排序后获得的节点序列中包括排序并列的计算节点，且所述排序并列的计算节点中有部分节点被划分为消极节点，则从所述指标列表中依次获取次高优先级的指标名称作为新的排序指标；获取依据上一优先级的排序结果对应的节点序列中排序并列的计算节点，并利用所述新的排序指标对所述排序并列的计算节点进行再次排序，直到获得的节点序列中不存在排序并列的计算节点被划分为消极节点的情况为止，获得目标节点序列。本申请实施例中，不需要通过排序来为每个计算节点分配在序列中的位置，只要排序并列的计算节点不会有部分计算节点被划分为消极节点即可，从而减少了排序的次数，降低了功耗。进一步地，所述目标节点序列根据按照指标名称的优先级由高到低，且对应的系统日志数据的数量由多到少对计算节点进行排序获得；所述根据所述目标节点序列确定计算集群中的消极节点，包括：将所述目标节点序列中位于最前的预设个数的计算节点作为消极计算节点。进一步地，所述根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点，包括：根据各个指标名称对应的优先级确定对应指标名称的权重；根据指标名称的权重和指标名称对应的系统日志数据的数量获得对应计算节点的性能指标；根据各个计算节点的性能指标从中确定消极节点。本申请实施例通过对各指标名称赋予对应的权重，根据权重和各个指标名称对应的系统日志数据数量计算对应计算节点的性能指标，根据性能指标可以快速地确定消极节点。进一步地，所述根据各个计算节点的性能指标从中确定消极节点，包括：确定性能指标高于预设性能指标的计算节点为消极节点。本申请实施例通过计算集群中计算节点的平均性能指标，从而可以量化的获得消极节点。进一步地，所述根据各个计算节点的性能指标从中确定消极节点，包括：从性能指标最高的计算节点开始，将预设个数的计算节点作为消极节点。本申请实施例从性能指标最高的计算节点开始确定预设个数的消极节点，能够快速的获得消极节点。进一步地，在获取预设时间段内高性能计算集群中各个计算节点的系统日志数据之后，所述方法，还包括：按照预设格式对所述系统日志数据进行格式化处理；对格式化处理后的日志数据进行存储。第二方面，本申请实施例提供一种节点确定装置，包括：数据获取模块，用于获取预设时间段内计算集群中各个计算节点的系统日志数据，所述系统日志数据中包括节点标识和对应的计算节点发生错误的指标名称；统计模块，用于根据所述节点标识统计每个计算节点对应的各指标名称对应的系统日志数据的数量；节点确定模块，用于根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点；其中，指标名称对应的优先级用于表征对计算节点性能的影响程度，所述消极节点为性能不满足要求的计算节点。第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本申请实本文档来自技高网...

【技术保护点】
1.一种节点确定方法，其特征在于，包括：/n获取预设时间段内计算集群中各个计算节点的系统日志数据，所述系统日志数据中包括节点标识和对应的计算节点发生错误的指标名称；/n根据所述节点标识统计每个计算节点对应的各指标名称对应的系统日志数据的数量；/n根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点；其中，指标名称对应的优先级用于表征对计算节点性能的影响程度，所述消极节点为性能不满足要求的计算节点。/n

【技术特征摘要】
1.一种节点确定方法，其特征在于，包括：
获取预设时间段内计算集群中各个计算节点的系统日志数据，所述系统日志数据中包括节点标识和对应的计算节点发生错误的指标名称；
根据所述节点标识统计每个计算节点对应的各指标名称对应的系统日志数据的数量；
根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点；其中，指标名称对应的优先级用于表征对计算节点性能的影响程度，所述消极节点为性能不满足要求的计算节点。


2.根据权利要求1所述的方法，其特征在于，所述根据各计算节点中，指标名称对应的优先级以及指标名称对应的系统日志数据的数量确定所述计算集群中的消极节点，包括：
获取指标列表，所述指标列表中包括多个指标名称以及每一指标名称对应的优先级；
从所述指标列表中获取最高优先级的一个指标名称作为排序指标；
统计每个计算节点对应的与排序指标对应的系统日志数据的数量；
根据系统日志数据的数量对计算节点进行排序，获得目标节点序列；
根据所述目标节点序列确定计算集群中的消极节点。


3.根据权利要求2所述的方法，其特征在于，所述根据系统日志数据的数量对计算节点进行排序，获得目标节点序列，包括：
若排序后获得的节点序列中包括排序并列的计算节点，则从所述指标列表中依次获取次高优先级的指标名称作为新的排序指标；
获取依据上一优先级的排序结果对应的节点序列中排序并列的计算节点，并利用所述新的排序指标对所述排序并列的计算节点进行再次排序，直到获得的节点序列中不存在排序并列的计算节点为止，获得目标节点序列。


4.根据权利要求2所述的方法，其特征在于，所述根据系统日志数据的数量对计算节点进行排序，获得目标节点序列，包括：
若排序后获得的节点序列中包括排序并列的计算节点，且所述排序并列的计算节点中有部分节点被划分为消极节点，则从所述指标列表中依次获取次高优先级的指标名称作为新的排序指标；
获取依据上一优先级的排序结果对应的节点序列中排序并列的计算节点，...

【专利技术属性】
技术研发人员：毕研儒，王家尧，吕灼恒，张晋锋，
申请(专利权)人：曙光信息产业北京有限公司，曙光信息产业股份有限公司，
类型：发明
国别省市：北京;11