大数据环境中分布式资源容器监控与自评估方法及系统技术方案

本发明专利技术提供一种大数据环境中分布式资源容器监控与自评估方法及系统，其中，方法包括：基于预设的第一规则对大数据上各个节点进行分组；在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据。本发明专利技术的大数据环境中分布式资源容器监控与自评估方法，实现对大数据的各个节点上运行的容器的监控，提高大数据运行的稳定性及安全性。提高大数据运行的稳定性及安全性。提高大数据运行的稳定性及安全性。

【技术实现步骤摘要】
大数据环境中分布式资源容器监控与自评估方法及系统


[0001]本专利技术涉及监控
，特别涉及一种大数据环境中分布式资源容器监控与自评估方法及系统。

技术介绍

[0002]目前，现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
[0003]Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎，源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。简单得来说，Docker是一个由GO语言写的程序运行的“容器”(Linuxcontainers，LXCs)；目前云服务的基石是操作系统级别的隔离，在同一台宿主机上虚拟出多个主机。Docker则实现了一种应用程序级别的隔离，它改变我们基本的开发、操作单元，由直接操作虚拟主机(VM)转换到操作程序运行的“容器”上来。
[0004]现在，亟需一种对于大数据中各个节点的容器的统一监控方法，来实现对大数据的各个节点上运行的容器的监控，提高大数据运行的稳定性及安全性。

技术实现思路

[0005]本专利技术目的之一在于提供了一种大数据环境中分布式资源容器监控与自评估方法，以解决上述技术问题。
[0006]本专利技术实施例提供的一种大数据环境中分布式资源容器监控与自评估方法，包括：
[0007]基于预设的第一规则对大数据上各个节点进行分组；
[0008]在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
[0009]在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据。
[0010]优选的，基于预设的第一规则对大数据上各个节点进行分组，包括：
[0011]获取各个节点的位置信息；
[0012]构建虚拟地图，将位置信息映射至虚拟地图中，确定各个位置信息对应的虚拟位置；
[0013]确定包含所有的虚拟位置的最小的规则区域；
[0014]确定规则区域的中点，任选一个虚拟位置作为标准位置，
[0015]确定各个虚拟位置相对于标准位置的偏转角度；偏转角度为虚拟位置至中点的连线与标准位置至中点的连线之间所呈角度；
[0016]将偏转角度按照从大至小排列，形成第一列表；
[0017]将第一列表从上至下分为预设的第一数量的分组；
[0018]或，
[0019]获取各个节点的重要度；基于重要度从高到低对节点进行排序，获取节点列表；
[0020]从节点列表中从上至下提取预设的第一数量的节点作为核心节点，构建核心节点列表；
[0021]基于节点列表和核心节点列表，确定非核心节点列表；
[0022]依次提取核心节点列表中核心节点，确定核心节点与非核心节点列表中的节点的关联度；
[0023]基于关联度，提取预设的第二数量的非核心节点列表中的节点与核心节点组成一个分组；
[0024]当核心节点列表中的核心节点都提取完后，获得预设的第一数量的分组。
[0025]优选的，在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
[0026]计算分组内各个节点到该分组内的其他的节点的传输距离和值，以传输距离和值最小的节点作为第一级监控节点；
[0027]或，
[0028]以核心节点为第一级监控节点。
[0029]优选的，在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据，包括：
[0030]容器接收到测试数据时，基于测试数据进行运行；
[0031]获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；
[0032]基于监控数据与输出数据，构建自评估向量；
[0033]获取预设的自评估数据库，自评估数据库中匹配向量与自评估数据一一对应；
[0034]计算自评估向量与自评估数据库中每个匹配向量的匹配度，计算公式如下：
[0035][0036]其中，PPD
j
为自评估向量与自评估数据库中第j个匹配向量的匹配度，n为自评估向量中数据的总数或匹配向量中数据的总数；σ
i
为自评估向量的第i个数据的值；μ
i,j
为第j个匹配向量的第i个数据的值；
[0037]获取自评估数据库中与自评估向量的匹配度最大的匹配向量所对应的自评估数据。
[0038]优选的，获取各个节点的重要度，包括：
[0039]获取预设时间内节点参与大数据内的任务的参与数据；
[0040]解析参与数据，确定第一重要值；第一重要值的计算公式如下：
[0041][0042]其中，D1为第一重要值，M为预设时间内大数据内的任务总数；m为节点参与的任务
数；Q
k
为节点参与的第k个任务的任务总量；q
k
为节点参与的第k个任务时完成的任务量；分别为预设的第一相关系数和第二相关系数；
[0043]获取节点的节点数据；
[0044]解析节点数据，获取第二重要值；第二重要值的计算公式如下：
[0045][0046]其中，D2为第二重要值，A
f
为节点数据中第f个参数的参数值；δ
f
为对应f个参数的预设权重值；P为节点数据中参数的总数；
[0047]获取节点的连接情况；
[0048]解析连接情况，获取第三重要值；第三重要值的计算公式如下：
[0049][0050]其中，D3为第三重要值；T为节点与大数据的其他节点的数据传输时间总和；为所有的节点的数据传输时间总和的平均值；ΔT0预设的标准误差阈值；Q
d
为与节点直接连接的第d个其他节点的预设的权限值；ω
d
为第d个其他节点与节点的连接系数，连接系数根据其他节点与节点的数据传输参数查询预设的连接系数表获得；F为与节点直接连接的其他节点的总数；
[0051]基于第一重要值、第二重要值和第三重要值，确定节点的重要度，计算公式如下：
[0052]D＝τ1Q+τ2D1+τ3D2+τ4D3；
[0053]其中，D为重要度，Q为节点的预设的权限值；τ1为预设的对应权限值的关系系数；τ2为预设的对应第一重要值的关系系数；τ3为预设的对应第二重要值的关系系数；τ4为预设的对应第三重要值的关系系数。
[0054]优选的，确定核心节点与非核心节点列表中的节点的关联度，包括：
[0055]获取核心节点到非核心节点的所有路径；
[0056]确定所有路径中最短路径所经过的节点数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据环境中分布式资源容器监控与自评估方法，其特征在于，包括：基于预设的第一规则对大数据上各个节点进行分组；在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据。2.如权利要求1所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述基于预设的第一规则对大数据上各个节点进行分组，包括：获取各个所述节点的位置信息；构建虚拟地图，将所述位置信息映射至所述虚拟地图中，确定各个所述位置信息对应的虚拟位置；确定包含所有的虚拟位置的最小的规则区域；确定所述规则区域的中点，任选一个所述虚拟位置作为标准位置，确定各个所述虚拟位置相对于所述标准位置的偏转角度；所述偏转角度为所述虚拟位置至所述中点的连线与所述标准位置至所述中点的连线之间所呈角度；将所述偏转角度按照从大至小排列，形成第一列表；将所述第一列表从上至下分为预设的第一数量的分组；或，获取所述各个节点的重要度；基于所述重要度从高到低对所述节点进行排序，获取节点列表；从所述节点列表中从上至下提取预设的第一数量的所述节点作为核心节点，构建核心节点列表；基于所述节点列表和所述核心节点列表，确定非核心节点列表；依次提取所述核心节点列表中所述核心节点，确定所述核心节点与所述非核心节点列表中的所述节点的关联度；基于所述关联度，提取预设的第二数量的所述非核心节点列表中的所述节点与所述核心节点组成一个分组；当所述核心节点列表中的所述核心节点都提取完后，获得预设的第一数量的分组。3.如权利要求2所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：计算所述分组内各个所述节点到该分组内的其他的所述节点的传输距离和值，以所述传输距离和值最小的所述节点作为所述第一级监控节点；或，以所述核心节点为所述第一级监控节点。4.如权利要求1所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据，包括：所述容器接收到所述测试数据时，基于所述测试数据进行运行；
获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；基于所述监控数据与所述输出数据，构建自评估向量；获取预设的自评估数据库，所述自评估数据库中匹配向量与所述自评估数据一一对应；计算所述自评估向量与所述自评估数据库中每个所述匹配向量的匹配度，计算公式如下：其中，PPD
j
为所述自评估向量与所述自评估数据库中第j个所述匹配向量的匹配度，n为所述自评估向量中数据的总数或所述匹配向量中数据的总数；σ
i
为所述自评估向量的第i个数据的值；μ
i,j
为第j个所述匹配向量的第i个数据的值；获取所述自评估数据库中与所述自评估向量的匹配度最大的所述匹配向量所对应的所述自评估数据。5.如权利要求2所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述获取所述各个节点的重要度，包括：获取预设时间内所述节点参与大数据内的任务的参与数据；解析所述参与数据，确定第一重要值；所述第一重要值的计算公式如下：其中，D1为所述第一重要值，M为预设时间内所述大数据内的任务总数；m为所述节点参与的任务数；Q
k
为所述节点参与的第k个任务的任务总量；q
k
为所述节点参与的第k个任务时完成的任务量；分别为预设的第一相关系数和第二相关系数；获取所述节点的节点数据；解析所述节点数据，获取第二重要值；所述第二重要值的计算公式如下：其中，D2为所述第二重要值，A
f
为所述节点数据中第f个参数的参数值；δ
f
为对应所述f个参数的预设权重值；P为所述节点数据中所述参数的总数；获取所述节点的连接情况；解析所述连接情况，获取第三重要值；所述第三重要值的计算公式...

【专利技术属性】
技术研发人员：王军平，
申请(专利权)人：北京赛博云睿智能科技有限公司，
类型：发明
国别省市：