【技术实现步骤摘要】
一种基于信息交互的数据节点动态配置方法
[0001]本专利技术具体应用于大数据分布式节点之间的通信，属于分布式
，特别涉及一种基于信息交互的数据节点动态配置方法。
技术介绍
[0002]为了处理目前日益增加的数据量，采用由多台计算机来共同处理目前的数据，多台计算机构成了一个分布式架构。由于分布式系统架构中不同节点之间的距离太远，所以需要通过基于RPC框架中的远程通信来实现节点间的信息交互和数据传输，底层RPC框架中的心跳机制对整个系统节点间的信息交互很重要。
[0003]一个HDFS分布式文件中包括主节点(NameNode)和从节点(DataNode)。NameNode主要是用于管理和维护分布式文件系统中所有元数据的存储以及负责数据文件与DataNode之间的映射信息及访问操作,而集群中位于不同地理位置的DataNode管理存储实际的数据，其主要实现的是对数据文件实际进行的存储、访问和删除等操作，心跳机制是保证分布式文件系统HDFS中DataNode从节点与NameNode主节点之间进行通信，从而来保证文件读写、节点运行正常的关键技术。
[0004]但是现有的技术中，NameNode主节点与DataNode从节点的心跳间隔是在HDFS的配置文件中进行固定设置，固定周期是3s，各个节点之间的心跳传输带宽没有进行动态的划分。从而存在以下缺点
①
：心跳发送的固定时间是在HDFS配置文件中预先设置的，不能根据每个节点所存储的数据块、节点被访问的频率来动态调整心跳间隔，如果节点需要进行频...
【技术保护点】
【技术特征摘要】
1.一种基于信息交互的数据节点动态配置方法，其特征在于，包括以下步骤：步骤一：在HDFS配置文件中设置相关参数；步骤二：DataNode节点n以初始心跳间隔发送心跳信息；步骤三：分别获取DataNode节点n包括当前周期i在内的前k个连续周期的数据块数量和节点访问概率，节点在前i
‑
1个周期以系统默认的心跳间隔和带宽进行心跳任务；步骤四：计算集群节点在包含当前周期i在内的前k个连续周期的平均数据块数量；步骤五：计算集群节点在包含当前周期i在内的前k个连续周期的平均访问热度；步骤六：将集群中的节点进行分类，将节点分为冷节点和热节点以及一般节点；将热节点所对应的心跳传输视为重要的任务，将task
ni
放在QoS所对应的队列q0里面，task
ni
表示节点n在第i周期所对应的心跳传输任务，q0队列设置链路带宽资源的最下限，来加快心跳信息的传输；将冷节点所对应的心跳信息视为不重要的任务，task
ni
放在QoS所对应的队列q1里面，q1队列设置链路带宽资源的最上限，减少集群资源的消耗，降低系统的功耗；对于一般节点所对应的心跳信息视为一般的任务，task
ni
放在QoS所对应的队列q2中，为其设定带宽资源的上限和下限；步骤七：节点以新的心跳间隔时间进行动态调整，并且为节点的心跳传输提供不同权值的带宽服务；步骤八：重复步骤三至步骤七。2.根据权利要求1所述的一种基于信息交互的数据节点动态配置方法，其特征在于，所述步骤四中计算集群节点平均数据块数量：其中Node
avg
表示集群节点在包含当前周期i在内的前面连续k个周期的平均数据块，N代表集群的总节点个数。3.根据权利要求2所述的一种基于信息交互的数据节点动态配置方法，其特征在于，所述步骤五中计算集群节点平均访问热度：其中Node
hot
表示集群节点在包含当前周期i在内的前面连续k个周期的平均访问热度，N代表集群的总节点个数。4.根据权利要求3所述的一种基于信息交互的数据节点动态配置方法，其特征在于，所述步骤六中将集群中的节点进行分类，如果表示该节点是热节点，如果表示该节点是冷节点；其中：Listnode
countni
表示节点n在第i个周期所对应的数据块数量，Listnode
hotni
表示节点n在第i个周期所对应的访问频率，t`
ni
表示节点n在第i个周期的心跳间隔，α表示默认的心跳因子，δ表示数据块影响因子，β表示频率影响因子。5.根据权利要求4所述的一种基于信息交互的数据节点动态配置方法，其特征在于，所述步骤七中，经过s个周期的心跳动态调整和带宽资源权值的分配，节点在m个周期的时间内属于热节点，节点在m
‑
1个周期属于冷节点，其中m﹥s；当节点从冷节点转换成热节点的时候，计算在q0队列里面热节点心跳间隔的方差ω和平均值ρ，Node
threshold
为q0队列中节点的
心跳间隔与当前节点心跳间隔的最小值，如果|ρ
‑
t`
nm
|≤ω*Node
...
【专利技术属性】
技术研发人员：张经宇，舒政文，王菲菲，王进，李文军，何施茗，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。