一种面向网络编码集群系统的数据更新方法技术方案

本发明专利技术公开了一种面向网络编码集群系统的数据更新方法。根据当前数据的爆炸性增长为集群系统带来了巨大的挑战，而网络编码的作为一种具有高可靠性和低冗余等优点的数据方案而被引入到集群系统中，但是其数据更新过程的开销却很大，特别是在计算节点与存储节点之间的数据传输带宽开销比较大。本发明专利技术利用更新节点的缓存区域，将更新数据块和校验块缓存起来有效利用更新数据局部性，并利用网络编码的线性特性，减少计算校验块时数据的传输量，减少带宽消耗；更新数据进行及时写，从而缩短磁盘失效时的修复时间，减少数据丢失风险。本发明专利技术提供的方案能够较好的适应网络编码集群系统数据更新，减少更新过程的带宽消耗，提高数据更新速度。

Data updating method for network coding cluster system

The invention discloses a data updating method for a network coding cluster system. According to the current explosive growth of data for the cluster system has brought great challenges, and the network as a data encoding scheme has the advantages of high reliability and low redundancy and was introduced into the cluster system, but the data update process overhead is large, especially the data transmission bandwidth overhead between computing nodes and storage the node is relatively large. The invention uses the cache area update node, will update the data block and the parity block cache effectively using update data locality, and linear encoding characteristics of the network, the amount of data transmission to calculate the checksum block, to reduce bandwidth consumption; update the data timely, so as to shorten the repair time of disk failures, reduce the data the risk of loss. The scheme provided by the invention can better adapt to the data updating of the network coding cluster system, reduce the bandwidth consumption in the updating process, and improve the data updating speed.

【技术实现步骤摘要】
一种面向网络编码集群系统的数据更新方法
本专利技术涉及集群系统
，具体涉及一种面向网络编码集群系统的数据更新方法。
技术介绍
随着互联网技术的迅猛发展，互联网用户每天都在产生大量的数据。数据的大规模增长给集群系统带来的不仅仅是存储上的压力还有对数据可靠性的保障。在集群系统中，节点失效是很常见的，如果不对数据实施保护措施，则很容易造成数据丢失。作为一种替代的计算方案，网络编码被应用到集群系统中，通过网络连接不同的节点为存储数据提供一个可靠平台。但是网络编码的更新机制却给集群系统带来了消耗的计算和带宽开销。现有的优化方法包括增加日志设备和增加缓存两种方法。增加日志设备能减少校验块写的次数但是需要额外的日志设备而且会影响系统的读性能；而传统的增加缓存方法所进行的延迟写在网络编码集群系统中容易影响失效节点修复增加数据丢失风险。因此，亟待需要一种既能保障网络编码集群系统节点修复效率，又能减少更新时带宽消耗，提高更新速度的方法。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种面向网络编码集群系统的数据更新方法，其能够有效减少集群系统更新数据时的带宽消耗，并提高集群系统更本文档来自技高网...

【技术保护点】
一种面向网络编码集群系统的数据更新方法，其特征在于，所述数据更新方法包括下列步骤：S1、初始化缓存区域，在计算节点中，为更新数据块和更新校验块分别设置数据区域和校验区域作为缓存区域，其中，所述数据区域用于缓存更新数据块，所述校验区域用于缓存更新校验块；S2、读取数据块和校验块信息；S3、计算更新数据块前后差异，计算节点读取将被更新数据块的内容与新的内容进行异或运算，得到数据块更新前后的差异结果；S4、计算更新校验块，在校验区域中查找与所述更新数据块同一个条带的所有校验块，若有则从校验区域中读取校验块的信息，若无，则通过网络从对应节点上读取校验块的信息，将数据块更新前后差异乘上编码系数，并将该结...

【技术特征摘要】
1.一种面向网络编码集群系统的数据更新方法，其特征在于，所述数据更新方法包括下列步骤：S1、初始化缓存区域，在计算节点中，为更新数据块和更新校验块分别设置数据区域和校验区域作为缓存区域，其中，所述数据区域用于缓存更新数据块，所述校验区域用于缓存更新校验块；S2、读取数据块和校验块信息；S3、计算更新数据块前后差异，计算节点读取将被更新数据块的内容与新的内容进行异或运算，得到数据块更新前后的差异结果；S4、计算更新校验块，在校验区域中查找与所述更新数据块同一个条带的所有校验块，若有则从校验区域中读取校验块的信息，若无，则通过网络从对应节点上读取校验块的信息，将数据块更新前后差异乘上编码系数，并将该结果与读取到的校验块进行异或运算，得到所有更新校验块；S5、更新数据块和更新校验块的存储，将更新数据块的信息存储到数据区域中，将所有更新校验块的信息存储到校验区域中；S6、缓存替换，判断缓存区域是否到达一定阀值时，若到达阀值，对于数据区域进行更新；对于校验区域进行更新，同时找出与更新校验块同一个条...

【专利技术属性】
技术研发人员：邓玉辉，刘冰星，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东,44