一种改进的Rsync方法、装置及信息同步系统制造方法及图纸

本申请公开了一种改进的Rsync方法、装置及信息同步系统，方法包括：采用预置窗口进行初始块划分，得到初始文件块；并计算获取的初始差异文件块的比重值；若比重值较大，且初始文件块较长，则采用预置固定长度对初始文件块进行第一块划分，并计算强弱校验值；若否，则直接计算初始文件块的初始强弱校验值；若比重值较小，则采用预置精分滑动窗口对初始文件块进行第二块划分，并计算相应的强弱校验值；根据求得的强弱校验值获取所有的目标差异文件块，并通过目标差异文件块进行同步传输操作。本申请能够解决在实际文件内容的变化范围跨度较大时，Rsync算法的性能降低，造成信息同步效率低下的技术问题。

【技术实现步骤摘要】
一种改进的Rsync方法、装置及信息同步系统
本申请涉及信息同步
，尤其涉及一种改进的Rsync方法、装置及信息同步系统。
技术介绍
Rsync(RemoteSynchronize)算法能够准确的计算出文件的微小变化，识别源端数据和目的端数据的差异，因此，被应用于不同设备之间的信息同步中，Rsync算法是根据差异文件块进行传输，可以有效的降低网络流量，提高传输效率，但是同时也存在一些问题，在文件变化很小时，Rsync算法计算文件块中每个字节的hash值，计算效率低；在文件变化很大时，Rsync算法同步速度非常慢；因此，在文件变化较为极端的情况下，Rsync算法的性能不具备突出优势，无法适应更多情况的信息同步需求。
技术实现思路
本申请提供了一种改进的Rsync方法、装置及信息同步系统，用于解决在实际文件内容的变化范围跨度较大时，Rsync算法的性能降低，造成信息同步效率低下的技术问题。有鉴于此，本申请第一方面提供了一种改进的Rsync方法，包括：采用预置窗口进行初始块划分，得到初始文件块；根据预置编辑距离算法在所述初始文件块中获取初始差异文件块，并计算所述初始差异文件块占总初始文件块的比重值；若所述比重值大于预置差异度评价因子，则判断所述初始文件块是否大于预置块长度，若否，则计算所述初始文件块的初始强弱校验值，若是，则采用预置固定长度对所述初始文件块进行第一块划分，得到第一文件块，并计算所述第一文件块的第一强弱校验值；若所述比重值小于或者等于所述预置差异度评价因子，则采用预置精分滑动窗口对所述初始文件块进行第二块划分，得到第二文件块，并计算所述第二文件块的第二强弱校验值；根据求得的强弱校验值获取所有的目标差异文件块，并通过所述目标差异文件块进行同步传输操作，所述求得的强弱校验值包括初始强弱校验值、第一强弱校验值和第二强弱校验值，所述求得的强弱校验值包括弱校验值和强校验值。可选的，所述采用预置窗口进行初始块划分，得到初始文件块，包括：在初始文件上滑动所述预置窗口，并计算每个窗口中文件内容对应的指纹值；根据满足预置指纹条件的所述指纹值选取划分边界，进行初始块划分操作，得到所述初始文件块。可选的，所述根据求得的强弱校验值获取所有的差异文件块，并通过所述差异文件块进行同步传输操作，包括：判断当前文件块对应的所述弱校验值是否与预置弱校验值一致，若是，则所述当前文件块为第一无差异文件块，若否，则判断所述当前文件块对应的所述强校验值是否与预置强校验值一致，若是，则所述当前文件块为第二无差异文件块，若否，则所述当前文件块为差异文件块；根据所述差异文件块进行同步传输操作。可选的，所述预置块长度根据标准文件块长度和预置倍数因子配置得到。本申请第二方面提供了一种改进的Rsync装置，包括：划分模块，用于采用预置窗口进行初始块划分，得到初始文件块；差异计算模块，用于根据预置编辑距离算法在所述初始文件块中获取初始差异文件块，并计算所述初始差异文件块占总初始文件块的比重值；第一判断模块，用于若所述比重值大于预置差异度评价因子，则判断所述初始文件块是否大于预置块长度，若否，则计算所述初始文件块的初始强弱校验值，若是，则采用预置固定长度对所述初始文件块进行第一块划分，得到第一文件块，并计算所述第一文件块的第一强弱校验值；第二判断模块，用于若所述比重值小于或者等于所述预置差异度评价因子，则采用预置精分滑动窗口对所述初始文件块进行第二块划分，得到第二文件块，并计算所述第二文件块的第二强弱校验值；差异定位模块，用于根据求得的强弱校验值获取所有的目标差异文件块，并通过所述目标差异文件块进行同步传输操作，所述求得的强弱校验值包括初始强弱校验值、第一强弱校验值和第二强弱校验值，所述求得的强弱校验值包括弱校验值和强校验值。可选的，所述划分模块，包括：滑动子模块，用于在初始文件上滑动所述预置窗口，并计算每个窗口中文件内容对应的指纹值；划分子模块，用于根据满足预置指纹条件的所述指纹值选取划分边界，进行初始块划分操作，得到所述初始文件块。可选的，所述差异定位模块，包括：判断子模块，用于判断当前文件块对应的所述弱校验值是否与预置弱校验值一致，若是，则所述当前文件块为第一无差异文件块，若否，则判断所述当前文件块对应的所述强校验值是否与预置强校验值一致，若是，则所述当前文件块为第二无差异文件块，若否，则所述当前文件块为差异文件块；传输子模块，用于根据所述差异文件块进行同步传输操作。可选的，所述预置块长度根据标准文件块长度和预置倍数因子配置得到。本申请第三方面提供了一种信息同步系统，包括：协同管理模块、文件监控模块、文件更新模块和第二方面中任意一项改进的Rsync装置；所述协同管理模块，用于管理和协调所述文件监控模块、所述文件更新模块和所述Rsync装置的工作；所述文件监控模块，用于对源端文件块的文件内容进行监控，在所述文件内容发生变化时，触发所述Rsync装置，得到差异文件块，并进行同步传输操作；所述文件更新模块，用于通过同步传输操作得到的所述差异文件块对目的端文件块进行差异更新操作。可选的，还包括：校验模块和备份模块；所述校验模块，用于对系统中的文件块进行校验操作，并将校验结果发送至所述备份模块；所述备份模块，用于缓存系统中的文件内容和所述校验结果。从以上技术方案可以看出，本申请实施例具有以下优点：本申请中，提供了一种改进的Rsync方法，包括：采用预置窗口进行初始块划分，得到初始文件块；根据预置编辑距离算法在初始文件块中获取初始差异文件块，并计算初始差异文件块占总初始文件块的比重值；若比重值大于预置差异度评价因子，则判断初始文件块是否大于预置块长度，若否，则计算初始文件块的初始强弱校验值，若是，则采用预置固定长度对初始文件块进行第一块划分，得到第一文件块，并计算第一文件块的第一强弱校验值；若比重值小于或者等于预置差异度评价因子，则采用预置精分滑动窗口对初始文件块进行第二块划分，得到第二文件块，并计算第二文件块的第二强弱校验值；根据求得的强弱校验值获取所有的目标差异文件块，并通过目标差异文件块进行同步传输操作，求得的强弱校验值包括初始强弱校验值、第一强弱校验值和第二强弱校验值，求得的强弱校验值包括弱校验值和强校验值。本申请提供的一种改进的Rsync方法，将文件划分成文件块，然后针对不同的文件块进行分层处理，从而提高计算效率；以差异度和块长度作为标准对文件块进行针对性的区分以及操作，对于差异度较大且块长度较长的文件块，需要进一步采用固定长度进行块划分操作，对于差异度较小或者块长度未超过阈值的文件块直接计算校验值判断文件块是否存在差异即可；弱校验值和强校验值共同结合获取文件块中的目标差异文件块，只需要对这些差异文件块进行同步传输即可；对文件块进行针对性处理，不仅能够减少计算量和传输数据量，还能较大程本文档来自技高网...

【技术保护点】
1.一种改进的Rsync方法，其特征在于，包括：/n采用预置窗口进行初始块划分，得到初始文件块；/n根据预置编辑距离算法在所述初始文件块中获取初始差异文件块，并计算所述初始差异文件块占总初始文件块的比重值；/n若所述比重值大于预置差异度评价因子，则判断所述初始文件块是否大于预置块长度，若否，则计算所述初始文件块的初始强弱校验值，若是，则采用预置固定长度对所述初始文件块进行第一块划分，得到第一文件块，并计算所述第一文件块的第一强弱校验值；/n若所述比重值小于或者等于所述预置差异度评价因子，则采用预置精分滑动窗口对所述初始文件块进行第二块划分，得到第二文件块，并计算所述第二文件块的第二强弱校验值；/n根据求得的强弱校验值获取所有的目标差异文件块，并通过所述目标差异文件块进行同步传输操作，所述求得的强弱校验值包括初始强弱校验值、第一强弱校验值和第二强弱校验值，所述求得的强弱校验值包括弱校验值和强校验值。/n

【技术特征摘要】
1.一种改进的Rsync方法，其特征在于，包括：
采用预置窗口进行初始块划分，得到初始文件块；
根据预置编辑距离算法在所述初始文件块中获取初始差异文件块，并计算所述初始差异文件块占总初始文件块的比重值；
若所述比重值大于预置差异度评价因子，则判断所述初始文件块是否大于预置块长度，若否，则计算所述初始文件块的初始强弱校验值，若是，则采用预置固定长度对所述初始文件块进行第一块划分，得到第一文件块，并计算所述第一文件块的第一强弱校验值；
若所述比重值小于或者等于所述预置差异度评价因子，则采用预置精分滑动窗口对所述初始文件块进行第二块划分，得到第二文件块，并计算所述第二文件块的第二强弱校验值；
根据求得的强弱校验值获取所有的目标差异文件块，并通过所述目标差异文件块进行同步传输操作，所述求得的强弱校验值包括初始强弱校验值、第一强弱校验值和第二强弱校验值，所述求得的强弱校验值包括弱校验值和强校验值。


2.根据权利要求1所述的改进的Rsync方法，其特征在于，所述采用预置窗口进行初始块划分，得到初始文件块，包括：
在初始文件上滑动所述预置窗口，并计算每个窗口中文件内容对应的指纹值；
根据满足预置指纹条件的所述指纹值选取划分边界，进行初始块划分操作，得到所述初始文件块。


3.根据权利要求1所述的改进的Rsync方法，其特征在于，所述根据求得的强弱校验值获取所有的差异文件块，并通过所述差异文件块进行同步传输操作，包括：
判断当前文件块对应的所述弱校验值是否与预置弱校验值一致，若是，则所述当前文件块为第一无差异文件块，若否，则判断所述当前文件块对应的所述强校验值是否与预置强校验值一致，若是，则所述当前文件块为第二无差异文件块，若否，则所述当前文件块为差异文件块；
根据所述差异文件块进行同步传输操作。


4.根据权利要求1所述的改进的Rsync方法，其特征在于，所述预置块长度根据标准文件块长度和预置倍数因子配置得到。


5.一种改进的Rsync装置，其特征在于，包括：
划分模块，用于采用预置窗口进行初始块划分，得到初始文件块；
差异计算模块，用于根据预置编辑距离算法在所述初始文件块中获取初始差异文件块，并计算所述初始差异文件块占总初始文件块的比重值；
第一判断模块，用于若所述比重值大于预置差异度评价因子，则判断所述初始文件块是否大于预置块长度，若否，则计算所述初始文件块的初始强弱校验...

【专利技术属性】
技术研发人员：金鑫，肖勇，杨劲锋，黄博阳，罗鸿轩，
申请(专利权)人：南方电网科学研究院有限责任公司，中国南方电网有限责任公司，
类型：发明
国别省市：广东;44