一种非结构化数据文件的元数据同步方法、装置及设备制造方法及图纸

公开了一种非结构化数据文件的元数据同步方法、装置及设备。在数据文件发生更新时，确定出数据文件的元数据记录，进而从已经存在的元数据索引文件中查询出最大序列号，并对新的元数据记录从最大序列号开始依序递增的编号，然后合并得到新的元数据索引文件；在拉取方需要拉取数据文件之前，即获取这个新的元数据索引文件，并与本地的预存的进行对比，从而可以确定出发生了更新的数据文件的元数据记录，进而可以依序拉取更新的数据文件。

【技术实现步骤摘要】
一种非结构化数据文件的元数据同步方法、装置及设备
本说明书实施例涉及信息
，尤其涉及一种非结构化数据文件的元数据同步方法、装置及设备。
技术介绍
在一些涉及到跨域同步或者跨云同步的场景下，例如监管科技、多方协同等等场景下，数据传输过程的稳定性难以得到保障，再考虑到安全问题，使用非结构存储的数据文件的形式来传输数据就很有必要。而现有的方案在基于数据文件的跨域传输时，不能有效地管理其元数据信息，容易造成传输过程的错误。基于此，本申请提供一种基于元数据同步的准确的数据传输方案。
技术实现思路
本申请实施例的目的是提供一种基于元数据同步的准确的数据传输方案。为解决上述技术问题，本申请实施例是这样实现的：第一方面，本说明书实施例提供一种非结构化数据文件的元数据同步方法，包括：获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；确定元数据索引文件中的最大序列号；给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；将所述包含序本文档来自技高网...

【技术保护点】
1.一种非结构化数据文件的元数据同步方法，包括：/n获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；/n确定元数据索引文件中的最大序列号；/n给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；/n将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。/n

【技术特征摘要】
1.一种非结构化数据文件的元数据同步方法，包括：
获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；
确定元数据索引文件中的最大序列号；
给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；
将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。


2.如权利要求1所述的方法，当所述元数据中还包括生成时间点时，所述方法还包括：
确定有效时间点，从所述元数据索引文件中删除生成时间在点所述有效时间点之前的元数据记录。


3.如权利要求1所述的方法，生成所述数据文件的元数据记录，包括:
确定所述数据文件的完整性校验值，生成所述数据文件的包含所述完整性校验值的元数据记录。


4.如权利要求1所述的方法，生成所述数据文件的元数据记录，包括:
确定所述数据文件的压缩策略或者加密策略，生成包含所述压缩策略或者加密策略的元数据记录。


5.一种基于权利要求1所述的元数据索引文件的数据文件拉取方法，包括：
获取元数据索引文件；
对比获取得到的元数据索引文件与本地预存的元数据索引文件，确定出新增的元数据记录；
按照所述新增的元数据记录的序列号，依序拉取所述元数据记录所对应的数据文件；
将本地预存的元数据索引文件替换为获取得到的元数据索引文件。


6.如权利要求5所述的方法，当所述元数据记录中还包含数据文件的完整性校验值时，所述方法还包括：
计算拉取得到的数据文件的当前的完整性校验值，并验证所述当前的完整性校验值和所述元数据记录中该数据文件的完整性校验值的一致性。


7.如权利要求5所述的方法，当所述元数据记录中还包含有压缩策略或者加密策略时，所述方法还包括：
确定所述压缩策略所对应的解压策略，并解压缩所述元数据记录对应的数据文件；或者确定所述加密策略所对应的解密策略，并解密所述元数据记录对应的数据文件。


8.一种非结构化数据文件的元数据同步装置，包括：
获取模...

【专利技术属性】
技术研发人员：张旭，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33