【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种文件传输方法、系统及装置。
技术介绍
1、在文件传输系统中，边缘节点向中心节点发送数据文件，相应的，中心节点接收到来自边缘节点的该数据文件之后对该数据文件进行处理。进一步的，为降低带宽成本，边缘节点先对原始的数据文件(简称为原始数据文件)进行压缩处理，以得到压缩的数据文件(简称为压缩数据文件)，再将压缩数据文件传输至中心节点。中心节点先对压缩数据文件进行解压缩，得到原始数据文件之后，再对该原始数据文件进行处理。
2、在大量边缘节点向中心节点发送数据文件的场景(比如内容分发网络(contentdelivery network，cdn))下，即使每个边缘节点都对各自的原始数据文件进行了压缩，但是仍然存在整个文件传输系统的带宽成本较高的问题。
技术实现思路
1、本申请提供一种文件传输方法、系统及装置，用于提高多个边缘节点中每个边缘节点的数据文件的压缩率(数据文件被压缩前的文件大小，与数据文件被压缩后的文件大小的比值)，以降低整个文件传输系统的带宽成本。
2、第一方面，本申请提供一种文件传输方法，该传输方法适用于包括多个边缘节点和中心节点的文件传输系统中，多个边缘节点中包括第一边缘节点。其中方法包括：第一边缘节点根据第一边缘节点的原始数据文件，确定增量信息；向中心节点发送增量信息；增量信息包含高频字段和高频字段在原始数据文件中的出现次数，高频字段在原始数据文件中的出现次数大于次数阈值；中心节点接收来自第一边缘节点的增量信息，向多个边缘节
3、如此，多个边缘节点分布式学习得到各自的增量信息，将各自的增量信息发送至中心节点，中心节点负责对多个边缘节点分别对应的增量信息进行转发或汇总，相比于集中式学习增量信息，有助于实现文件传输系统中全量字典的及时更新。进一步的，边缘节点和中心节点均可综合多个边缘节点学习的增量信息，以得到较为全面的全量字典。
4、在一种可能的实现方式中，原始数据文件包括m条数据，每条数据中包括n个数据类型分别对应的字段，m、n为大于2的整数；增量信息包含每个数据类型对应的高频字段和高频字段的出现次数。第一边缘节点根据第一边缘节点的原始数据文件，确定增量信息，包括：第一边缘节点针对n个数据类型中的每个数据类型执行：从m条数据的每条数据中获取数据类型对应的字段，以得到数据类型对应的m个字段；从m个字段中确定数据类型对应的高频字段和高频字段的出现次数；第一边缘节点根据n个数据类型分别对应的高频字段和高频字段的出现次数，获得增量信息。
5、如此，多个边缘节点和中心节点还可以维护不同数据类型分别对应的全量字典，由于相同数据类型下的多个字段的重复率较高，所以第一边缘节点在采用某个数据类型对应的全量字典，来压缩该数据类型对应的原始数据时，可得到更高压缩率的压缩数据，从而进一步降低文件传输过程中所占用的带宽。
6、在一种可能的实现方式中，第一边缘节点还根据增量信息，更新第一边缘节点的全量字典；第一边缘节点根据更新后的第一边缘节点的全量字典，压缩原始数据文件，得到压缩数据文件；第一边缘节点向中心节点发送压缩数据文件。在一种可能的实现方式中，中心节点还根据增量信息，更新中心节点的全量字典；中心节点接收来自第一边缘节点的压缩数据文件，根据更新后的中心节点的全量字典，恢复压缩数据文件以得到原始数据文件。
7、如此，第一边缘节点和中心节点均根据增量信息更新全量字典，以得到更新之后的全量字典。第一边缘节点和中心节点通过各自更新得到的全量字典传输数据，有助于降低文件传输过程中所占用的带宽。
8、在一种可能的实现方式中，第一边缘节点根据增量信息，更新第一边缘节点的全量字典，包括：在全量字典中包括高频字段时，第一边缘节点根据增量信息中高频字段的出现次数、全量字典中高频字段的出现次数，更新全量字典中高频字段的编码；在全量字典中未包括高频字段时，第一边缘节点根据增量信息中高频字段的出现次数，确定高频字段的编码，将高频字段和高频字段的编码更新至全量字典中。
9、在一种可能的实现方式中，中心节点根据增量信息，更新中心节点的全量字典，包括：在全量字典中包括高频字段时，中心节点根据增量信息中高频字段的出现次数、全量字典中高频字段的出现次数，更新全量字典中高频字段的编码；在全量字典中未包括高频字段时，中心节点根据增量信息中高频字段的出现次数，确定高频字段的编码，将高频字段和高频字段的编码更新至全量字典中。
10、上述技术方案中，全量字典中不仅包括字段(即高频字段)和字段的编码，还包括字段的出现次数，同样的，增量信息中还包括高频字段的出现次数，从而第一边缘节点能够根据高频字段的出现总次数，确定高频字段在全量字典中的编码，且该编码可以较准确的表示该高频字段在文件传输中出现的频率。
11、在一种可能的实现方式中，第一边缘节点根据更新后的第一边缘节点的全量字典，压缩原始数据文件，得到压缩数据文件，包括：第一边缘节点确定目标字段，目标字段是同时包含于原始数据文件和更新后的第一边缘节点的全量字典中的字段；第一边缘节点将目标字段在更新后的第一边缘节点的全量字典中对应的编码，替换至原始数据文件中的目标字段的位置，以得到压缩数据文件。
12、在一种可能的实现方式中，中心节点根据更新后的中心节点的全量字典，恢复压缩数据文件以得到原始数据文件，包括：中心节点获取压缩数据文件中编码，从更新后的中心节点的全量字典中确定该压缩数据文件中编码对应的字段，将该压缩数据文件中编码对应的字段替换至该压缩数据文件中编码的位置，以得到原始数据文件。
13、上述技术方案中，第一边缘节点将原始数据文件中目标字段替换为该目标字段对应的编码，其中目标字段对应的编码占用的数据量小于目标字段占用的数据量，如此，有助于实现对原始数据文件的有效压缩。
14、第二方面，本申请提供一种文件传输系统，文件传输系统中包括多个边缘节点和中心节点，多个边缘节点中包括第一边缘节点；第一边缘节点，用于根据第一边缘节点的原始数据文件，确定增量信息；向中心节点发送增量信息；增量信息包含高频字段和高频字段在原始数据文件中的出现次数，高频字段在原始数据文件中的出现次数大于次数阈值；中心节点，用于接收来自第一边缘节点的增量信息，向多个边缘节点中除第一边缘节点以外的其他边缘节点发送增量信息。
15、在一种可能的实现方式中，原始数据文件包括m条数据，每条数据中包括n个数据类型分别对应的字段，m、n为大于2的整数；增量信息包含每个数据类型对应的高频字段和高频字段的出现次数；第一边缘节点在根据第一边缘节点的原始数据文件，确定增量信息时，具体用于：针对n个数据类型中的每个数据类型执行：从m条数据的每条数据中获取数据类型对应的字段，以得到本文档来自技高网...
【技术保护点】
1.一种文件传输方法，其特征在于，适用于包括多个边缘节点和中心节点的文件传输系统中，所述多个边缘节点中包括第一边缘节点；
2.如权利要求1所述的方法，其特征在于，所述原始数据文件包括M条数据，每条数据中包括N个数据类型分别对应的字段，M、N为大于2的整数；
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求3所述的方法，其特征在于，所述第一边缘节点根据所述增量信息，更新所述第一边缘节点的全量字典，包括：
5.如权利要求4所述的方法，其特征在于，所述第一边缘节点根据更新后的所述第一边缘节点的全量字典，压缩所述原始数据文件，得到压缩数据文件，包括：
6.如权利要求3所述的方法，其特征在于，还包括：
7.如权利要求1-6中任一项所述的方法，其特征在于，所述多个边缘节点中还包括第二边缘节点，所述方法还包括：
8.一种文件传输系统，其特征在于，包括：
9.如权利要求8所述的系统，其特征在于，所述原始数据文件包括M条数据，每条数据中包括N个数据类型分别对应的字段，M、N为大于2的整数
10.如权利要求8所述的系统，其特征在于，所述第一边缘节点还用于：
11.如权利要求10所述的系统，其特征在于，所述第一边缘节点在根据所述增量信息，更新所述第一边缘节点的全量字典时，具体用于：
12.如权利要求11所述的系统，其特征在于，所述第一边缘节点在根据更新后的所述第一边缘节点的全量字典，压缩所述原始数据文件，得到压缩数据文件时，具体用于：
13.如权利要求10所述的系统，其特征在于，所述中心节点还用于：
14.如权利要求8-13中任一项所述的系统，其特征在于，所述多个边缘节点中还包括第二边缘节点；
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被文件传输系统执行时，文件传输系统实现如权利要求1至7任一项所述的方法。
16.一种包含指令的计算机程序产品，其特征在于，当所述指令被文件传输系统执行时，使得所述文件传输系统执行如权利要求的1至7中任一项所述的方法。
17.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种文件传输方法，其特征在于，适用于包括多个边缘节点和中心节点的文件传输系统中，所述多个边缘节点中包括第一边缘节点；
2.如权利要求1所述的方法，其特征在于，所述原始数据文件包括m条数据，每条数据中包括n个数据类型分别对应的字段，m、n为大于2的整数；
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求3所述的方法，其特征在于，所述第一边缘节点根据所述增量信息，更新所述第一边缘节点的全量字典，包括：
5.如权利要求4所述的方法，其特征在于，所述第一边缘节点根据更新后的所述第一边缘节点的全量字典，压缩所述原始数据文件，得到压缩数据文件，包括：
6.如权利要求3所述的方法，其特征在于，还包括：
7.如权利要求1-6中任一项所述的方法，其特征在于，所述多个边缘节点中还包括第二边缘节点，所述方法还包括：
8.一种文件传输系统，其特征在于，包括：
9.如权利要求8所述的系统，其特征在于，所述原始数据文件包括m条数据，每条数据中包括n个数据类型分别对应的字段，m、n为大于2的整数；
10.如权利要求8所述的系统，其特征在于，所述第一边缘节点还用于：
...【专利技术属性】
技术研发人员：单卫华，闫哲，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。