数据压缩方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种数据压缩方法、装置、设备及存储介质。该方法包括：获取数据包发送的起始地与目的地；根据起始地与目的地确定数据包发送的传输代价；根据传输代价确定数据包的压缩模式，按照压缩模式对数据包进行压缩，并将压缩模式保存于数据包压缩后的压缩包中。本公开实施例的技术方案，解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高，而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题，降低了数据包压缩与解压缩的运算时间，提高了数据包的传输效率，实现了传输速率与传输代价的双优化。

【技术实现步骤摘要】
数据压缩方法、装置、设备及存储介质
本公开实施例涉及数据压缩
，尤其涉及一种数据压缩方法、装置、设备及存储介质。
技术介绍
众核系统由一枚或多枚多核处理器组成，以解决单核芯片在进行大数据量计算时速度慢，产生热量高的问题，其中多核处理器是指在一枚处理器上集成有多个完整的计算引擎(内核)，一枚处理器芯片内或多枚处理器芯片间的内核可以相互协同工作。对众核系统来说，数据需要在多核、多芯片之间进行通信交互。传统方法中，对于芯片间的数据通信常采用统一的压缩编码方案，即对进行数据通信的数据包以统一的压缩模式进行压缩并发送。然而采用统一压缩模式进行压缩并发送的数据通信方法，并未考虑到随发送介质的不同及发送距离远近的不同，数据在传输过程中的传输代价也会发生变化，无法达到传输效率与传输代价的双优化。
技术实现思路
本公开提供一种数据压缩方法、装置、设备及存储介质，以实现对数据压缩模式的选择，实现传输速率与传输代价的双优化。第一方面，本公开实施例提供了一种数据压缩方法，包括：获取数据包发送的起始地与目的地；根据起始地与目的地确定数据包发送的传输代价；根据传输代价确定数据包的压缩模式，按照压缩模式对数据包进行压缩，并将压缩模式保存于数据包压缩后的压缩包中。进一步地，根据起始地与目的地确定数据包发送的传输代价，包括：获取起始地与目的地间的传输路径信息；根据传输路径信息确定起始地与目的地间的各通信介质，各通信介质上的传输次数以及各通信介质上传输的单次代价；根据各通信介质，各传输次数与各单次代价确定数据包发送的传输代价。进一步地，根据各通信介质，各传输次数与各单次代价确定数据包发送的传输代价，包括：确定传输路径信息中各通信介质中传输次数与单次代价的乘积；将各通信介质中所述传输次数与所述单次代价的乘积的和作为数据包发送的传输代价。进一步地，根据传输代价确定数据包的压缩模式，包括：将传输代价与参考单次代价的比值确定为归一化代价；根据归一化代价查找对应的压缩方案，并根据压缩方案确定数据包的压缩模式。进一步地，通信介质包括：同板芯片间通信介质，同机板间通信介质，同集群机间通信介质及远距离通信介质中的至少一种。进一步地，当数据报个数为多个时，按照压缩模式对数据包进行压缩，并将压缩模式保存于数据包压缩后的压缩包中，包括：获取起始地相同且目的地相同的一组数据包；将一组数据包按照压缩模式压缩至同一个压缩包；将压缩模式保存至压缩包中。第二方面，本公开实施例还提供了一种数据压缩装置，该数据压缩装置包括：获取模块，用于获取数据包发送的起始地与目的地；传输代价确定模块，用于根据起始地与目的地确定数据包发送的传输代价；压缩模块，用于根据传输代价确定数据包的压缩模式，按照压缩模式对数据包进行压缩，并将压缩模式保存于数据包压缩后的压缩包中。进一步地，传输代价确定模块，包括：路径信息获取单元，用于获取起始地与目的地间的传输路径信息；路径信息确定单元，用于根据传输路径信息确定起始地与目的地间的各通信介质，各通信介质上的传输次数以及各通信介质上传输的单次代价；传输代价确定单元，用于根据各通信介质，各传输次数与各单次代价确定数据包发送的传输代价。第三方面，本公开实施例还提供了一种设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开任意实施例中提供的数据压缩方法。第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令由计算机处理器执行时用于执行如本公开任意实施例提供的数据压缩方法。本公开实施例通过获取数据包发送的起始地与目的地；根据起始地与目的地确定数据包发送的传输代价；根据传输代价确定数据包的压缩模式，按照压缩模式对数据包进行压缩，并将压缩模式保存于数据包压缩后的压缩包中。获取数据包发送的起始地与目的地，可以根据起始地与目的地确定数据包发送过程中所需要经过的传输距离和传输介质，进而确定出数据包由起始地发送至目的地所需的传输代价，根据传输代价选择合适的数据包压缩模式对数据包进行压缩，解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高，而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题，降低了数据包压缩与解压缩的运算时间，提高了数据包的传输效率，实现了传输速率与传输代价的双优化。附图说明图1是本公开一示例性实施例中的一种数据压缩方法的流程图；图2是本公开一示例性实施例中的一种数据压缩方法的流程图；图3是本公开一示例性实施例中的一种根据各通信介质，各传输次数与各单次代价确定数据包发送的传输代价的流程图；图4是本公开一示例性实施例中的一种数据包传输过程的示例图；图5是本公开一示例性实施例中的一种数据压缩装置的结构示意图；图6是本公开一示例性实施例中的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。图1为本公开一示例性实施例提供的一种数据压缩方法的流程图，本实施例可适用于数据在同个芯片的多个不同计算引擎间，或多个芯片的不同计算引擎间传输前进行压缩的情况，该方法可以由数据压缩装置来执行，方法包括如下步骤：S101、获取数据包发送的起始地与目的地。其中，数据包可理解为通信传输中的数据单位，当一个计算引擎需要将一条消息或一组数据传输至另一个计算引擎时，该消息或该组数据可被划分为多个数据块，这些数据块被称为数据包，其包含有接收者的地址信息，各数据包根据地址信息的不同沿不同路径传输至接收者的地址。一种可能的实现方式，在路由包的起始地，通过读取数据包中接收者的地址信息，确定数据包中与接收者地址信息相对应的计算引擎为目的地。为明确数据包的发送路线，可以通过读取数据包中的接收者地址信息，实现数据包起始地与目的地的确定，以根据起始地与目的地确定数据包的发送路线。S102、根据起始地与目的地确定数据包的传输代价。其中，传输代价可理解为数据在由一个计算引擎传输至另一个计算引擎，或由一个计算引擎所在芯片传输至另一个计算引擎所在芯片过程中的传输延迟和传输能耗，即传输所花费的时间和传输所导致的电能消耗。传输代价的高低与传输的数据量及传输的距离相关，传输的数据量越大传输代价越高，同时，传输代价的高低与传输过程中经历的介质相关，传输的距离越远，传输过程中经历的高能耗或高延迟介质越多，传输代价越高。<本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，包括：/n获取数据包发送的起始地与目的地；/n根据所述起始地与所述目的地确定所述数据包发送的传输代价；/n根据所述传输代价确定所述数据包的压缩模式，按照所述压缩模式对所述数据包进行压缩，并将所述压缩模式保存于所述数据包压缩后的压缩包中。/n

【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：
获取数据包发送的起始地与目的地；
根据所述起始地与所述目的地确定所述数据包发送的传输代价；
根据所述传输代价确定所述数据包的压缩模式，按照所述压缩模式对所述数据包进行压缩，并将所述压缩模式保存于所述数据包压缩后的压缩包中。


2.根据权利要求1所述的方法，其特征在于，所述根据所述起始地与所述目的地确定所述数据包发送的传输代价，包括：
获取所述起始地与所述目的地间的传输路径信息；
根据所述传输路径信息确定所述起始地与所述目的地间的各通信介质，各所述通信介质上的传输次数以及各所述通信介质上传输的单次代价；
根据各所述通信介质，各所述传输次数与各所述单次代价确定所述数据包发送的传输代价。


3.根据权利要求2所述的方法，其特征在于，所述根据各所述通信介质，各所述传输次数与各所述单次代价确定所述数据包发送的传输代价，包括：
确定所述传输路径信息中各所述通信介质中所述传输次数与所述单次代价的乘积；
将各所述通信介质中所述传输次数与所述单次代价的乘积的和作为所述数据包发送的传输代价。


4.根据权利要求1所述的方法，其特征在于，所述根据所述传输代价确定所述数据包的压缩模式，包括：
将所述传输代价与参考单次代价的比值确定为归一化代价；
根据所述归一化代价查找对应的压缩方案，并根据所述压缩方案确定所述数据包的压缩模式。


5.根据权利要求1至4任一所述的方法，其特征在于，所述通信介质包括：同板芯片间通信介质，同机板间通信介质，同集群机间通信介质及远距离通信介质中的至少一种。


6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：吴臻志，何伟，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：北京;11