【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据压缩方法及装置。
技术介绍
1、多个进程之间可能存在数据交换。例如，对于隶属于同一任务的多个进程而言，这多个进程之间可能存在大量的数据交换。当前，可以通过消息传递接口(message passinginterface，mpi)协议实现多个进程之间的数据交换。这种情况下，进程所执行的程序是符合mpi协议的程序，简称mpi程序。
2、在对mpi程序进行性能分析时，可以基于执行mpi程序的各个进程之间的通信记录以及执行mpi程序时节点的硬件性能数据进行性能分析。其中，进程的通信记录一般可以通过生成跟踪(trace)日志得到。当进程之间交换的数据规模较大时，进程生成的trace日志的数量也比较大。因此，服务端可以对进程执行mpi程序时生成的大量trace日志进行压缩，然后将压缩后的trace日志存储或传输至本地等待分析。这样，可以节省本地的存储资源。
3、因而，如何提高对进程执行mpi程序时生成的trace日志进行压缩时的压缩率，并降低压缩时间，成为亟待解决的问题。
【技术保护点】
1.一种数据压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通信函数包括消息传递接口MPI函数。
3.根据权利要求1或2所述的方法，其特征在于，所述第一字典还包括第一描述信息集，所述第一描述信息集包括至少一条描述信息，所述至少一条描述信息包括用于描述所述第一字典中每个符号串语义的描述信息；
4.根据权利要求3所述的方法，其特征在于，当所述第一进程为目标应用的一个进程，所述目标应用还包括第二进程，且对所述第二进程运行过程中生成的第二trace日志中的函数调用记录进行压缩后，得到第二字典，所述第二字典包括第二...
【技术特征摘要】
1.一种数据压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通信函数包括消息传递接口mpi函数。
3.根据权利要求1或2所述的方法，其特征在于，所述第一字典还包括第一描述信息集，所述第一描述信息集包括至少一条描述信息，所述至少一条描述信息包括用于描述所述第一字典中每个符号串语义的描述信息；
4.根据权利要求3所述的方法，其特征在于，当所述第一进程为目标应用的一个进程，所述目标应用还包括第二进程，且对所述第二进程运行过程中生成的第二trace日志中的函数调用记录进行压缩后，得到第二字典，所述第二字典包括第二描述信息集；所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，当所述第一进程为目标应用的一个进程，所述目标应用还包括第二进程，且对所述第二进程运行过程中生成的第二trace日志中的函数调用记录进行压缩后，还得到第二文法集；所述方法还包括：
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述第一进程和所述第二进程运行于不同节点中。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一trace日志中的每条日志记录还包括时间数据，所述时间数据包括调用通信函数的起始时间和调用时长；所述方法还包括：
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一进程在节点中占用的硬件资源为第一硬件资源；所述方法还包括：
10.根据权利要求9所述的方法，其特征在于，所述性能数据包括以下至少一种：
11.根据权利要求9或10所述的方法，其特征在于，当所述第一进程为目标应用的一个进程，所述目标应用还包括第二进程，所述第二进程在节点中占用的硬件资源为第二硬件资源，第三数据集包括所述第二进程运行过程中所述第二硬件资源在多个时刻的性能数据，以及通过所述每个聚类范围对应的预设值对所述第三数据集压缩后得到第四数据集；所述方法还包括：
12.一种数据压缩装置，其特征在于，包括：
13.根据权利要求12所述的装置，其特征在于，所述通信函数包括消息传递接口mpi函数。
14.根据权利要求12或13所述的装置...
【专利技术属性】
技术研发人员：王中一，白小龙，李书棋，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。