一种适用于异构系统的数据存储方法和电子设备技术方案

本发明专利技术实施例公开了一种适用于异构系统的数据存储方法和电子设备。本发明专利技术实施例根据第一数据传输指令对应的待传输数据、异构系统中的源存储器和目标存储器确定数据传输压缩方式，其中，数据传输压缩方式包括目标存储器所在存储层级对应的目标压缩算法，并基于数据传输压缩方式对待传输数据进行压缩获取目标数据，从而将待传输数据在目标存储器中压缩存储。由此，提升了异构系统的数据存储性能和数据传输性能，从而在后续提升数据处理的效率。

A Data Storage Method and Electronic Equipment for Heterogeneous Systems

The embodiment of the present invention discloses a data storage method and an electronic device suitable for heterogeneous systems. The embodiment of the present invention determines the data transmission compression mode according to the data to be transmitted corresponding to the first data transmission instruction, the source memory and the target memory in the heterogeneous system, in which the data transmission compression mode includes the target compression algorithm corresponding to the storage level of the target memory, and compresses the transmission data to obtain the target data based on the data transmission compression mode, thereby. The data to be transmitted is compressed and stored in the target memory. As a result, the performance of data storage and data transmission of heterogeneous systems is improved, and the efficiency of data processing is improved in the future.

【技术实现步骤摘要】
一种适用于异构系统的数据存储方法和电子设备
本专利技术公开涉及计算机
，具体涉及一种适用于异构系统的数据存储方法和电子设备。
技术介绍
随着计算机
的高速发展，数据处理的需求也在不断增长，因此如何合理地存储大规模的数据成为了亟需解决的问题。在现有技术中，大量的数据被存储在异构系统的不同存储介质中，并根据数据传输指令被传输到其他存储介质中，由此，可以提升数据存储的灵活性和扩展性。但随着数据规模的不断增长，现有技术中异构系统的数据存储性能和数据传输性能逐渐降低，因此在后续进行数据处理时，会对数据处理的效率产生影响。
技术实现思路
有鉴于此,本专利技术实施例公开了一种适用于异构系统的数据存储方法和电子设备，能够提升异构系统的数据存储性能和数据传输性能，从而能够在后续提升数据处理的效率。第一方面，本专利技术实施例公开了一种适用于异构系统的数据存储方法，所述方法包括：根据第一数据传输指令确定源存储器和目标存储器；根据所述源存储器和所述目标存储器确定对应的压缩方式集合；根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式；基于所述数据传输压缩方式对所述待传输数据进行处理，获取目标数据；将所述目标数据写入所述目标存储器。优选地，所述第一数据传输指令为根据原始数据传输指令分解获得的子数据传输指令或者原始数据传输指令。优选地，所述第一数据传输指令为原始数据传输指令；所述根据所述源存储器和所述目标存储器确定对应的压缩方式集合包括：响应于所述待传输数据传输经过至少一个中间存储器，根据至少一个所述中间存储器对应的第一压缩方式子集合和所述目标存储器对应的第二压缩方式子集合确定所述压缩方式集合。优选地，所述根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式包括：根据所述第一压缩方式子集合确定所述待传输数据在所述中间存储器中对应的第一处理方式；根据所述第二压缩方式子集合确定所述待传输数据在所述目标存储器中对应的第二处理方式；根据至少一个所述第一处理方式和所述第二处理方式确定所述数据传输压缩方式。优选地，所述根据所述第一压缩方式子集合确定所述待传输数据在所述中间存储器中对应的第一处理方式包括：响应于所述第一压缩方式子集合中存在回报分数满足第一条件的第一目标压缩算法，根据所述第一目标压缩算法确定所述第一处理方式；响应于所述第一压缩方式子集合中不存在回报分数满足第一条件的第一目标压缩算法，确定所述第一处理方式为不进行压缩。优选地，所述根据所述第二压缩方式子集合确定所述待传输数据在所述目标存储器中对应的第二处理方式包括：响应于所述第二压缩方式子集合中存在回报分数满足第二条件的第二目标压缩算法，根据所述第二目标压缩算法确定所述第二处理方式；响应于所述第二压缩方式子集合中不存在回报分数满足第二条件的第二目标压缩算法，确定所述第二处理方式为不进行压缩。优选地，所述第一数据传输指令为根据原始数据传输指令分解获得的子数据传输指令，所述源存储器和所述目标存储器为存储层级相邻的存储器；所述根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式包括：响应于所述压缩方式集合中存在回报分数满足第三条件的第三目标压缩算法，将所述第三目标压缩算法确定为所述数据传输压缩方式；响应于所述压缩方式集合中不存在回报分数满足第三条件的第三目标压缩算法，确定所述数据传输压缩方式为不进行压缩。优选地，所述回报分数根据所述待传输数据的大小、所述待传输数据通过所述压缩算法压缩前后的压缩比值、所述待传输数据通过所述压缩算法压缩的压缩开销、所述待传输数据的传输速率、所述待传输数据压缩后的访问开销、所述待传输数据压缩后的存储成本和所述待传输数据压缩后的传输开销中的至少一项确定。第二方面，本专利技术实施例公开了一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。第三方面，本专利技术实施例公开了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。本专利技术实施例根据第一数据传输指令对应的待传输数据、异构系统中的源存储器和目标存储器确定数据传输压缩方式，其中，数据传输压缩方式包括目标存储器所在存储层级对应的目标压缩算法，并基于数据传输压缩方式对待传输数据进行压缩获取目标数据，从而将待传输数据在目标存储器中压缩存储。由此，提升了异构系统的数据存储性能和数据传输性能，从而在后续提升数据处理的效率。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术第一实施例的适用于异构系统的数据存储方法的流程图；图2是本专利技术实施例的数据在不同存储层级传输的一种示意图；图3是本专利技术第一实施例的方法确定第二目标压缩算法的数据流程图；图4是本专利技术第一实施例的异构系统的示意图；图5是本专利技术第二实施例的适用于异构系统的数据存储方法的流程图；图6是本专利技术实施例的数据在不同存储层级传输的另一种示意图；图7是本专利技术第三实施例的电子设备的示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。随着数据处理需求的不断增长，数据的规模也在不断增大。现有技术通常通过异构存储系统解决数据的存储问题。异构存储系统(在本实施例中，也即，异构系统)是多个存储器构成的系统，能够实现数据的共享和透明访问。异构系统中的每个存储器在实现数据共享的同时，能够保证自身的应用特性、完整性和安全性控制。异构系统的异构性主要体现在两个方面，第一方面是异构系统具有层次性结构，也即，异构系统可以分层，各存储层级的划分依据包括但不限于存储介质的访问带宽、访问延迟、硬件成本，如GPU(GraphicsProcessingUnit，图形处理器)等硬件中的存储单元、计算节点主存、计算节点本地存储、本地或异地存储集群等，不同存储层级中数据的访问模式和访问开销均不相同。第二方面是异构系统中每个存储层级中的存储介质具有异构性，以计算节点本地存储为例，其中的存储介质可以为HDD(HardDiskDrive，硬盘驱动器)、SSD(SolidStateDisk，固态硬盘)等，不同的存储介质具有不同的存储特性。同时，可以根据需求对异构系统的存储层级或存储介质的数量或类型进行调整，这使得异构系统具有较好的数本文档来自技高网...

【技术保护点】
1.一种适用于异构系统的数据存储方法，其特征在于，所述方法包括：根据第一数据传输指令确定源存储器和目标存储器；根据所述源存储器和所述目标存储器确定对应的压缩方式集合；根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式；基于所述数据传输压缩方式对所述待传输数据进行处理，获取目标数据；将所述目标数据写入所述目标存储器。

【技术特征摘要】
1.一种适用于异构系统的数据存储方法，其特征在于，所述方法包括：根据第一数据传输指令确定源存储器和目标存储器；根据所述源存储器和所述目标存储器确定对应的压缩方式集合；根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式；基于所述数据传输压缩方式对所述待传输数据进行处理，获取目标数据；将所述目标数据写入所述目标存储器。2.根据权利要求1所述的方法，其特征在于，所述第一数据传输指令为根据原始数据传输指令分解获得的子数据传输指令或者原始数据传输指令。3.根据权利要求2所述的方法，其特征在于，所述第一数据传输指令为原始数据传输指令；所述根据所述源存储器和所述目标存储器确定对应的压缩方式集合包括：响应于所述待传输数据传输经过至少一个中间存储器，根据至少一个所述中间存储器对应的第一压缩方式子集合和所述目标存储器对应的第二压缩方式子集合确定所述压缩方式集合。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一数据传输指令对应的待传输数据和所述压缩方式集合确定数据传输压缩方式包括：根据所述第一压缩方式子集合确定所述待传输数据在所述中间存储器中对应的第一处理方式；根据所述第二压缩方式子集合确定所述待传输数据在所述目标存储器中对应的第二处理方式；根据至少一个所述第一处理方式和所述第二处理方式确定所述数据传输压缩方式。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一压缩方式子集合确定所述待传输数据在所述中间存储器中对应的第一处理方式包括：响应于所述第一压缩方式子集合中存在回报分数满足第一条件的第一目标压缩算法，根据所述第一目标压缩算法确定所述第一处理方式；响应于所述第一压缩方式子集合中不存在回报分数满足第一条件的第一目标压缩算法，确定所述第一处理方式为...

【专利技术属性】
技术研发人员：谢超，郭人通，易小萌，陈婉琴，
申请(专利权)人：上海赜睿信息科技有限公司，
类型：发明
国别省市：上海,31