一种数据处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法及装置，涉及存储技术领域，可以同时提高数据写入速度和数据整理速度，提高数据处理过程的IOPS性能，进而可以实现数据的快速持久化。具体方案为：若第一硬盘组的日志区的日志空间已用量高于预设阈值，则将从内存中读取的第一数据和第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入第二硬盘组的日志区中的数据整理至第一数据区；根据已写入第一硬盘组的日志区中的数据的特征值，将已写入第一硬盘组的日志区中的数据整理至第二数据区。本发明专利技术用于数据的读写过程中。

Data processing method and device

The embodiment of the invention discloses a data processing method and device, and relates to the technical field of storage, can also improve the speed and speed of data processing data to improve the performance of IOPS, the process of data processing, fast and can realize data persistence. The specific program: if the first hard disk group of log log space area has higher than the preset threshold amount, will feature the first data read from the memory and the first data value of second hard disk group writes the log area, and the suspension has been written in the second disk group log data in the area to organize data according to the first area; the characteristics of the first hard disk group has been written in the value of the data, the first group of hard disk has been written into the log area of the data to second data area. The invention is used for reading and writing data.

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及存储
，尤其涉及一种数据处理方法及装置。
技术介绍
随着处理器工艺的快速发展，现有存储系统不足以匹配经过快速发展的处理器系统，造成存储工艺的瓶颈现象日益突出。其中，存储工艺发展的瓶颈现象主要体现在两个方面：存储系统中数据的写入和读取速度较低。现有技术中，提高存储系统中数据的写入和读取速度，可以采用全内存的方式进行数据的写入和读取。具体的，在接收到数据写入命令后，将待写入的数据写入动态随机存取存储器（DynamicRandomAccessMemory，DRAM），以便于在接收到数据读取中命令后可以直接从DRAM中读取相应的数据；并将待写入的数据写入非易失性存储器（Non-VolatileMemory，NVM），然后在将写入NVM的数据一一写入硬盘的日志区，并在向硬盘的日志区写数据的同时，整理硬盘的日志区的数据，然后将整理后的数据写入硬盘的数据区。在上述过程中，可以实现从硬盘中读数据和向硬盘写数据的分离，提高数据的读写速度。在现有技术向硬盘中写数据的过程中，针对一个硬盘往往同时执行：向该硬盘的日志区中写从NVM中读取的数据，以及整理该硬盘的日志区中已写入的数据，并将已整理数据写入该硬盘的数据区。而采用上述写数据的方法是无法同时兼顾从NVM向该硬盘的日志区写数据的速度和整理该硬盘的日志区中已写入数据的速度的。具体的，若要保证向该硬盘的日志区写数据的速度，则可能会牺牲数据的整理速度，若要保证数据的整理速度，则可能会牺牲向该硬盘的日志区写数据的速度，数据处理过程中每秒进行读写操作的次数(Input/OutputOperationsPerSecond，IOPS)性能较差。
技术实现思路
本专利技术的实施例提供一种数据处理方法及装置，可以同时提高数据写入速度和数据整理速度，提高数据处理过程的IOPS性能。为达到上述目的，本专利技术的实施例采用如下技术方案：本专利技术实施例的第一方面，提供一种数据处理方法，包括：若第一硬盘组的日志区的日志空间已用量高于预设阈值，则将从内存中读取的第一数据和所述第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入所述第二硬盘组的日志区中的数据整理至第一数据区，所述已写入所述第二硬盘组的日志区中的数据包括所述第一数据，所述第一数据的特征值包括所述第一数据的写地址信息和所述第一数据的大小信息；根据已写入所述第一硬盘组的日志区中的数据的特征值，将所述已写入所述第一硬盘组的日志区中的数据整理至第二数据区，所述已写入所述第一硬盘组的日志区中的数据为从所述内存中读取的数据。结合第一方面，在一种可能的实现方式中，所述第一数据区为所述第二硬盘组的数据区；所述第二数据区为所述第一硬盘组的数据区。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，所述第一数据区为第三硬盘组的数据区；所述第二数据区为所述第三硬盘组的数据区。结合第一方面和上述任意一种可能的实现方式，在另一种可能的实现方式中，所述第一硬盘组包含日志区和数据区；其中，所述第一硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第一硬盘组的数据区用于存储从所述第一硬盘组的日志区中整理的数据；所述第二硬盘组包含日志区和数据区；其中，所述第二硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第二硬盘组的数据区用于存储从所述第二硬盘组的日志区中整理的数据。结合第一方面和上述任意一种可能的实现方式，在另一种可能的实现方式中，所述第一硬盘组仅包含日志区；所述第二硬盘组仅包含日志区；所述第三硬盘组仅包含数据区；其中，所述第一硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第二硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第三硬盘组的数据区用于存储从所述第一硬盘组的日志区中整理的数据和从所述第二硬盘组的日志区中整理的数据。本专利技术实施例的第二方面，还提供一种数据处理装置，包括：第一判断单元，用于判断第一硬盘组的日志区的日志空间已用量是否高于预设阈值；第一写入单元，用于若所述第一判断单元确定所述第一硬盘组的日志区的日志空间已用量高于所述预设阈值，则将从内存中读取的第一数据和所述第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入所述第二硬盘组的日志区中的数据整理至第一数据区，所述已写入所述第二硬盘组的日志区中的数据包括所述第一数据，所述第一数据的特征值包括所述第一数据的写地址信息和所述第一数据的大小信息；第一整理单元，用于若所述第一判断单元确定所述第一硬盘组的日志区的日志空间已用量高于所述预设阈值，则根据已写入所述第一硬盘组的日志区中的数据的特征值，将所述已写入所述第一硬盘组的日志区中的数据整理至第二数据区，所述已写入所述第一硬盘组的日志区中的数据为从所述内存中读取的数据。结合第二方面，在一种可能的实现方式中，所述第一数据区为所述第二硬盘组的数据区；所述第二数据区为所述第一硬盘组的数据区。结合第二方面和上述任意一种可能的实现方式，在另一种可能的实现方式中，所述第一数据区为第三硬盘组的数据区；所述第二数据区为所述第三硬盘组的数据区。结合第二方面和上述任意一种可能的实现方式，在另一种可能的实现方式中，所述第一硬盘组包含日志区和数据区；其中，所述第一硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第一硬盘组的数据区用于存储从所述第一硬盘组的日志区中整理的数据；所述第二硬盘组包含日志区和数据区；其中，所述第二硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第二硬盘组的数据区用于存储从所述第二硬盘组的日志区中整理的数据。结合第二方面和上述任意一种可能的实现方式，在另一种可能的实现方式中，所述第一硬盘组仅包含日志区；所述第二硬盘组仅包含日志区；所述第三硬盘组仅包含数据区；其中，所述第一硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第二硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第三硬盘组的数据区用于存储从所述第一硬盘组的日志区中整理的数据和从所述第二硬盘组的日志区中整理的数据。本专利技术实施例的第三方面，还提供一种数据处理装置，包括：处理器，用于若所述第一硬盘组的日志区的日志空间已用量高于所述预设阈值，则将从内存中读取的第一数据和所述第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入所述第二硬盘组的日志区中的数据整理至第一数据区，所述已写入所述第二硬盘组的日志区中的数据包括所述第一数据，所述第一数据的特征值包括所述第一数据的写地址信息和所述第一数据的大小信息；根据已写入所述第一硬盘组的日志区中的数据的特征值，将所述已写入所述第一硬盘组的日志区中的数据整理至第二数据区，所述已写入所述第一硬盘组的日志区中的数据为从所述内存中读取的数据。结合第三方面，在一种可能的实现方式中，所述第一数据区为所述第二硬盘组的数据区；所述第二数据区为所述第一硬盘组的数据区。结合第三方面和上述可能的实现方式中，在另一种可能的实现方式中，所述第一数据区为第本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：若第一硬盘组的日志区的日志空间已用量高于预设阈值，则将从内存中读取的第一数据和所述第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入所述第二硬盘组的日志区中的数据整理至第一数据区，所述已写入所述第二硬盘组的日志区中的数据包括所述第一数据，所述第一数据的特征值包括所述第一数据的写地址信息和所述第一数据的大小信息；根据已写入所述第一硬盘组的日志区中的数据的特征值，将所述已写入所述第一硬盘组的日志区中的数据整理至第二数据区，所述已写入所述第一硬盘组的日志区中的数据为从所述内存中读取的数据；其中，所述第一数据区为所述第二硬盘组的数据区，所述第二数据区为所述第一硬盘组的数据区。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：若第一硬盘组的日志区的日志空间已用量高于预设阈值，则将从内存中读取的第一数据和所述第一数据的特征值写入第二硬盘组的日志区，并暂停将已写入所述第二硬盘组的日志区中的数据整理至第一数据区，所述已写入所述第二硬盘组的日志区中的数据包括所述第一数据，所述第一数据的特征值包括所述第一数据的写地址信息和所述第一数据的大小信息；根据已写入所述第一硬盘组的日志区中的数据的特征值，将所述已写入所述第一硬盘组的日志区中的数据整理至第二数据区，所述已写入所述第一硬盘组的日志区中的数据为从所述内存中读取的数据；其中，所述第一数据区为所述第二硬盘组的数据区，所述第二数据区为所述第一硬盘组的数据区。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一硬盘组包含日志区和数据区；其中，所述第一硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第一硬盘组的数据区用于存储从所述第一硬盘组的日志区中整理的数据；所述第二硬盘组包含日志区和数据区；其中，所述第二硬盘组的日志区用于存储从所述内存中读取的数据和所述从所述内存中读取的数据的特征值；所述第二硬盘组的数据区用于存储从所述第二硬盘组的日志区中整理的数据。3.一种数据处理装置，其特征在于，包括：第一判断单元，用于判断第一硬盘组的日志区的日志空间已用量是否高于预设...

【专利技术属性】
技术研发人员：金添福，李明君，任努努，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44