数据处理方法、装置、设备及存储介质制造方法及图纸

本公开提供一种数据处理方法、装置、设备及存储介质，其中方法包括：接收第一数据方发送的数据处理请求；对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本公开涉及数据存储
，具体涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
在深度学习的模型训练过程中，需要给GPU或AI(ArtificialIntelligence，人工智能)芯片提供高速的数据输入/输出，以便于GPU或AI芯片快速获取用于模型训练的数据集中的数据。相关技术中，通常借助MemCache(一套分布式的高速缓存系统，由LiveJournal的BradFitzpatrick开发)一类的内存缓存软件，在内存中实现对数据集的缓存。由于数据集的数据量通常较大，所以该方式会消耗大量的内存，较高的内存成本给大规模的模型训练带来了大量的成本消耗。
技术实现思路
本公开提供了一种数据处理方法、装置、设备及存储介质。根据本公开实施例的第一方面，提供一种数据处理方法，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述方法包括：接收第一数据方发送的数据处理请求；对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。在一些可选实施例中，所述第一数据方包括：GPU、AI芯片或CPU。在一些可选实施例中，在所述数据处理请求包括数据读取请求的情况下，所述待处理数据长度包括待读取数据长度；所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可读取数据长度；在所述可读取数据长度小于等于所述待读取数据长度的情况下，对所述基础逻辑块中对应所述可读取数据长度的数据进行读取操作；或者，在所述可读取数据长度大于待读取数据长度的情况下，对所述基础逻辑块中对应所述待读取数据长度的数据进行读取操作。在一些可选实施例中，在所述数据处理请求包括数据写入请求的情况下，所述数据写入请求中包括待写入数据，所述待处理数据长度包括所述待写入数据的待写入数据长度；所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可写入数据长度；在所述可写入数据长度小于等于所述待写入数据长度的情况下，将所述待写入数据中对应所述可写入数据长度的数据写入所述基础逻辑块中；或者，在所述可写入数据长度大于所述待写入数据长度的情况下，将所述待写入数据中对应所述待写入数据长度的数据写入所述基础逻辑块中。在一些可选实施例中，所述对所述数据处理请求进行解析，得到所述基础逻辑块的块地址之后，还包括：将所述块地址对应的基础逻辑块，确定为目标逻辑块，并在所述目标逻辑块中的设备标识不属于所述数据存储设备的情况下，将所述数据处理请求丢弃。在一些可选实施例中，所述方法还包括：在所述基础逻辑块中写入数据时，根据写入的数据处理得到第一校验值；在对所述基础逻辑块中的数据进行读取时，根据读取的数据处理得到第二校验值；在所述第一校验值与所述第二校验值相同的情况下，确定读取成功。根据本公开实施例的第二方面，提供一种数据处理装置，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述装置包括：请求接收模块，用于接收第一数据方发送的数据处理请求；解析模块，用于对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；起始位置确定模块，用于根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；处理模块，用于在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。在一些可选实施例中，所述第一数据方包括：GPU、AI芯片或CPU。在一些可选实施例中，在所述数据处理请求包括数据读取请求的情况下，所述待处理数据长度包括待读取数据长度；所述处理模块，用于在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作时，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可读取数据长度；在所述可读取数据长度小于等于所述待读取数据长度的情况下，对所述基础逻辑块中对应所述可读取数据长度的数据进行读取操作；或者，在所述可读取数据长度大于待读取数据长度的情况下，对所述基础逻辑块中对应所述待读取数据长度的数据进行读取操作。在一些可选实施例中，在所述数据处理请求包括数据写入请求的情况下，所述数据写入请求中包括待写入数据，所述待处理数据长度包括所述待写入数据的待写入数据长度；所述处理模块，用于在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作时，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可写入数据长度；在所述可写入数据长度小于等于所述待写入数据长度的情况下，将所述待写入数据中对应所述可写入数据长度的数据写入所述基础逻辑块中；或者，在所述可写入数据长度大于所述待写入数据长度的情况下，将所述待写入数据中对应所述待写入数据长度的数据写入所述基础逻辑块中。在一些可选实施例中，所述装置还包括：请求丢弃模块，用于将所述块地址对应的基础逻辑块，确定为目标逻辑块，并在所述目标逻辑块中的设备标识不属于所述数据存储设备的情况下，将所述数据处理请求丢弃。在一些可选实施例中，所述装置还包括：第一校验值模块，用于在所述基础逻辑块中写入数据时，根据写入的数据处理得到第一校验值；第二校验值模块，用于在对所述基础逻辑块中的数据进行读取时，根据读取的数据处理得到第二校验值；校验模块，用于在所述第一校验值与所述第二校验值相同的情况下，确定读取成功。根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的数据处理方法。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一所述的数据处理方法。根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面中任一所述的数据处理方法。本公开实施例中，可以将模型训练需要的数据集直接存储在固态硬盘中，基于数据存储设备运行的文件系统实现GPU或AI芯片对固态硬盘中存储的数据集的读取。该方式中不需要将数据集存储在内存中，减少了对内存的消耗、节省大量训练成本。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述方法包括：/n接收第一数据方发送的数据处理请求；/n对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；/n根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；/n在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述方法包括：
接收第一数据方发送的数据处理请求；
对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；
根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；
在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。


2.根据权利要求1所述的方法，其特征在于，所述第一数据方包括：GPU、AI芯片或CPU。


3.根据权利要求1或2所述的方法，其特征在于，在所述数据处理请求包括数据读取请求的情况下，所述待处理数据长度包括待读取数据长度；
所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：
基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可读取数据长度；
在所述可读取数据长度小于等于所述待读取数据长度的情况下，对所述基础逻辑块中对应所述可读取数据长度的数据进行读取操作；或者，
在所述可读取数据长度大于待读取数据长度的情况下，对所述基础逻辑块中对应所述待读取数据长度的数据进行读取操作。


4.根据权利要求1或2所述的方法，其特征在于，在所述数据处理请求包括数据写入请求的情况下，所述数据写入请求中包括待写入数据，所述待处理数据长度包括所述待写入数据的待写入数据长度；
所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：
基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可写入数据长度；
在所述可写入数据长度小于等于所述待写入数据长度的情况下，将所述待写入数据中对应所述可写入数据长度的数据写入所述基础逻辑块中；或者，
在所述可写入数据长度大于所述待写入数据长度的情况下，将所述待写入数据中对应所述待写入数据长度的数据写入所述基础逻辑块中。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述数据处理请求进行解析，得到所述基础逻辑块的块地址之后，还包括：
将所述块地址对应的基础逻辑块，确定为目标逻辑块，并在所述目标逻辑块中的设备标识不属于所述数据存储设备的情况下，将所述数据处理请求丢弃。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
在所述基础逻辑块中写入数据时，根据写入的数据处理得到第一校验值；
在对所述基础逻辑块中的数据进行读取时，根据读取的数据处理得到第二校验值；
在所述第一校验值与所述第二校验值相同的情况下，确定读取成功。


7.一种数据处理装置，其特征在于，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述装置包括：
请求接收模块，用于接收第一数据方发送的数据处理请求；

【专利技术属性】
技术研发人员：王欢，颜深根，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31