混洗加速的系统、处理数据的方法、存储节点和分区方法技术方案

提供了混洗加速的系统、处理数据的方法、存储节点和分区方法。一种在具有主机和存储节点的系统中处理数据的方法可包括：对存储在存储节点处的数据执行混洗操作，其中，混洗操作可包括：执行混洗写入操作，以及执行混洗读取操作；其中，混洗操作的至少一部分由存储节点处的加速器执行。一种用于对数据进行分区的方法可包括：在装置处基于样本的数量对来自一个或多个分区的数据进行采样；将采样后的数据从所述装置传送到主机；在主机处基于采样后的数据来确定一个或多个特征划分标准；将所述一个或多个特征划分标准从主机传送到所述装置；以及在所述装置处基于所述一个或多个特征划分标准对所述一个或多个分区的数据进行分区。标准对所述一个或多个分区的数据进行分区。标准对所述一个或多个分区的数据进行分区。

【技术实现步骤摘要】
混洗加速的系统、处理数据的方法、存储节点和分区方法
[0001]本申请要求于2020年11月19日提交的标题为“用于存储混洗加速的系统、方法和装置(Systems,Methods,and Devices for Storage Shuffle Acceleration)”的第63/116,144号美国临时专利申请、和于2020年12月4日提交的第17/112,975号美国申请的优先权和权益，所述申请通过引用被包含。


[0002]本公开总体涉及数据混洗操作，更具体地，涉及用于近存储混洗加速(near
‑
storage shuffle acceleration)的系统、方法和设备。

技术介绍

[0003]具有主机和一个或多个存储节点的系统可利用例如混洗操作来在分区和/或节点之间重新布置数据。
[0004]在本
技术介绍
部分中公开的上面的信息仅用于增强对专利技术的
技术介绍
的理解，因此该信息可包含不构成现有技术的信息。

技术实现思路

[0005]一种在具有主机和存储节点的系统中处理数据的方法可包括：对存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在系统中处理数据的方法，所述系统具有主机和存储节点，所述方法包括：对存储在存储节点处的数据执行混洗操作，其中，混洗操作包括：执行混洗写入操作，以及执行混洗读取操作；其中，混洗操作的至少一部分由存储节点处的加速器执行。2.根据权利要求1所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括混洗写入操作的一部分。3.根据权利要求2所述的方法，其中，混洗写入操作的所述部分包括分区操作。4.根据权利要求1所述的方法，其中，混洗写入操作的所述部分包括聚合操作、排序操作、合并操作、序列化操作、压缩操作和溢出操作中的一个或多个。5.根据权利要求1所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括混洗读取操作的一部分。6.根据权利要求1所述的方法，其中，混洗读取操作的所述部分包括获取操作、解压缩操作、解序列化操作、合并操作、排序操作和聚合操作中的一个或多个。7.根据权利要求1至权利要求6中的任一项所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括使用存储节点处的存储装置与加速器之间的对等网络连接执行的分区操作。8.根据权利要求1至权利要求6中的任一项所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括使用存储节点处的存储装置与加速器之间的对等网络连接执行的数据溢出操作。9.根据权利要求1至权利要求6中的任一项所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括使用直接存储器存取操作执行的获取操作。10.根据权利要求1至权利要求6中的任一项所述的方法，其中，在存储节点处执行的混洗操作的所述部分包括使用存储节点处的存储装置与加速器之间的对等网络连接执行的数据合并操作。11.一种存储节点，包括：存储装置；以及加速器；其中，加速器被配置为执行混洗操作的至少一部分。12.根据权利要求11所述的存储节点，其中，存储节点还包括存储装置与加速器之间的对等网络连接；并且存储装置和加速器被配置为：通过经由对等网络连接传...

【专利技术属性】
技术研发人员：张晖，李周桓，张轶群，阿米，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：