混合内存架构的数据处理方法技术

本申请涉及一种混合内存架构的数据处理方法

【技术实现步骤摘要】
混合内存架构的数据处理方法、装置、设备及存储介质


[0001]本申请涉及移动端内存计算框架
，特别涉及一种混合内存架构的数据处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着“大数据时代”数据规模的激增，内存计算框架得到了长足发展
。
其中，主流内存计算框架
Apache Spark
通过使用内存来缓存中间结果，以大幅度地提升数据处理速度：一方面，由于
Spark
中的数据计算集中在内存中，因此可减少磁盘
I/O(Input/Output
，输入
/
输出
)
，从而避免了序列化成本并减少了大量
I/O
开销；另一方面，与编程框架
MapReduce
不同，
Spark
可以在内存空间中缓存部分中间结果，下次使用这些中间结果时可直接在缓存中访问，进而极大地提升了应用程序的运行性能
。
由此可见，缓存的使用让
Spark
在迭代式计算上有巨大优势，即
Spark
计算框架的巨大成功来源于对内存资源的使用
。
[0003]然而，
Spark
中使用的内存技术
DRAM(Dynamic RandomAccess Memory
，动态随机存取内存
)
已进入发展瓶颈，不仅存储密度难以增加，且成本也难以降低，而当前数据大小的增长速度却超过了
DRAM
价格的下降速度，以致在目前的数据分析集群中，内存仍然是一种稀缺资源，其在一定程度上阻碍了内存计算规模的继续增长
。
因此，如何在保证
Spark
读写性能的同时降低成本并提升存储容量是当前亟需解决的问题
。

技术实现思路

[0004]本申请提供一种混合内存架构的数据处理方法
、
装置
、
设备及存储介质，以保证
Spark
的读写性能并降低成本和提升存储容量
。
[0005]第一方面，提供了一种混合内存架构的数据处理方法，包括以下步骤：
[0006]基于弹性分布式数据集
RDD
依赖信息为
RDD
对应的每个缓存块生成对应的权重值；
[0007]根据缓存块的权重值与动态随机存取内存
DRAM
中的最小权重值间的大小关系将缓存块存储至
DRAM
或非易失性存储器
NVM
；
[0008]当需要从
NVM
中读取目标缓存块进行节点计算时，根据预设的迁移策略判断是否需要将目标缓存块从
NVM
迁移至
DRAM
；
[0009]若是，则将目标缓存块迁移至
DRAM
，以在
DRAM
中读取目标缓存块进行节点计算
。
[0010]一些实施例中，所述根据缓存块的权重值与动态随机存取内存
DRAM
中的最小权重值间的大小关系将缓存块存储至
DRAM
或非易失性存储器
NVM
，包括：
[0011]当缓存块的权重值大于或等于
DRAM
中的最小权重值时，将缓存块存储至
DRAM
；
[0012]当缓存块的权重值小于
DRAM
中的最小权重值时，将缓存块存储至
NVM。
[0013]一些实施例中，所述迁移策略包括迁移开销最小策略
、DRAM
内存在可利用存储空间策略以及
DRAM
内存在可替换缓存块策略
。
[0014]一些实施例中，所述根据预设的迁移策略判断是否需要将目标缓存块从
NVM
迁移至
DRAM
，包括：
[0015]若目标缓存块从
NVM
中迁移至
DRAM
所需的迁移开销大于在
DRAM
中读写目标缓存块所需的读写开销，则判定不需要将目标缓存块从
NVM
迁移至
DRAM
；
[0016]若目标缓存块从
NVM
中迁移至
DRAM
所需的迁移开销不大于在
DRAM
中读写目标缓存块所需的读写开销，则判断
DRAM
内是否存在可利用存储空间；
[0017]若
DRAM
内存在可利用存储空间，则判定需要将目标缓存块从
NVM
迁移至
DRAM
；
[0018]若
DRAM
内不存在可利用存储空间，则判断
DRAM
内是否存在可替换缓存块；
[0019]若
DRAM
内存在可替换缓存块，则判定需要将目标缓存块从
NVM
迁移至
DRAM
；
[0020]若
DRAM
内不存在可替换缓存块，则判定不需要将目标缓存块从
NVM
迁移至
DRAM。
[0021]一些实施例中，在所述若
DRAM
内存在可替换缓存块，则判定需要将目标缓存块从
NVM
迁移至
DRAM
的步骤之后，还包括：
[0022]将
DRAM
内的可替换缓存块迁移至
NVM
，以释放出用于缓存目标缓存块的目标存储空间
。
[0023]一些实施例中，基于同一个逻辑内存空间实现对
NVM
和
DRAM
的平面混合
。
[0024]一些实施例中，如权利要求1所述的混合内存架构的数据处理方法，其特征在于：缓存块对应的集合数据结构为树集
TreeSet。
[0025]第二方面，提供了一种混合内存架构的数据处理装置，包括：
[0026]权重生成单元，其用于基于弹性分布式数据集
RDD
依赖信息为
RDD
对应的每个缓存块生成对应的权重值；
[0027]数据存储单元，其用于根据缓存块的权重值与动态随机存取内存
DRAM
中的最小权重值间的大小关系将缓存块存储至
DRAM
或非易失性存储器
NVM
；
[0028]数据管理单元，其用于当需要从
NVM
中读取目标缓存块进行节点计算时，根据预设的迁移策略判断是否需要将目标缓存块从
NVM
迁移至
DRAM
；若是，则将目标缓存块迁移至
DRAM
，以在
DRAM
...

【技术保护点】

【技术特征摘要】
1.
一种混合内存架构的数据处理方法，其特征在于，包括以下步骤：基于弹性分布式数据集
RDD
依赖信息为
RDD
对应的每个缓存块生成对应的权重值；根据缓存块的权重值与动态随机存取内存
DRAM
中的最小权重值间的大小关系将缓存块存储至
DRAM
或非易失性存储器
NVM
；当需要从
NVM
中读取目标缓存块进行节点计算时，根据预设的迁移策略判断是否需要将目标缓存块从
NVM
迁移至
DRAM
；若是，则将目标缓存块迁移至
DRAM
，以在
DRAM
中读取目标缓存块进行节点计算
。2.
如权利要求1所述的混合内存架构的数据处理方法，其特征在于，所述根据缓存块的权重值与动态随机存取内存
DRAM
中的最小权重值间的大小关系将缓存块存储至
DRAM
或非易失性存储器
NVM
，包括：当缓存块的权重值大于或等于
DRAM
中的最小权重值时，将缓存块存储至
DRAM
；当缓存块的权重值小于
DRAM
中的最小权重值时，将缓存块存储至
NVM。3.
如权利要求1所述的混合内存架构的数据处理方法，其特征在于：所述迁移策略包括迁移开销最小策略
、DRAM
内存在可利用存储空间策略以及
DRAM
内存在可替换缓存块策略
。4.
如权利要求3所述的混合内存架构的数据处理方法，其特征在于，所述根据预设的迁移策略判断是否需要将目标缓存块从
NVM
迁移至
DRAM
，包括：若目标缓存块从
NVM
中迁移至
DRAM
所需的迁移开销大于在
DRAM
中读写目标缓存块所需的读写开销，则判定不需要将目标缓存块从
NVM
迁移至
DRAM
；若目标缓存块从
NVM
中迁移至
DRAM
所需的迁移开销不大于在
DRAM
中读写目标缓存块所需的读写开销，则判断
DRAM
内是否存在可利用存储空间；若
DRAM
内存在可利用存储空间，则判定需要将目标缓存块从
NVM
迁移至
DRAM
；若
...

【专利技术属性】
技术研发人员：程大钊，何智力，梁黄黄，胡创，龚奕利，
申请(专利权)人：武汉大学，
类型：发明
国别省市：