一种数据存储系统技术方案

本发明专利技术提供的数据存储系统，包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；该系统中，将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；该系统能够实现算力的合理分配，并根据CPU和计算模块的状态进行任务的调整，同时根据不同的数据具有不同的存储策略，不仅实现了算力的优化，还实现了数据存储的有效性、可靠性、安全性。

【技术实现步骤摘要】
一种数据存储系统
本专利技术涉及一种数据存储系统。
技术介绍
近年来，为了解决传统计算体系结构瓶颈，存算一体架构得到人们的广泛关注，其基本思想是直接利用存储器进行逻辑计算，从而减少存储器与处理器之间的数据传输量以及传输距离，降低功耗的同时提高性能。现有技术中，存算一体芯片中的计算和存储模块通常是固定的，不能根据实际的需求进行算力的动态分配；数据的存储是按照统一的策略进行分配，无法进行动态的设置；另外现有的系统中，CPU和计算模块通常各自执行任务，而且数据处理方式固定，缺少有效的任务分配及协调处理机制，不利于资源的动态调度。
技术实现思路
为解决现有技术中存在的问题，本专利技术解决其技术问题所采用的技术方案是：一种数据存储系统，包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；所述监控模块用于实现对CPU、计算模块、存储阵列以及待处理任务的状态监控；所述监控模块还用于根据计算模块和存储阵列的状态进行动态的匹配，其中，所述动态的匹配包括：将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；其中，当所述待处理任务为新数据时，所述监控模块获取新数据的状态，所述新数据的状态至少包括新数据的大小、新数据的权重，根据新数据的状态确定新数据的存储策略，然后将新数据发送至CPU和、或计算模块进行处理后，根据存储策略存储至对应的存储阵列。其中，所述将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列包括：获取每个待处理任务的存储地址，根据所述存储地址确定与该存储地址对应的存储阵列；其中，每个存储阵列中包括至少一个数据；确定所述存储地址对应的待处理任务量的个数R，所述存储地址对应的数据的大小M，以及确定所述存储地址对应的存储阵列的剩余空间的大小N，根据所述M、N确定需要的计算模块的个数P；其中，，其中，数学符号⌊⌋为向下取整，为待处理任务的总个数；为所有待处理任务中数据的总大小；为每个存储阵列的最大存储空间，a为常系数。其中，所述根据待处理任务和CPU的状态进行空闲计算模块分配包括：确定CPU所需处理的待处理任务的个数X，以及CPU的温度T；当温度T超过指定阈值时，选取Y个空闲模块参与任务的处理；其中，，其中，b为常系数。其中，数学符号⌈⌉为向上取整，在空闲模块分配之前还包括CPU的分配，所述CPU的分配包括：确定CPU所需处理的待处理任务的个数X；，其中，数学符号⌈⌉为向上取整，c为常系数，K为空闲计算模块的个数，L为计算模块的总个数，为待处理任务的总个数。其中，所述根据新数据的状态确定新数据的存储策略包括：当所述新数据的大小不小于指定阈值，且新数据的权重大于设定的安全性阈值时，将所述新数据划分为不同的数据块，分别存储至不同的存储阵列中；当所述新数据的大小小于指定阈值，且新数据的权重大于设定的安全性阈值时，将所述新数据划分为不同的数据块，分别存储至同一存储阵列中的不同位置；当所述新数据的大小小于指定阈值，且新数据的权重不大于设定的安全性阈值时，将所述新数据存储至至少两个存储阵列中。其中，当所述待处理任务为数据子块时，从所述数据子块中获取上一数据子块对应的存储地址，然后根据所述数据子块的权重确定所述数据子块的存储策略；根据所述存储策略确定对应的存储阵列，并获取分配给所述存储策略对应的存储阵列的计算模块；然后使用所述计算模块执行数据子块的存储。其中，在确定待处理任务之前，还包括对数据进行分流处理。本专利技术还提供了一种基于所述系统的数据存储方法，所述方法包括：当所述系统接收到待处理任务后，对所述待处理任务进行分流处理；使用CPU和计算模块分别对分流后的待处理任务进行处理；当CPU对分流后的待处理任务处理完成后，确定对应的存储阵列，然后经过与存储阵列对应的计算模块执行存储操作；当计算模块对分流后的待处理任务处理完成后，进行存储操作；其中，当CPU和、或计算模块负载变大时，使用空闲计算模块进行算力补充。本专利技术的有益效果是，本专利技术提供的数据存储系统，包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；该系统中，将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；该系统能够实现算力的合理分配，并根据CPU和计算模块的状态进行任务的调整，同时根据不同的数据具有不同的存储策略，不仅实现了算力的优化，还实现了数据存储的有效性、可靠性、安全性。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是本专利技术的结构框图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。如图1所示，本专利技术提供了一种数据存储系统，包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；其中，所述存储系统还可以包括与CPU配合使用的cache。所述监控模块用于实现对CPU、计算模块、存储阵列以及待处理任务的状态监控；通过对CPU、计算模块、存储阵列以及待处理任务的状态监控，便于后续算力的动态调整，存储阵列的优化使用，以及待处理任务的调整。所述监控模块还用于根据计算模块和存储阵列的状态进行动态的匹配，其中，所述动态的匹配包括：将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；在本专利技术中，创造性的将算力划分为多个计算模块，且计算模块的个数大于存储阵列的个数，具体计算模块的个数可以但不限于为存储阵列个数的2-5倍；通过计算模块的颗粒度划分，能够便于根据实际的情况进行动态的调度，实现算力的合理分配。所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；空闲计算模块的设置可以根据待处理任务的变化，如任务中数据的增加、减小，和或任务的增加或减小等，进行算力的动态补充，保证算力的优化利用。其中，当所述待处理任务为新数据时，所述监控模块获取新数据的状态，所述新数据的状态至少包括新数据的大小、新数据的权重，根据新数据的状态确定新数据的存储策略，然本文档来自技高网...

【技术保护点】
1.一种数据存储系统，其特征在于，所述系统包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；/n所述监控模块用于实现对CPU、计算模块、存储阵列以及待处理任务的状态监控；/n所述监控模块还用于根据计算模块和存储阵列的状态进行动态的匹配，其中，所述动态的匹配包括：将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；/n所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；/n其中，当所述待处理任务为新数据时，所述监控模块获取新数据的状态，所述新数据的状态至少包括新数据的大小、新数据的权重，根据新数据的状态确定新数据的存储策略，然后将新数据发送至CPU和、或计算模块进行处理后，根据存储策略存储至对应的存储阵列。/n

【技术特征摘要】
1.一种数据存储系统，其特征在于，所述系统包括CPU和存算一体设备，所述存算一体设备包括：多个计算模块，多个存储阵列以及监控模块；
所述监控模块用于实现对CPU、计算模块、存储阵列以及待处理任务的状态监控；
所述监控模块还用于根据计算模块和存储阵列的状态进行动态的匹配，其中，所述动态的匹配包括：将多个计算模块分为第一计算模块组和第二计算模块组，将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列，其中，第一计算模块组中的计算模块的个数大于存储阵列的个数；
所述第二计算模块组中的计算模块为空闲计算模块，根据待处理任务和CPU的状态进行分配；
其中，当所述待处理任务为新数据时，所述监控模块获取新数据的状态，所述新数据的状态至少包括新数据的大小、新数据的权重，根据新数据的状态确定新数据的存储策略，然后将新数据发送至CPU和、或计算模块进行处理后，根据存储策略存储至对应的存储阵列。


2.如权利要求1所述的系统，其特征在于，所述将第一计算模块组中的计算模块根据存储阵列的状态和待处理任务的状态划分至对应的存储阵列包括：
获取每个待处理任务的存储地址，根据所述存储地址确定与该存储地址对应的存储阵列；其中，每个待处理任务中包括至少一个数据；
确定所述存储地址对应的待处理任务量的个数R，所述存储地址对应的数据的大小M，以及确定所述存储地址对应的存储阵列的剩余空间的大小N，根据所述M、N确定需要的计算模块的个数P；
其中，，其中，数学符号⌊⌋为向下取整，为待处理任务的总个数；为所有待处理任务中数据的总大小；为每个存储阵列的最大存储空间，a为常系数。


3.如权利要求1所述的系统，其特征在于，所述根据待处理任务和CPU的状态进行空闲计算模块分配包括：
确定CPU所需处理的待处理任务的个数X，以及CPU的温度T；
当温度T超过指定阈值时，选取Y个空闲计算模块参与任务的处理；
其中，，其中，数学符号⌈⌉为向上取整，b为...

【专利技术属性】
技术研发人员：赵先成，
申请(专利权)人：浙江力德仪器有限公司，
类型：发明
国别省市：浙江;33