一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质技术方案

本发明专利技术公开了一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质，该方法包括：根据缓存参数初始化数据处理程序；接收数据流，并对数据流的进行数据统计；根据缓存参数对接收的数据流进行缓存处理，通过动态调整数据处理缓存容量与缓存数量，进而达成对于不同的数据量都能达到最佳的效能。解决了传统数据处理缓存容量与缓存数量是固定的，在实际应用中无法依据不同的数据量而在线动态调整参数，导致数据处理效能会因不同的数据量而变化而无法维持最佳效能。

【技术实现步骤摘要】
一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质
本专利技术涉及数据缓存
，尤其涉及一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质。
技术介绍
在存储系统中，为了合理统筹缓存资源，使用了缓存分区的技术来达成该目标。在目前的存储系统中，系统会针对每个存储池创建一个缓存分区。在现有技术中，系统创建的每个缓存分区所占的缓存容量、缓存数量是固定的，因此所有的存储池会被均衡地分配缓存资源，而这项工作是自动完成的。当存储池的个数发生变化时，每个缓存分区也会自动地调整到相同的比例，导致在处理不同的数据量时，整体数据处理效能会因为数据量的变化而有不同的效能变化。。在实际应用中，某个存储池上可能会运行关键应用，当某个关键应用需要的缓存空间比较大时，如果按照缓存分区平均分配的方式，可能造成关键应用的缓存空间不够而导致关键应用无法运行。而参数调整后会需要重置系统，无法依据实际应用时不同的数据量而在线动态调整参数，导致数据处理效能会因为不同的数据量而有变化而无法维持最佳效能。
技术实现思路
本专利技术针对现有技术的不足，本专利技术提供了一种自动调整缓存的数据处理方法及系统，以解决现有技术的上述问题，其具体方案如下：第一方面，本专利技术提供了一种自动调整缓存的数据处理方法，所述方法包括：根据缓存参数初始化数据处理程序；接收数据流，并对所述数据流的进行数据统计；根据所述缓存参数对接收的所述数据流进行缓存处理。优选地，所述方法还包括：更新用于数据统计的计数器，并根据所述计数器中的最新统计数据，调整所述缓存参数。优选地，所述缓存参数包括：缓存容量、缓存数量、缓存容量参数清单、缓存数量参数清单。优选地，所述根据缓存参数初始化数据处理程序，所述方法包括：获取所述缓存容量参数清单的缓存容量最大值与所述缓存数量参数清单的缓存数量最大值；根据所述缓存容量最大值与所述缓存数量最大值设置缓存空间，并对接收缓冲区进行初始化。优选地，在所述根据缓存参数初始化数据处理程序之前，所述方法还包括：接收发送端的数据，并形成所述数据流。优选地，在所述根据所述缓存参数对接收的所述数据流进行缓存处理之后，所述方法还包括：对缓存处理后的数据进行提取，并发送至数据中心进行处理。优选地，对所述数据流的进行数据统计，所述方法包括：采用滑动窗口算法对对所述数据流的进行数据统计。第二方面，本专利技术提供了一种自动调整缓存的数据处理系统，所述系统包括：初始化模块，用于根据缓存参数初始化数据处理程序；接收统计模块，用于接收数据流，并对所述数据流的进行数据统计；缓存处理模块，用于根据所述缓存参数对接收的所述数据流进行缓存处理。第三方面，本专利技术提供了一种自动调整缓存的数据处理设备，所述设备包括：通信总线，用于实现处理器与存储器间的连接通信；存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如下步骤：根据缓存参数初始化数据处理程序；接收数据流，并对所述数据流的进行数据统计；根据所述缓存参数对接收的所述数据流进行缓存处理。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。本专利技术的有益效果：本专利技术的自动调整缓存的数据处理方法及系统，根据缓存参数初始化数据处理程序；接收数据流，并对所述数据流的进行数据统计；根据所述缓存参数对接收的所述数据流进行缓存处理，通过动态调整数据处理缓存容量与缓存数量，进而达成对于不同的数据量都能达到最佳的效能。解决了传统数据处理缓存容量与缓存数量是固定的，在实际应用中无法依据不同的数据量而在线动态调整参数，导致数据处理效能会因不同的数据量而变化而无法维持最佳效能。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，附图中的实施例不构成对本专利技术的任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术自动调整缓存的数据处理方法一实施例流程示意图。图2是本专利技术自动调整缓存的数据处理系统一实施例结构示意图。图3是本专利技术自动调整缓存的数据处理设备一实施例结构示意图。具体实施方式下面结合附图与实施例对本专利技术技术方案作进一步详细的说明，这是本专利技术的较佳实施例。应当理解，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例；需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例技术方案的主要思想：根据缓存参数初始化数据处理程序；接收数据流，并对所述数据流的进行数据统计；根据所述缓存参数对接收的所述数据流进行缓存处理。为了更好的理解上述的技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。实施例一本专利技术一实施例提供了一种自动调整缓存的数据处理方法，如图1所示，该缓存调整处理方法具体可以包括如下步骤：S101，根据缓存参数初始化数据处理程序。本实施例中，所述缓存参数包括：缓存容量、缓存数量、缓存容量参数清单、缓存数量参数清单。具体地，获取所述缓存容量参数清单的缓存容量最大值与所述缓存数量参数清单的缓存数量最大值；进一步，根据所述缓存容量最大值与所述缓存数量最大值设置缓存空间，并对接收缓冲区进行初始化。S102，接收数据流，并对所述数据流的进行数据统计。具体地，采用滑动窗口算法对对所述数据流的进行数据统计。S103，根据所述缓存参数对接收的所述数据流进行缓存处理。例如，服务器将流媒体文件的数据流发送至接收缓冲区，接收缓冲区接收并存储至该接收缓冲区中任一存储空间，其存储结构可为链式队列，也可为阵列式，接收缓冲区还可通过解码器对接收缓冲区的数据包进行解码，得到解码后的数据包，再并将其存储至播放缓冲区，其存储结构为顺序队列。S104，更新用于数据统计的计数器，并根据所述计数器中的最新统计数据，调整所述缓存参数。在一个可选实施例中，在所述根据缓存参数初始化数据处理程序之前，先接收发送端的数据，并形成所述数据流。在另一可选实施例中，在所述根据所述缓存参数对接收的所述数据流进行缓存处理之后，对缓存处理后的数据进行提取，并发送至数据中心进行处理。实施例二本专利技术一实施例提供了一种自动调整缓存的数据处理系统，如图2所示，该缓存调整处理系统具体可以包括如下模块：初始化模块，用于根据缓存参数初始化数据处理程序。本文档来自技高网...

【技术保护点】
1.一种自动调整缓存的数据处理方法，其特征在于，所述方法包括：/n根据缓存参数初始化数据处理程序；/n接收数据流，并对所述数据流的进行数据统计；/n根据所述缓存参数对接收的所述数据流进行缓存处理。/n

【技术特征摘要】
1.一种自动调整缓存的数据处理方法，其特征在于，所述方法包括：
根据缓存参数初始化数据处理程序；
接收数据流，并对所述数据流的进行数据统计；
根据所述缓存参数对接收的所述数据流进行缓存处理。


2.根据权利要求1所述的自动调整缓存的数据处理方法，其特征在于，还包括：更新用于数据统计的计数器，并根据所述计数器中的最新统计数据，调整所述缓存参数。


3.根据权利要求1或2所述的自动调整缓存的数据处理方法，其特征在于，所述缓存参数包括：缓存容量、缓存数量、缓存容量参数清单、缓存数量参数清单。


4.根据权利要求3所述的自动调整缓存的数据处理方法，其特征在于，所述根据缓存参数初始化数据处理程序，所述方法包括：
获取所述缓存容量参数清单的缓存容量最大值与所述缓存数量参数清单的缓存数量最大值；
根据所述缓存容量最大值与所述缓存数量最大值设置缓存空间，并对接收缓冲区进行初始化。


5.根据权利要求4所述的自动调整缓存的数据处理方法，其特征在于，在所述根据缓存参数初始化数据处理程序之前，所述方法还包括：接收发送端的数据，并形成所述数据流。


6.根据权利要求5所述的自动调整缓存的数据处理方法，其特征在于，在所...

【专利技术属性】
技术研发人员：庄佳颖，
申请(专利权)人：上德珠海数据科技有限公司，上德深圳数据科技有限公司，
类型：发明
国别省市：广东;44