本发明专利技术公开了一种数据处理方法，包括以下步骤：响应于检测到用户登录，获取用户ID并根据所述用户ID获取对应的访问模式；获取从所述用户上一次登出到本次登录之间生成的增量数据；根据所述访问模式确定所述增量数据中符合预设条件的数据；将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案通过针对不同用户的访问模式，提供灵活的存储空间分配策略，根据数据特性和访问模式，动态调整存储介质的使用，实现对存储策略和算法的动态调整，提高存储性能和响应速度。
【技术实现步骤摘要】
本专利技术涉及存储领域，具体涉及一种数据处理方法、系统、设备以及存储介质。
技术介绍
1、随着数据量的不断增多，大数据量给存储设备带来了很大的压力，随之而来的，存储设备的性能明显下降，导致用户体验感明显下降，所以如何在大数据量的情况下，提升存储设备的性能，提升用户的使用体验，显得尤为重要。
2、在现有存储系统中，通常根据从以下几方面提升存储的性能：1、根据数据类型和访问频率将数据存储在不同的存储介质中；2、优化检索数据存储地址的方式；3、优化存储策略，使数据连续存储。这些方案虽然在一定程度上缓解了当前问题，但容易造成存储空间的浪费，以及缺乏对存储需求的深入分析和动态调整能力。
技术实现思路
1、有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种数据处理方法，包括以下步骤：
2、响应于检测到用户登录，获取用户id并根据所述用户id获取对应的访问模式；
3、获取从所述用户上一次登出到本次登录之间生成的增量数据；
4、根据所述访问模式确定所述增量数据中符合预设条件的数据；
5、将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。
6、在一些实施例中，获取用户id并根据所述用户id获取对应的访问模式，进一步包括：
7、获取所述用户访问的历史数据；
8、统计在预设时间段内每一类型数据的历史访问次数；
>9、根据所述历史访问次数和所述预设时间段计算历史访问频率；10、根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；
11、根据所述历史访问频率确定所述用户的历史访问模式；
12、获取用户当前访问的实时数据；
13、统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；
14、根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；
15、根据所述实时访问频率确定所述用户的实时访问模式。
16、在一些实施例中，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：
17、根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。
18、在一些实施例中，还包括：
19、根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。
20、在一些实施例中，还包括：
21、预测所述用户登录期间的数据增长量；
22、根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。
23、在一些实施例中，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：
24、si＝αxi+(1-α)(si-1+ti-1)
25、ti＝β(si-si-1)+(1-β)ti-1
26、xi+h＝si+hti
27、其中，si为第i个平滑值，si-1是上一个平滑值，ti为第i次平滑后的趋势值，ti-1是上一次平滑后的趋势值，xi为第i个时间点的数据量，xi+h是h个时间点后的数据增长量，α、β为权重，取值范围为[0，1]。
28、在一些实施例中，还包括：
29、响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。
30、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种数据处理系统，包括：
31、第一获取模块，配置为响应于检测到用户登录，获取用户id并根据所述用户id获取对应的访问模式；
32、第二获取模块，配置为获取从所述用户上一次登出到本次登录之间生成的增量数据；
33、确定模块，配置为根据所述访问模式确定所述增量数据中符合预设条件的数据；
34、迁移模块，配置为将所述符合预设条件的数据放入到第一存储介质并将其他数据放入第二存储介质，其中所述第一存储介质的读写速率大于所述第二存储介质。
35、在一些实施例中，获第一获取模块401还配置为：
36、获取所述用户访问的历史数据；
37、统计在预设时间段内每一类型数据的历史访问次数；
38、根据所述历史访问次数和所述预设时间段计算历史访问频率；
39、根据每一个用户访问的每一个历史数据的历史访问频率对每一个历史数据设置相应的标签；
40、根据所述历史访问频率确定所述用户的历史访问模式；
41、获取用户当前访问的实时数据；
42、统计在所述预设时间段内用户访问的每一类实时数据的实时访问次数；
43、根据用户实时访问的每一类数据的实时访问次数计算每一类实时数据的实时访问频率；
44、根据所述实时访问频率确定所述用户的实时访问模式。
45、在一些实施例中，确定模块403还配置为：
46、根据所述历史访问模式从所述增量数据中筛选出相应类型的数据。
47、在一些实施例中，迁移模块404还配置为：
48、根据所述实时访问模式实时调整所述第一存储介质和所述第二存储介质中的数据。
49、在一些实施例中，还包括预测模块，配置为：
50、预测所述用户登录期间的数据增长量；
51、根据所述数据增长量对所述第一存储介质和/或所述第二存储介质进行扩容。
52、在一些实施例中，预测模块还配置为根据下式数据增长量：
53、si＝αxi+(1-α)(si-1+ti-1)
54、ti＝β(si-si-1)+(1-β)ti-1
55、xi+h＝si+hti
56、其中，si为第i个平滑值，si-1是上一个平滑值，ti为第i次平滑后的趋势值，ti-1是上一次平滑后的趋势值，xi为第i个时间点的数据量，xi+h是h个时间点后的数据增长量，α、β为权重，取值范围为[0，1]。
57、在一些实施例中，还包括检测模块，配置为：
58、响应于检测到用户切换，根据切换后的用户对应的访问模式调整所述第一存储介质和/或所述第二存储介质中的数据。
59、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
60、至少一个处理器；以及
61、存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种数据处理方法的步骤。
62、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据处理方法的本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，获取用户ID并根据所述用户ID获取对应的访问模式，进一步包括：
3.如权利要求2所述的方法，其特征在于，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：
4.如权利要求2所述的方法，其特征在于，还包括：
5.如权利要求1所述的方法，其特征在于，还包括：
6.如权利要求5所述的方法，其特征在于，预测所述用户登录期间的数据增长量，进一步包括根据下式数据增长量：
7.如权利要求1所述的方法，其特征在于，还包括：
8.一种数据处理系统，其特征在于，包括：
9.一种计算机设备，包括：
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，获取用户id并根据所述用户id获取对应的访问模式，进一步包括：
3.如权利要求2所述的方法，其特征在于，根据所述访问模式确定所述增量数据中符合预设条件的数据，进一步包括：
4.如权利要求2所述的方法，其特征在于，还包括：
5.如权利要求1所述的方法，其特征在于，还包括：
6....
【专利技术属性】
技术研发人员：刘申申，谢鹏，高瑞胜，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。