【技术实现步骤摘要】
本说明书一个或多个实施例涉及数据库，尤其涉及一种数据处理方法及装置、电子设备及存储介质。
技术介绍
1、在互联网和信息化高速发展的今天，数据的产生呈爆炸式增长，因此对数据库及其管理的要求越来越高。数据库中的数据需要加载至缓存空间(即通常所称的内存)才能被访问，而数据库的缓存空间往往小于甚至远远小于数据库的持久化空间，即数据库内仅有部分数据能够同时加载至缓存空间。若某数据被访问时恰好在缓存空间内，则无需加载就可直接访问，这种情况可以称为数据被命中。
2、相关技术中，分布式数据系统经常发生扩容、缩容、数据均衡等处理，这会导致数据在分布式数据系统的不同节点间发生转移，即每个节点内的数据均会频繁发生变化。因此分布式数据系统内的数据被访问时的命中率较低，导致分布式数据系统对外提供的服务质量较差。
技术实现思路
1、有鉴于此，本说明书一个或多个实施例提供一种数据处理方法及装置、电子设备及存储介质。
2、为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
3、根据本说明书一个或多个实施例的第一方面，提出了一种数据处理方法，所述方法包括：
4、在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，其中，所述热度值用于表征所述数据的访问概率；
5、将所述分布式数据系统内每个节点的数据热度序列中靠前的部分数据，加载至所述节点对应的缓存空间中，其中，所述数据热度序列为所述节点内多个数据按照热度值由高到低形成的序
6、在本说明书的一个实施例中，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
7、根据所述节点内数据的最近访问时间和/或访问频率，确定所述数据的热度值。
8、在本说明书的一个实施例中，所述根据所述节点内数据的最近访问时间和访问频率，确定所述数据的热度值，包括：
9、将所述节点内数据的最近访问时间和访问频率进行加权求和，得到所述数据的热度值。
10、在本说明书的一个实施例中，所述方法还包括：
11、响应于所述数据的占用空间小于空间阈值，确定所述数据的最近访问时间的权重为第一权重、所述数据的访问频率的权重为第二权重，其中，所述第一权重大于所述第二权重；
12、响应于所述数据的占用空间不小于空间阈值，确定所述数据的最近访问时间的权重为第三权重、所述数据的访问频率的权重为第四权重，其中，所述第三权重小于所述第四权重。
13、在本说明书的一个实施例中，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
14、在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内n个数据的热度值，其中，所述n个数据的占用空间大于所述节点对应的缓存空间，n为大于或等于1的整数。
15、在本说明书的一个实施例中，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
16、响应于所述分布式数据系统内任一节点的数据被访问，确定所述节点内多个数据的热度值。
17、在本说明书的一个实施例中，所述将所述分布式数据系统内每个节点的数据热度序列中靠前的部分数据，加载至所述节点对应的缓存空间中，包括：
18、将所述节点的数据热度序列中最靠前的m个数据加载至所述节点对应的缓存空间中，其中，所述m个数据的占用空间小于或等于所述缓存空间的有效空间，m为大于或等于1的整数。
19、在本说明书的一个实施例中，所述方法还包括下述至少一项：
20、响应于所述分布式数据系统内任一节点的目标数据被转移或删除，根据所述目标数据的热度值更新所述节点的数据热度序列；
21、响应于目标数据写入至所述分布式数据系统内任一节点，根据所述目标数据的热度值更新所述节点的数据热度序列。
22、在本说明书的一个实施例中，所述方法还包括：
23、响应于所述节点的数据热度序列中最靠前的m个数据在更新中发生变化，根据更新后的数据热度序列调整所述节点对应的缓存空间内的数据。
24、在本说明书的一个实施例中，所述方法还包括：
25、将所述分布式数据系统内每个节点的数据热度序列保存至所述节点对应的磁盘空间中。
26、根据本说明书一个或多个实施例的第二方面，提出了一种数据处理装置，所述装置包括：
27、热度确定模块，用于在分布式数据系统内每个节点的数据访问过程中，确定每个节点内多个数据的热度值，其中，所述热度值用于表征所述数据的访问概率；
28、数据缓存模块，用于将所述分布式数据系统内每个节点的数据热度序列中靠前的部分数据，加载至所述节点对应的缓存空间中，其中，所述数据热度序列为所述节点内多个数据按照热度值由高到低形成的序列。
29、在本说明书的一个实施例中，所述热度确定模块用于：
30、根据所述节点内数据的最近访问时间和/或访问频率，确定所述数据的热度值。
31、在本说明书的一个实施例中，所述热度确定模块用于根据所述节点内数据的最近访问时间和访问频率，确定所述数据的热度值时，用于：
32、将所述节点内数据的最近访问时间和访问频率进行加权求和，得到所述数据的热度值。
33、在本说明书的一个实施例中，所述装置还包括权重模块，用于：
34、响应于所述数据的占用空间小于空间阈值，确定所述数据的最近访问时间的权重为第一权重、所述数据的访问频率的权重为第二权重，其中，所述第一权重大于所述第二权重；
35、响应于所述数据的占用空间不小于空间阈值，确定所述数据的最近访问时间的权重为第三权重、所述数据的访问频率的权重为第四权重，其中，所述第三权重小于所述第四权重。
36、在本说明书的一个实施例中，所述热度确定模块用于：
37、在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内n个数据的热度值，其中，所述n个数据的占用空间大于所述节点对应的缓存空间，n为大于或等于1的整数。
38、在本说明书的一个实施例中，所述热度确定模块，用于：
39、响应于所述分布式数据系统内任一节点的数据被访问，确定所述节点内多个数据的热度值。
40、在本说明书的一个实施例中，所述数据缓存模块，用于：
41、将所述节点的数据热度序列中最靠前的m个数据加载至所述节点对应的缓存空间中，其中，所述m个数据的占用空间小于或等于所述缓存空间的有效空间，m为大于或等于1的整数。
42、在本说明书的一个实施例中，所述装置还包括更新模块，用于下述至少一项：
43、响应于所述分布式数据系统内任一节点的目标数据被转移或删除，根据所述目标数据的热度值更新所述节点的数据热度序列；
44、响应于目本文档来自技高网...
【技术保护点】
1.一种数据处理方法，所述方法包括：
2.根据权利要求1所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
3.根据权利要求2所述的数据处理方法，所述根据所述节点内数据的最近访问时间和访问频率，确定所述数据的热度值，包括：
4.根据权利要求3所述的数据处理方法，所述方法还包括：
5.根据权利要求1至4中任一项所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
6.根据权利要求1至4中任一项所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
7.根据权利要求1所述的数据处理方法，所述将所述分布式数据系统内每个节点的数据热度序列中靠前的部分数据，加载至所述节点对应的缓存空间中，包括：
8.根据权利要求7所述的数据处理方法，所述方法还包括下述至少一项：
9.根据权利要求8所述的数据处理方法，所述方法还包括：
...【技术特征摘要】
1.一种数据处理方法，所述方法包括：
2.根据权利要求1所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
3.根据权利要求2所述的数据处理方法，所述根据所述节点内数据的最近访问时间和访问频率，确定所述数据的热度值，包括：
4.根据权利要求3所述的数据处理方法，所述方法还包括：
5.根据权利要求1至4中任一项所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，对应确定每个节点内多个数据的热度值，包括：
6.根据权利要求1至4中任一项所述的数据处理方法，所述在分布式数据系统内每个节点的数据访问过程中，...
【专利技术属性】
技术研发人员：阳振坤，曹晖，赵裕众，庄明强，万全威，
申请(专利权)人：北京奥星贝斯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。