本公开公开了一种数据处理方法及装置、电子设备及存储介质。所述数据处理方法可包括：根据第一用户对一级缓存中的数据页的访问信息，确定所述第一用户的访问模式；其中，所述一级缓存设置在所述第一用户的服务进程的内存中；根据所述第一用户的访问模式，将访问热度满足预设条件的目标数据页的数据转移至二级缓存的目标分区；其中，所述二级缓存设置在硬盘；所述目标分区为所述二级缓存的多个缓存分区中与所述第一用户的访问模式对应的缓存分区，不同的访问模式对应不同的缓存分区。不同的访问模式对应不同的缓存分区。不同的访问模式对应不同的缓存分区。
【技术实现步骤摘要】
数据处理方法及装置、电子设备及介质
[0001]本公开涉及数据库缓存
，尤其涉及一种数据处理方法及装置、电子设备及存储介质。
技术介绍
[0002]云数据库是部署和虚拟化在云计算环境中的在线关系型数据库，具有高扩展性、高可用性、易用性、支持大规模并行处理等特点。
[0003]为了应对海量数据存储和多租户的数据访问并非需求，引入了缓存技术。现有的缓存技术中，根据执行数据缓存和数据修改等操作的进程是否属于同一进程，可以分为本地缓存和分布式缓存。
[0004]本地缓存指在服务进程的内存中缓存数据，数据不需要进行网络传输，访问速度快，但是会占用服务进程的内存空间，也注定不能存储大数据量的缓存。
[0005]本地缓存架构的缺点是需要与服务进程进行耦合，服务进程不能共享同一缓存，每个服务进程和集群节点都需要提供额外的内存空间进行缓存，当应用进程宕机或者重启时，缓存数据会丢失。
[0006]分布式缓存指使用与服务进程分离的缓存组件或者服务进行缓存，多个服务进程可以共享一个缓存，拥有独立的内存空间，支持集群扩展和大数据量的缓存。
[0007]分布式缓存的缺点是在高并发、大数据量的读写场景下，有可能出现数据的缓存雪崩和/或缓存击穿等问题。
[0008]缓存雪崩：同一时刻出现大量的缓存失效，导致大量的请求直接访问数据库，数据库的压力过大，可能使数据库宕机。
[0009]缓存击穿：某一个热点数据的缓存在某个时刻过期，这时对该数据有大量的并发请求，也可能导致数据库负载过大而宕机。
技术实现思路
[0010]本公开实施例提供了一种数据处理方法及装置、电子设备及存储介质，以解决数据访问响应速率慢、由于访问数量堆积导致的宕机问题。
[0011]本公开实施例第一方面提供一种数据处理方法，包括：
[0012]根据第一用户对一级缓存中的数据页的访问信息，确定所述第一用户的访问模式；其中，所述一级缓存设置在所述第一用户的服务进程的内存中；
[0013]根据所述第一用户的访问模式，将访问热度满足预设条件的目标数据页的数据转移至二级缓存的目标分区；其中，所述二级缓存设置在硬盘；所述目标分区为所述二级缓存的多个缓存分区中与所述第一用户的访问模式对应的缓存分区，不同的访问模式对应不同的缓存分区。
[0014]公开实施例第二方面提供一种数据处理装置，包括：
[0015]确定模块，用于根据第一用户对一级缓存中的数据页的访问信息，确定所述第一
用户的访问模式；其中，所述一级缓存设置在所述第一用户的服务进程的内存中；
[0016]转移模块，用于根据所述第一用户的访问模式，将访问热度满足预设条件的所述数据页的数据转移至二级缓存的目标分区；其中，所述二级缓存设置在硬盘；所述目标分区为所述二级缓存的多个缓存分区中与所述第一用户的访问模式对应的缓存分区，不同的访问模式对应不同的缓存分区。
[0017]本公开实施例第三方面提供一种电子设备，所述电子设备包括：
[0018]存储器；
[0019]处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现第一方面任意一个技术方案提供的数据处理方法。
[0020]本公开实施例第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现第一方面任意一个技术方案提供的数据处理方法。
[0021]本公开实施例提供的技术方案，将数据页采用一级缓存和二级缓存进行分级缓存，如此，访问热度最高的数据页会将被存储在一级缓存(即内存)中，从而使得访问热度较高的数据页由于存储在一级缓存可以快速响应访问，访问热度稍低的数据页被转移至二级缓存中，如此二级缓存为集群节点的硬盘相对于直接从数据库磁盘读取数据，提升了响应效率。一方面相对于纯本地内存缓存减少了本地内存有限的限制，相对于分布式缓存减少了缓存雪崩和/或缓存击穿等问题。且更为重要的是：根据用户访问自身一级缓存的访问信息，确定用户的访问模式，根据访问模式将用户访问过的数据页缓存在二级缓存中的对应的缓存分区，如此，后续可以利用二级缓存中与用户的访问模式对应的目标分区内所存储的数据页优先响应，从而提升响应速率，且基于大数据统计可以减少不必要的数据统计，且可以减少访问请求堆积导致的宕机现象。
附图说明
[0022]图1为本公开实施例提供的一种数据处理方法的流程示意图；
[0023]图2为本公开实施例提供的一种数据处理方法的流程示意图；
[0024]图3为本公开实施例提供的一种数据处理方法的流程示意图；
[0025]图4为本公开实施例提供的一种缓存队列的示意图；
[0026]图5为本公开实施例提供的一种数据缓存装置的结构示意图；
[0027]图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0028]为了能够更加详尽地了解本公开的特点与
技术实现思路
，下面结合附图对本公开的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开。
[0029]如图1所示，本公开实施例提供一种数据处理方法，包括：
[0030]S1110：根据第一用户对一级缓存中的数据页的访问信息，确定所述第一用户的访问模式；其中，所述一级缓存设置在所述第一用户的服务进程的内存中；
[0031]S1120：根据所述第一用户的访问模式，将访问热度满足预设条件的目标数据页的数据转移至二级缓存的目标分区；其中，所述二级缓存设置在硬盘；所述目标分区为所述二
级缓存的多个缓存分区中与所述第一用户的访问模式对应的缓存分区，不同的访问模式对应不同的缓存分区。
[0032]该数据处理方法可应用于数据库系统中的数据处理，例如，应用于云数据库系统中。该数据库系统可包括计算机集群构成，一个集群内有一个或多个节点。
[0033]该数据处理方法可用于数据库系统中的集群节点，例如，可用于集群节点中的缓存节点。
[0034]本公开实施例的数据处理方法的执行节点可为：所述第一用户可为任意一个租户。
[0035]为每一个用户在集群节点配置一个一级缓存，该一级缓存配置在集群节点的内存中，如此，可以使用本地缓存为该用户提供一个高访问热度数据的快速响应。
[0036]同时由于集群节点的内存有限，因此在该集群节点的固态硬盘上设置二级。同一个用户的二级缓存的容量可大于该用户的一级缓存的容量。通常情况下，二级缓存存储的数据页当前时刻的访问热度低于一级缓存内缓存数据页的访问热度。
[0037]所述访问热度为一个衡量对应数据页将被访问概率的参数值，可与对应数据页在当前时刻以前的历史访问情况和/或修改情况等相关。例如，一个数据页在当前时刻以前被频繁范围，且该数据页的内容是用户喜欢反复读取的内容，则该数据页的访问热度会比较高。再例如，一个数据页在当前时刻正在修改，且尚未修改完毕，则该数据页被继续访问的概率很高，且一般本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据第一用户对一级缓存中的数据页的访问信息，确定所述第一用户的访问模式；其中，所述一级缓存设置在所述第一用户的服务进程的内存中；根据所述第一用户的访问模式，将访问热度满足预设条件的目标数据页的数据转移至二级缓存的目标分区；其中，所述二级缓存设置在硬盘；所述目标分区为所述二级缓存的多个缓存分区中与所述第一用户的访问模式对应的缓存分区，不同的访问模式对应不同的缓存分区。2.根据权利要求1所述的方法，其特征在于，所述根据第一用户对一级缓存中的数据页的访问信息，确定所述第一用户的访问模式，包括：根据所述第一用户对所述一级缓存中的数据页的访问信息，确定所述第一用户的访问模式值；根据所述访问模式值，确定所述第一用户的访问模式；其中，所述访问信息包括以下至少一项：所述第一用户在所述一级缓存中访问的数据页的类型；所述第一用户对各个类型的数据页的访问频率；各个类型的数据页的第一权重。3.根据权利要求2所述的方法，其特征在于，所述数据页的类型包括：索引页、系统页、元数据页和/或内容页；其中，所述元数据页的所述第一权重大于所述系统页的所述第一权重；所述系统页的所述第一权重大于所述索引页的所述第一权重；所述索引页的所述第一权重大于所述内容页的所述第一权重；所述方法还包括：根据所述一级缓存和所述二级缓存中各个类型的数据页占用的空间比率、所述一级缓存和所述二级缓存中各个类型的数据页的总访问频次以及预先设置的第二权重，确定各个类型的数据页的所述第一权重。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述二级缓存的各个缓存分区的第一缓存命中率以及缓存容量；根据所述第一缓存命中率和所述缓存容量，确定所述二级缓存的第二缓存命中率；根据所述第一缓存命中率和第二缓存命中率，调整所述二级缓存的缓存分区。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一缓存命中率和第二缓存命中率，调整所述二级缓存的缓存分区，包括：当第P1个所述缓存分区的所述第一缓存命中率高于或等于所述第二缓存命中率时，将第P1个所述缓存分区中访问热度最高的一个或多个数据页划分至第P2个所述缓存区，其中，第P2个所述缓存区的所述第一缓存命中率低于所述第二缓存命中率；所述P1不同于所述P2，且所述P1和P2均为小于或等于X的正整数；所述X为所述二级缓存...
【专利技术属性】
技术研发人员：黄亚超，叶志伟，钱岭，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。