数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:43208718 阅读:14 留言:0更新日期:2024-11-01 20:27
本申请公开了一种数据处理方法、装置、设备及存储介质,属于计算机技术领域。该方法包括基于N个用户访问数据对象的数据访问日志,构建包括M个第一节点和连接每两个第一节点的第一有向连接边的多用户数据访问的加权有向无自环图,第一节点为至少一个用户的第i个被访问的数据对象;从加权有向无自环图中提取P个采样子图;基于每个采样子图和其对应的标签向量,训练第一图神经网络和预取解码器模型,得到用于基于用户在第一时间段的数据访问日志生成用户在第二时间段访问P个具有关联关系的数据对象的概率值的第二图神经网络和预取解码器。如此,通过图神经网络和解码器学习访问数据的关联关系确定待访问的数据对象,以提高缓存预取的命中率。

【技术实现步骤摘要】

本申请属于计算机,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、缓存预取是在数据或资源被实际需要之前提前将其从数据库或磁盘文件加载到缓存中,实现临时存储,避免频繁访问数据库或磁盘文件,提高系统响应速度和性能。缓存预取可以是基于规则的缓存预取即通过手动设置规则指导缓存操作,即当缓存状态满足该规则时执行缓存预取操作。

2、然而,随着数据中心应用程序对高性能、可伸缩性需求的增强,数据访问模式逐渐向多用户、长期、复杂的特点演进,大量用户的访问具有不同的访问需求,同时访问规律和模式不再是鲜明的周期性、规律性和频繁性。因此,由于前述缓存预取无法考虑多用户、长期、复杂的访问模式,所以,导致缓存预取的命中率低,造成频繁访问数据库或磁盘文件的情况,降低系统响应速度和性能。


技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备及存储介质,能够解决相关技术中缓存预取的命中率低的问题。

2、第一方面,本申请实施例提供一种数据处理方法,该方法可以包括:

>3、获取n个用户访本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述基于所述数据访问日志,构建多用户数据访问的加权有向无自环图,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述基于所述数据访问日志,构建数据访问日志序列集合,包括:

4.根据权利要求2或3所述的数据处理方法,其特征在于,所述基于所述N个用户中每个用户访问数据对象的数据访问日志序列,构建所述多用户数据访问的加权有向无自环图,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述加权有向无自环图中的每个第一节点对应节点出度,所述节...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述基于所述数据访问日志,构建多用户数据访问的加权有向无自环图,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述基于所述数据访问日志,构建数据访问日志序列集合,包括:

4.根据权利要求2或3所述的数据处理方法,其特征在于,所述基于所述n个用户中每个用户访问数据对象的数据访问日志序列,构建所述多用户数据访问的加权有向无自环图,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述加权有向无自环图中的每个第一节点对应节点出度,所述节点出度用于表征第一节点在所述加权有向无自环图中以所述第一节点为尾的边的数目;所述p个采样子图包括p个第二节点中每个第二节点的采样子图;

6.根据权利要求1所述的数据处理方法,其特征在于,所述p个采样子图中包括所述p个采样子图中每个采样子图和与所述每个采样子图对应的标签向量;所述数据处理方法还包括:<...

【专利技术属性】
技术研发人员:尚晶武智晖肖智文张逸飞王斌王英杰刘辉刘雨地王冀彬
申请(专利权)人:中移动信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1