基于图数据库的数据加速访问方法、装置及存储介质制造方法及图纸

技术编号:26170863 阅读:25 留言:0更新日期:2020-10-31 13:40
本发明专利技术涉及一种大数据,揭露一种基于图数据库的数据加速访问方法,包括:数据存储在存储系统,包括高速存储设备和慢速存储设备;构建图数据库,点为数据,按照数据访问次序对不同点进行连线,连线长度表征访问概率;对已缓存和未缓存到高速设备中的数据在图数据库中进行标记区分;接收客户端数据访问请求;读取图数据库,判断数据访问请求对应的数据是否标记为已缓存;若标记为已缓存,从高速存储设备读取数据;标记为未缓存,从慢速存储设备读取数据,将数据及其相关联的数据缓存到高速存储设备,相关联的数据是指与所述数据的访问概率达到缓存阈值的数据。还提供一种装置、电子设备及计算机可读存储介质。本发明专利技术具有智能数据访问预测功能。

【技术实现步骤摘要】
基于图数据库的数据加速访问方法、装置及存储介质
本专利技术涉及大数据处理,尤其涉及一种基于图数据库的数据加速访问方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着大数据时代的来临,互联网的发展,互联网上的数据越来越多,继而催生出了数据存储的各种方案,随着数据存储技术和网络带宽的发展,数据访问速度又成为了新的瓶颈。当前对于数据访问速度的解决,主要有CDN和高速缓存两种形式解决。对于CDN来说,通过将已经访问过的数据存储在边缘服务器上,通过缩短客户端到数据的距离,减少延时,同时数据得以缓存,可以减少主服务器压力。通过这种形式来加速数据的访问,但是缓存的数据必须是客户端频繁访问的,这就导致前N次(自设定阈值)访问的客户端都需要从主服务器访问,速度较慢。高速缓存是使用高速的SSD盘,内存等高速设备,将需要读取的数据缓存其中,减少读取慢速硬盘的时间。经过测试,读取同等大小的数据,内存读取速度是普通硬盘的7~100倍,SSD是普通硬盘的5~10倍,可见若将数据缓存到高速设备中,可以大幅提高数据的访问速度。但是,由于高速设备相较于硬盘本文档来自技高网...

【技术保护点】
1.一种基于图数据库的数据加速访问方法,其特征在于,所述方法包括:/n将数据存储在存储系统中,所述存储系统包括高速存储设备和慢速存储设备;/n构建图数据库,所述图数据库的点为数据,按照数据的访问次序对不同点进行连线,连线的长度表征访问概率;/n对已缓存和未缓存到高速设备中的数据在图数据库中进行标记区分;/n接收客户端的数据访问请求,读取所述图数据库;/n判断所述数据访问请求对应的数据是否标记为已缓存;/n如果所述数据访问请求对应的数据标记为已缓存,从高速存储设备中读取数据返回给客户端;/n如果所述数据访问请求对应的数据标记为未缓存,从慢速存储设备中读取数据返回给客户端,同时将所述数据和所述数据...

【技术特征摘要】
1.一种基于图数据库的数据加速访问方法,其特征在于,所述方法包括:
将数据存储在存储系统中,所述存储系统包括高速存储设备和慢速存储设备;
构建图数据库,所述图数据库的点为数据,按照数据的访问次序对不同点进行连线,连线的长度表征访问概率;
对已缓存和未缓存到高速设备中的数据在图数据库中进行标记区分;
接收客户端的数据访问请求,读取所述图数据库;
判断所述数据访问请求对应的数据是否标记为已缓存;
如果所述数据访问请求对应的数据标记为已缓存,从高速存储设备中读取数据返回给客户端;
如果所述数据访问请求对应的数据标记为未缓存,从慢速存储设备中读取数据返回给客户端,同时将所述数据和所述数据相关联的数据一起缓存到高速存储设备中,其中,所述数据相关联的数据是指与所述数据的访问概率达到缓存阈值的数据。


2.如权利要求1所述的基于图数据库的数据加速访问方法,其特征在于,所述构建图数据库的步骤包括:
将用户首次访问的数据标记为根节点,第二次访问的数据标记为引用1,第三次访问的数据标记为引用2,依次类推,将数据以点的形式进行存储;
设定首次标记的引用的访问概率初值;
采集设定时间段的存储系统的访问数据;
根据访问数据对访问概率初值进行更新。


3.如权利要求2所述的基于图数据库的数据加速访问方法,其特征在于,所述根据访问数据对访问概率初值进行更新的步骤包括:
访问根节点后,客户端访问了引用1的节点,将根节点与引用1的节点之间的访问概率提高设定倍数;
访问根节点后,客户端访问了引用1,再访问引用2,则同时将根节点与引用1的节点之间的访问概率和引用1与引用2的节点之间的访问概率提高设定倍数;
访问根节点后,客户端没有访问引用1的节点,则根节点与引用1的节点之间的访问概率降低设定倍数,将新访问的数据标记为引用2,所述引用2的访问概率与修改后的引用1的访问概率相同;
访问了与根节点存在引用关系的节点后,再访问根节点时,将根节点作为所述节点的引用,对所述节点与根节点之间的访问概率进行更新。


4.如权利要求2所述的基于图数据库的数据加速访问方法,其特征在于,所述构建图数据库的步骤还包括:
设定图数据库的层数,根据数据的复杂程度设定图数据库的层数,数据越复杂所述层数越少。


5.如权利要求1所述的基于图数据库的数据加速访问方法,其特征在于,所述构建图数据库的步骤包括:
构建数据之间的关联关系,所述关联关系包括索引、引用、包含和互斥,其中,所述索引是指一个数据为节点,与所述一个数据为索引关系的其他数据的位置索引作为其他节点;所述引用是访问一个数...

【专利技术属性】
技术研发人员:曹斌
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1