【技术实现步骤摘要】
基于动态路由的数据存储访问方法及系统
本专利技术属于数据处理
，具体涉及基于动态路由的数据存储访问方法及系统。
技术介绍
目前互联网大数据处理过程中，由于数据量大，通常都会采用集群的方式来存储数据。为了加快数据的存储访问速度，通常都会使用缓存数据库+落地数据库的层次结构。集群内部通过一致性hash(一致性哈希)算法或其它路由算法来保证各节点的负载均衡。但是对于同一用户拥有大量用户数据的情况，如果按节点进行路由的话，那么该用户下的所有用户数据都将存储在同一节点上，这样将造成各节点间的数据量不均衡。查询端如果需要查询该用户的用户数据时，需要查询该节点的所有数据，导致查询请求处理时间过长，造成访问堵塞。
技术实现思路
针对现有技术中的缺陷，本专利技术提供基于动态路由的数据存储访问方法及系统，能够进行动态路由，实现访问端和查询端的快速响应。第一方面，一种基于动态路由的数据存储访问方法，包括：检测缓存节点的状态；当缓存节点的状态由可用变成不可用时，建立该缓存节点的路由路径为到落地数据库的路径，该缓存节点对应的数据请求直接透传到落地数据库；当缓存节点的状态由不可用变成可用时...
【技术保护点】
1.一种基于动态路由的数据存储访问方法，其特征在于，包括：检测缓存节点的状态；当缓存节点的状态由可用变成不可用时，建立该缓存节点的路由路径为到落地数据库的路径，该缓存节点对应的数据请求直接透传到落地数据库；当缓存节点的状态由不可用变成可用时，获取该缓存节点所管理的分片单位，路由到分片单位对应的落地数据库进行数据恢复；当检测到缓存节点数据量超负荷时，对缓存节点进行数据迁移；当接收到缓存节点的扩容请求时，对缓存节点进行数据扩容；当接收到用户请求时，获取用户请求中访问的缓存节点，根据缓存节点的节点类型进行动态路由，并根据路由结果到分片单位读取或写入数据。
【技术特征摘要】
1.一种基于动态路由的数据存储访问方法，其特征在于，包括：检测缓存节点的状态；当缓存节点的状态由可用变成不可用时，建立该缓存节点的路由路径为到落地数据库的路径，该缓存节点对应的数据请求直接透传到落地数据库；当缓存节点的状态由不可用变成可用时，获取该缓存节点所管理的分片单位，路由到分片单位对应的落地数据库进行数据恢复；当检测到缓存节点数据量超负荷时，对缓存节点进行数据迁移；当接收到缓存节点的扩容请求时，对缓存节点进行数据扩容；当接收到用户请求时，获取用户请求中访问的缓存节点，根据缓存节点的节点类型进行动态路由，并根据路由结果到分片单位读取或写入数据。2.根据权利要求1所述基于动态路由的数据存储访问方法，其特征在于，所述获取该缓存节点所管理的分片单位，路由到分片单位对应的落地数据库进行数据恢复具体包括：获取该缓存节点所管理的分片单位，访问对应的落地数据库；将该落地数据库中需要恢复的数据写入缓存节点中。3.根据权利要求1所述基于动态路由的数据存储访问方法，其特征在于，所述当检测到缓存节点数据量超负荷时，对缓存节点进行数据迁移具体包括：当缓存节点的节点类型为节点路由类型，且缓存节点的数据量超过预设的阈值时，判定缓存节点数据量超负荷，修改节点类型为非节点路由类型，获取缓存节点的分片单位；将该缓存节点的数据按照分片单位进行数据迁移。4.根据权利要求3所述基于动态路由的数据存储访问方法，其特征在于，当节点类型为节点路由类型时，采用根据节点计算的crc32算法计算分片单位，进行路由；当节点类型为非节点路由类型时，采用根据数据量计算的crc32算法计算分片单位，进行路由。5.根据权利要求3所述基于动态路由的数据存储访问方法，其特征在于，所述当接收到缓存节点的扩容请求时，对缓存节点进行数据扩容具体包括：当接收到缓存节点的扩容请求时，接收新添加的新节点和分片单位，上报扩容状态；按照分片单位扫描缓存节点，将缓存节点中需要扩容的数据写入新节点的分片单位中。6.根据权利要求5所述基于动态路由的数据存储访问方法，其特征在于，在所述按照分片单位扫描缓存节点，根据节点规...
【专利技术属性】
技术研发人员：王崇文，王丰，叶天虹，王伟，罗伟东，
申请(专利权)人：吉浦斯信息咨询深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。