【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]随着大数据计算的发展，计算与存储分离已经成为分布式数据库发展的主流方向。将计算与存储分离，一方面能够提高计算资源扩展的灵活性，另一方面不同计算服务可以共享存储数据，减少了数据冗余，解决了数据孤岛所带来的各种问题。
[0003]计算与存储分离也存在不足之处：在计算与存储分离的方案中，元数据存储在元数据集群，计算层需要通过网络向元数据集群请求元数据，受网络带宽、网络延迟等因素的影响，元数据的远程存取效率明显低于传统的本地存储元数据的模式，进而导致的数据库运行效率的下降。一种解决该问题的方式是利用Lustre中的子树锁机制，优化锁权限和冲突访问，当有少数文件访问发生冲突时，只撤回当前目录下冲突的文件的元数据缓存，而不用将整个目录下所有文件的元数据都撤回，开销较小，提升了元数据的访问效率。然而，在数据库场景中经常需要在短时间内对同一张表、同一份数据进行反复多次读取，若采用上述方式则...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于计算与存储分离的分布式数据库系统，所述分布式数据库系统包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；在所述元数据集群一侧，所述数据处理方法包括：响应于所述元数据集群中目标元数据的变更，生成目标失效消息，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效；根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，所述失效消息订阅范围为所述计算集群对所述元数据集群中的元数据变更进行监听的范围。2.根据权利要求1所述的数据处理方法，其特征在于，所述元数据集群上部署有用于管理元数据变更的元数据服务，所述响应于所述元数据集群中元数据的变更，生成目标失效消息，包括：在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息。3.根据权利要求2所述的数据处理方法，其特征在于，所述元数据集群上还部署有用于对元数据的失效消息进行管理的失效消息服务，所述在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息，包括：在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，通过所述元数据服务将所述目标元数据的变更信息传递至所述失效消息服务；在所述失效消息服务中，根据所述目标元数据的变更信息，在失效消息队列中添加所述目标失效消息。4.根据权利要求3所述的数据处理方法，其特征在于，所述失效消息队列包含所述失效消息服务在时间周期内接收到的失效消息，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：基于所述失效消息订阅范围，通过所述失效消息服务，按照所述时间周期向所述计算集群发送所述目标失效消息。5.根据权利要求1至4任一项所述的数据处理方法，其特征在于，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群；向所述目标计算集群发送所述目标失效消息。6.根据权利要求5所述的数据处理方法，其特征在于，所述目标失效消息中包含所述目标元数据的标识，所述失效消息范围包含所述计算集群所缓存的元数据的标识，所述根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群，包括：在所述失效消息订阅范围中确定包含所述目标元数据的标识的目标范围；确定所述目标计算集群为所述目标范围对应的计算集群。7.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述根据所述计算集
群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：响应于来自目标计算集群的失效消息获取请求，根据所述目标计算集群对应的失效消息订阅范围，向所述目标计算集群发送所述目标失效消息。8.一种数据处理方法，其特征在于，应用于计算与存储分离的分布式数据库系统，所述分布式数据库系统包括...
【专利技术属性】
技术研发人员：陈晓新，吕文栋，蔡雅琼，邓宇，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。