【技术实现步骤摘要】
一种数据处理方法、装置、系统、电子设备及存储介质
[0001]本公开涉及数据处理
，尤其涉及大数据
技术介绍
[0002]在分布式缓存系统中，当分布式缓存系统中的接收模块接收到更新后的资源内容数据时，可以将更新后的资源内容数据写入一个消息中间件。写入模块可以从该消息中间件中获取更新后的资源内容数据，将本次获取到的资源内容数据写入数据库，并将获取到的资源内容数据写入另一个消息中间件，以供缓存层获取更新后的资源内容数据。
技术实现思路
[0003]本公开提供了一种数据处理方法、装置、系统、电子设备及存储介质。
[0004]根据本公开的一方面，提供了一种数据处理方法，所述方法应用于资源内容管理中心RCMC处理模块，所述方法包括：
[0005]接收RCMC接收模块发送的资源内容数据，所述资源内容数据携带消息标识NID，所述资源内容数据的NID与所述RCMC处理模块具有映射关系；
[0006]为接收到的资源内容数据的NID构造互斥锁，基于互斥锁将携带相同NID的资源内容数据依次写...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，所述方法应用于资源内容管理中心RCMC处理模块，所述方法包括：接收RCMC接收模块发送的资源内容数据，所述资源内容数据携带消息标识NID，所述资源内容数据的NID与所述RCMC处理模块具有映射关系；为接收到的资源内容数据的NID构造互斥锁，基于互斥锁将携带相同NID的资源内容数据依次写入数据库；每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中；基于所述本地队列中每条资源内容数据的NID的互斥锁，将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件，以使得缓存服务从所述第一消息中间件中获取并缓存资源内容数据。2.根据权利要求1所述的方法，其中，基于所述本地队列中每条资源内容数据的NID的互斥锁，将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件，包括：通过预设数量个线程获取所述本地队列预设窗口中的每条资源内容数据，其中，所述预设窗口中包括所述本地队列中前预设数量条资源内容数据；通过每个线程基于获取到的资源内容数据的NID的互斥锁，将获取到的资源内容数据推送至所述本地队列对应的第一消息中间件。3.根据权利要求1或2所述的方法，其中，每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中，包括：每完成对一条资源内容数据的写入，在该资源内容数据需要被写入缓存层的情况下，将该资源内容数据添加至与该资源内容数据所需被推送的第一消息中间件对应的本地队列中，其中，多个第一消息中间件与所述RCMC处理模块中的多个本地队列具有一一对应的关系。4.根据权利要求1所述的方法，其中，所述RCMC处理模块接收到的资源内容数据为：所述RCMC接收模块对获取到的资源内容数据的NID进行一致性哈希运算得到哈希值后，所确定出的与所述RCMC处理模块具有预设映射关系的哈希值对应的资源内容数据。5.根据权利要求4所述的方法，其中，所述RCMC接收模块获取到的资源内容数据来自于第二消息中间件，所述第二消息中间件用于缓存更新后的资源内容数据。6.一种数据处理装置，所述装置应用于资源内容管理中心RCMC处理模块，所述装置包括：接收单元，用于接收RCMC接收模块发送的资源内容数据，所述资源内容数据携带消息标识NID，所述资源内容数据的NID与所述RCMC处理模块具有映射关系；写入单元，用于为接收到的资源内容数据的NID构造互斥锁，基于互斥锁将携带相同NID的资源内容数据依次写入数据库；添加单元，用于每完成对一条资源内容数据的写入，将该资源内容数据添加至本地队列中；推送单元，用于基于所述本地队列中每条资源内容数据的NID的互斥锁，将所述本地队列中的资源内容数据推送至所述本地队列对应的第一消息中间件，以使得缓存服务从所述第一消息中间件中获取并缓存资源内容数据。...
【专利技术属性】
技术研发人员：任鸿翔，朱超，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。