【技术实现步骤摘要】
一种元数据处理方法、装置、电子设备及存储介质
[0001]本公开涉及计算机
，具体而言，涉及一种元数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]在一些场景下，需要获取多个不同多媒体平台上承载的资源文件的元数据，来为各种服务提供数据依据，如多媒体推荐服务、多媒体搜索服务等。通常，可以利用网页抓取技术，从各个多媒体平台的网页上抓取数据，抓取技术需要进行种子设置，也即设置网页数据规范协议，抓取到的数据也是网页格式的，对于不同的多媒体平台，抓取到的数据的格式也多种多样，不利于后续的存储及使用。
技术实现思路
[0003]本公开实施例至少提供一种元数据处理方法、装置、电子设备及存储介质。
[0004]第一方面，本公开实施例提供了一种元数据处理方法，包括：
[0005]向至少一个多媒体平台发起元数据查询请求，得到各个所述多媒体平台分别反馈的结构化数据表；每个所述结构化数据表中包含对应的所述多媒体平台提供的目标资源文件的元数据；
[0006]将各个所述结构化数据表转换为待消费...
【技术保护点】
【技术特征摘要】
1.一种元数据处理方法，其特征在于，包括：向至少一个多媒体平台发起元数据查询请求，得到各个所述多媒体平台分别反馈的结构化数据表；每个所述结构化数据表中包含对应的所述多媒体平台提供的目标资源文件的元数据；将各个所述结构化数据表转换为待消费消息，并将所述至少一个多媒体平台分别对应的待消费消息存储至资源同步队列中；所述待消费消息中包含将所述结构化数据表中的元数据进行格式转换后的队列消息格式的元数据；从所述资源同步队列中依次提取各条待消费消息，将所述待消费消息中携带的元数据转换为能够被资源处理服务使用的数据消费格式下的目标元数据，并将所述目标元数据存储至信息数据库；所述信息数据库用于为资源处理服务提供需要的数据。2.根据权利要求1所述的方法，其特征在于，所述将所述待消费消息中携带的元数据转换为能够被资源处理服务使用的数据消费格式下的目标元数据，包括：基于所述待消费消息对应的目标资源文件所属的多媒体平台的数据转换规则，将所述待消费消息中携带的元数据转换为能够被资源处理服务使用的数据消费格式下的目标元数据。3.根据权利要求1或2所述的方法，其特征在于，所述从所述资源同步队列中依次提取各条待消费消息，将所述待消费消息中携带的元数据转换为能够被资源处理服务使用的数据消费格式下的目标元数据之前，还包括：对所述资源同步队列中的所述待消费消息进行数据清洗处理、和/或数据过滤处理，得到待进行所述数据消费格式转换的所述待消费消息。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于将所述目标元数据存储至所述信息数据库，生成元数据新增提示信息，并将所述元数据新增提示信息存储至资源变更队列，所述元数据新增提示信息用于触发所述资源处理服务对应的数据更新操作。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述多媒体平台中的目标资源文件状态发生变更时产生的状态变更提示信息；基于所述状态变更提示信息，更新所述信息数据库中与所述状态变更提示信息对应的资源文件的元数据。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：响应于所述信息数据库的数据变更，生成元数据变更提示信息，并将所述元数据变更提示信息存储至资源变更队列，所述元数据变更提示信息用于触发所述资源处理服务对应的数据更新操作。7.根据权利要求1所述的方法，其特征在于，在将所述目标元数据存储至信息数据库之前，所述方法还包括：对所述目标元数据进行的数据完整性检测；响应于所述数据完整性检测结果指示所述目标元数据不完整，基于从所述多媒体平台预先获取的约定数据，对所述目标元数据进行补全操作，得到补全后的目标元数据；所述将所述目标元数据存储至信息数据库，包括：在所述补全后的目标元数据存储至所述信息数据库。
8.根据权利要求1所述的方法，其特征在于，所述资源同步队列中待消费消息的存储，与所述元数据进行能够被资源处理服务使用的数据消费格式转换的过程同步执行。9.一种元数据处理装置，其特征在于，包括：查询模块，用于向至少一个多媒体平台发起元数据查询请求，得到各个所述多媒体平台分别反馈的结构化数据表；每个所述结构化数据表中包含对应的所述多媒体平台提供的目标资源文件的元数据；数据接入模块，用于将各个所述结构化数据表...
【专利技术属性】
技术研发人员：仇无悔，
申请(专利权)人：抖音视界北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。