数据同步方法、装置、电子设备、系统及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据同步方法、装置、电子设备、系统及存储介质，该方法包括：调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录，从全量视频记录中获取全量用户信息对应的视频记录，将全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。本实施例通过调用大数据同步工具可以一次性获取全部的用户信息和视频记录，在筛选到全量用户信息对应的视频记录后同步至第三数据库，从而实现了第三数据库中数据的快速更新，不仅节约时间也方便了不同业务的调取。时间也方便了不同业务的调取。时间也方便了不同业务的调取。

【技术实现步骤摘要】
数据同步方法、装置、电子设备、系统及存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据同步方法、装置、电子设备、系统及存储介质。

技术介绍

[0002]由于公司业务板块的增加，数据的调用越来越繁杂，例如：某项目需要调用B业务和C业务的数据，则需要B业务和C业务的数据均提供读取接口。为了解决上述问题，现有技术设立第三数据库，将公司所有业务板块下的数据同步到第三数据库，通过第三数据库提供接口同时调用所有需要的业务板块数据。
[0003]以第一数据库为例，在第一数据库，如用户上传视频作品，每个用户对应唯一的一个视频号，用户可以在该视频号下上传多个视频作品，此时，用户信息记录在第一数据库内，视频作品信息记录在第二数据库内，统计每个用户上传的视频作品总数，将其同步到第三数据库的过程中，现有技术中是通过调用第二数据库的接口来获取第二数据库的视频作品信息，因为接口存在每秒查询率(Queries per second，QPS)的限制，因此一次只能针对单个用户数据的视频作品信息进行调用，统计完该用户上传的视频作品总数后，将这一统计信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录；从所述全量视频记录中获取所述全量用户信息对应的视频记录；将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。2.根据权利要求1所述的方法，其特征在于，所述调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录包括：根据目标通信协议将所述第二数据库的所述全量视频记录发送至所述第一数据库；调用所述大数据同步工具从所述第一数据库获取所述视频应用对应的所述全量用户信息和所述全量视频记录。3.根据权利要求1所述的方法，其特征在于，所述全量用户信息的每条用户信息都有对应的第一用户标识，所述全量视频记录的每条视频记录都有对应的第二用户标识；所述从所述全量视频记录中获取所述全量用户信息对应的视频记录，包括：在检测到所述第一用户标识与所述第二用户标识一致的情况下，获取所述第二用户标识在所述全量视频记录中对应的目标视频记录；根据所述目标视频记录生成所述全量用户信息对应的视频记录。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标视频记录生成所述全量用户信息对应的视频记录，包括：获取所述目标视频记录的全量用户标识；将所述目标视频记录的所述全量用户标识去重后生成全量目标用户标识；针对所述全量目标用户标识的任一目标用户标识，调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数；在检测到所述全量目标用户标识的所述视频记录总数获取完成的情况下，根据所述全量目标用户标识、所述视频记录总数生成所述全量用户信息对应的视频记录。5.根据权利要求4所述的方法，其特征在于，所述从第二数据库获取的全量视频记录的每一条视频记录还包括：视频状态，其中，所述视频状态包括：发布成功、发布失败；所述调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数，包括：在检...

【专利技术属性】
技术研发人员：艾国信，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：