数据同步方法、装置、电子设备、系统及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据同步方法、装置、电子设备、系统及存储介质，该方法包括：调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录，从全量视频记录中获取全量用户信息对应的视频记录，将全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。本实施例通过调用大数据同步工具可以一次性获取全部的用户信息和视频记录，在筛选到全量用户信息对应的视频记录后同步至第三数据库，从而实现了第三数据库中数据的快速更新，不仅节约时间也方便了不同业务的调取。时间也方便了不同业务的调取。时间也方便了不同业务的调取。

【技术实现步骤摘要】
数据同步方法、装置、电子设备、系统及存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据同步方法、装置、电子设备、系统及存储介质。

技术介绍

[0002]由于公司业务板块的增加，数据的调用越来越繁杂，例如：某项目需要调用B业务和C业务的数据，则需要B业务和C业务的数据均提供读取接口。为了解决上述问题，现有技术设立第三数据库，将公司所有业务板块下的数据同步到第三数据库，通过第三数据库提供接口同时调用所有需要的业务板块数据。
[0003]以第一数据库为例，在第一数据库，如用户上传视频作品，每个用户对应唯一的一个视频号，用户可以在该视频号下上传多个视频作品，此时，用户信息记录在第一数据库内，视频作品信息记录在第二数据库内，统计每个用户上传的视频作品总数，将其同步到第三数据库的过程中，现有技术中是通过调用第二数据库的接口来获取第二数据库的视频作品信息，因为接口存在每秒查询率(Queries per second，QPS)的限制，因此一次只能针对单个用户数据的视频作品信息进行调用，统计完该用户上传的视频作品总数后，将这一统计信息同步至第三数据库，而后选择下一个用户进行同样的操作，直到遍历结束。
[0004]然而，由于用户和视频作品不断增长，以及调用第二数据库信息的接口存在QPS的限制，使得要将所有用户及其上传的视频作品总数均同步到第三数据库的时间过长，导致数据更新不及时，影响其他业务的数据调用。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种数据同步方法、装置、电子设备、系统及存储介质，以解决要将所有用户及其上传的视频作品总数均同步到第三数据库的时间过长，导致数据更新不及时，影响其他业务的数据调用的问题。具体技术方案如下：
[0006]在本专利技术实施的第一方面，首先提供了一种数据同步方法，该方法可以包括：
[0007]调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录；
[0008]从所述全量视频记录中获取所述全量用户信息对应的视频记录；
[0009]将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。
[0010]可选地，所述调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录包括：
[0011]根据目标通信协议将所述第二数据库的所述全量视频记录发送至所述第一数据库；
[0012]调用所述大数据同步工具从所述第一数据库获取所述视频应用对应的所述全量用户信息和所述全量视频记录。
[0013]可选地，所述全量用户信息的每条用户信息都有对应的第一用户标识，所述全量
视频记录的每条视频记录都有对应的第二用户标识；
[0014]所述从所述全量视频记录中获取所述全量用户信息对应的视频记录，包括：
[0015]在检测到所述第一用户标识与所述第二用户标识一致的情况下，获取所述第二用户标识在所述全量视频记录中对应的目标视频记录；
[0016]根据所述目标视频记录生成所述全量用户信息对应的视频记录。
[0017]可选地，所述根据所述目标视频记录生成所述全量用户信息对应的视频记录，包括：
[0018]获取所述目标视频记录的全量用户标识；
[0019]将所述目标视频记录的所述全量用户标识去重后生成全量目标用户标识；
[0020]针对所述全量目标用户标识的任一目标用户标识，调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数；
[0021]在检测到所述全量目标用户标识的所述视频记录总数获取完成的情况下，根据所述全量目标用户标识、所述视频记录总数生成所述全量用户信息对应的视频记录。
[0022]可选地，所述从第二数据库获取的全量视频记录的每一条视频记录还包括：视频状态，其中，所述视频状态包括：发布成功、发布失败；
[0023]所述调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数，包括：
[0024]在检测到所述视频状态为发布成功的情况下，调用所述统计函数在所述目标用户标识统计的所述视频记录总数上加一；
[0025]在检测到所述视频状态为发布失败的情况下，保持所述目标用户标识统计的所述视频记录总数不变。
[0026]可选地，所述将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取包括：
[0027]获取所述第一数据库的二进制日志；
[0028]在检测到所述二进制日志中存在针对所述全量用户信息对应的视频记录的更新事件的情况下，将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。
[0029]可选地，所述在检测到所述二进制日志中存在针对所述全量用户信息对应的视频记录的更新事件的情况下，将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取，包括：
[0030]在检测到所述二进制日志中存在针对所述全量用户信息对应的视频记录的更新事件的情况下，将所述全量用户信息对应的视频记录发送至消息中间件；
[0031]通过所述消息中间件将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。
[0032]在本专利技术实施的第二方面，提供了一种数据同步装置，该装置可以包括：
[0033]第一模块，用于调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录；
[0034]第二模块，用于从所述全量视频记录中获取所述全量用户信息对应的视频记录；
[0035]第三模块，用于将所述全量用户信息对应的视频记录存储到第三数据库中，以便
不同业务读取。
[0036]可选地，所述第一模块还包括：
[0037]第一发送子模块，用于根据目标通信协议将所述第二数据库的所述全量视频记录发送至所述第一数据库；
[0038]第一获取子模块，用于调用所述大数据同步工具从所述第一数据库获取所述视频应用对应的所述全量用户信息和所述全量视频记录。
[0039]可选地，所述全量用户信息的每条用户信息都有对应的第一用户标识，所述全量视频记录的每条视频记录都有对应的第二用户标识；
[0040]所述第二模块还包括：
[0041]第二获取子模块，用于在检测到所述第一用户标识与所述第二用户标识一致的情况下，获取所述第二用户标识在所述全量视频记录中对应的目标视频记录；
[0042]第一生成子模块，用于根据所述目标视频记录生成所述全量用户信息对应的视频记录。
[0043]可选地，所述第一生成子模块，用于包括：
[0044]第三获取子模块，用于获取所述目标视频记录的全量用户标识；
[0045]第二生成子模块，用于将所述目标视频记录的所述全量用户标识去重后生成全量目标用户标识；
[0046]第四获取子模块，用于针对所述全量目标用户标识的任一目标用户标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录；从所述全量视频记录中获取所述全量用户信息对应的视频记录；将所述全量用户信息对应的视频记录存储到第三数据库中，以便不同业务读取。2.根据权利要求1所述的方法，其特征在于，所述调用大数据同步工具从第一数据库获取视频应用对应的全量用户信息，从第二数据库获取全量视频记录包括：根据目标通信协议将所述第二数据库的所述全量视频记录发送至所述第一数据库；调用所述大数据同步工具从所述第一数据库获取所述视频应用对应的所述全量用户信息和所述全量视频记录。3.根据权利要求1所述的方法，其特征在于，所述全量用户信息的每条用户信息都有对应的第一用户标识，所述全量视频记录的每条视频记录都有对应的第二用户标识；所述从所述全量视频记录中获取所述全量用户信息对应的视频记录，包括：在检测到所述第一用户标识与所述第二用户标识一致的情况下，获取所述第二用户标识在所述全量视频记录中对应的目标视频记录；根据所述目标视频记录生成所述全量用户信息对应的视频记录。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标视频记录生成所述全量用户信息对应的视频记录，包括：获取所述目标视频记录的全量用户标识；将所述目标视频记录的所述全量用户标识去重后生成全量目标用户标识；针对所述全量目标用户标识的任一目标用户标识，调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数；在检测到所述全量目标用户标识的所述视频记录总数获取完成的情况下，根据所述全量目标用户标识、所述视频记录总数生成所述全量用户信息对应的视频记录。5.根据权利要求4所述的方法，其特征在于，所述从第二数据库获取的全量视频记录的每一条视频记录还包括：视频状态，其中，所述视频状态包括：发布成功、发布失败；所述调用统计函数获取所述目标用户标识在所述目标视频记录包含的视频记录总数，包括：在检...

【专利技术属性】
技术研发人员：艾国信，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：