同步数据的方法和装置制造方法及图纸

本发明专利技术公开了一种同步数据的方法和装置。其中，该方法包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载。本发明专利技术解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。

Methods and devices for synchronizing data

The invention discloses a method and device for synchronizing data. The method includes: obtaining the state information of the data synchronization task; if the state information of the data synchronization task is not completed, the data synchronization request is sent; the history waiting time of the registration account for data synchronization is obtained; the data synchronization request waiting time is obtained; the waiting time is requested according to the data synchronization and the waiting time is requested. History wait time to determine the frequency of access to the registered account; access the media resources according to the access frequency of the registered account so that the data is downloaded according to the data type that is downloaded by the request. The invention solves the technical problem that the existing technology does not reasonably request tasks when synchronizing data.

【技术实现步骤摘要】
同步数据的方法和装置
本专利技术涉及数据处理
，具体而言，涉及一种同步数据的方法和装置。
技术介绍
目前，数据同步程序自动从搜索引擎，例如：百度、搜狗、360、神马等同步用户投放广告的物料数据和前一天消费数据。其中，搜索引擎提供给数据同步程序访问的API是基于Http协议的WebAPI或者WebService，使得数据同步程序为客户端去访问搜索引擎的API获取搜索引擎营销的相关数据。在现有技术中，数据同步程序根据账户信息调用媒体API(ApplicationProgrammingInterface,应用程序编程接口)获取要下载数据，媒体同时自动创建一个请求下载的任务，并把任务的ID反馈给数据同步程序。数据同步程序根据任务的ID访问媒体API获取任务的状态；其中，请求媒体API获取任务的状态时，如果有错误或者媒体数据准备未就绪时，数据同步程序根据向媒体API发送三次请求，每次请求之间间隔3秒，如果三次数据请求都失败，则数据同步程序抛出异常并提示本次下载失败的信息；如果任务状态未完成或者任务发生异常时，数据同步程序一直向媒体API循环请求直到任务状态成功为止，每次请求时间的间隔为1秒。由于账户之间的物料数据和消费数据的数据量可能有很大差异，所以媒体API在接收到数据同步程序的请求任务时生成数据消耗时间不相同；其中，针对物料数据大和消费数据大的账户，可能会出现同步错误的情况而且出现网络问题或者媒体API接口异常，数据同步程序反馈的任务状态是未完成状态，从而数据同步程序将会一直处在循环之中；按照每次请求时间间隔为1秒，因为请求次数太频繁，服务器就会访问阻塞。媒体API检测出数据同步程序太频繁的访问，也可能将访问的IP出现进行封杀。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种同步数据的方法和装置，以至少解决现有技术在同步数据时没有合理请求任务的策略的技术问题。根据本专利技术实施例的一个方面，提供了一种同步数据的方法，包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。进一步地，根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率，包括：比较数据同步请求等待时间和历史等待时间的大小；如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。进一步地，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。进一步地，在发送数据同步请求后，方法还包括：对数据同步请求等待时间进行计时；如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。进一步地，在获取数据同步任务的状态信息之前，方法还包括：获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。根据本专利技术实施例的另一方面，还提供了一种同步数据的装置，包括：第一获取模块，用于获取数据同步任务的状态信息；发送模块，用于如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；第二获取模块，用于获取注册账户进行数据同步的历史等待时间；第三获取模块，用于获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；确定模块，用于根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；访问模块，根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。进一步地，确定模块包括：比较模块，用于比较数据同步请求等待时间和历史等待时间的大小；第一确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率；其中，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；第二确定模块，用于如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；第三确定模块，用于如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率；其中，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。进一步地，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。进一步地，第三获取模块还包括：计时模块,用于对数据同步请求等待时间进行计时；处理模块,用于如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。进一步地，第一获取模块还包括：第四获取模块,用于获取数据同步任务对应的ID，以便根据ID获取数据同步任务的状态信息。在本专利技术实施例中，采用获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载，达到了在下载数据时自动配置循环等待的次数和每次请求媒体API的时间间隔的目的，从而实现了请求下载较大物料数据和较大消费数据时避免超时失败、请求死循环和频繁访问媒体API的技术效果，进而解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种同步数据的处理方法流程图；图2是根据本专利技术实施例的一种发送同步数据的访问频率与当前的数据同步请求等待时间关系图；图3是根据本专利技术实施例的一种可选的同步数据的处理方法中的部分流程图；图4是根据本专利技术实施例的一种可选的同步数据的处理方法中的部分流程图；以及图5是根据本专利技术实施例的一种可选的同步数据的装置结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做本文档来自技高网...

【技术保护点】
1.一种数据同步的方法，其特征在于，包括：获取数据同步任务的状态信息；如果所述数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，所述数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取所述注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，所述数据同步请求等待时间指发起所述数据同步请求到当前时刻所经过的时间；根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率；根据所述注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载。

【技术特征摘要】
1.一种数据同步的方法，其特征在于，包括：获取数据同步任务的状态信息；如果所述数据同步任务的状态信息为未完成状态，则发送数据同步请求，其中，所述数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取所述注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，所述数据同步请求等待时间指发起所述数据同步请求到当前时刻所经过的时间；根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率；根据所述注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载。2.根据权利要求1所述的方法，其特征在于，根据所述数据同步请求等待时间和所述历史等待时间，确定所述注册账户的访问频率，包括：比较所述数据同步请求等待时间和所述历史等待时间的大小；如果所述数据同步请求等待时间小于所述历史等待时间，则确定第一频率为所述注册账户的访问频率；其中，所述第一频率的取值大于零、且小于最大访问频率，且所述第一频率随所述数据同步请求等待时间的增加而逐步增大；如果所述数据同步请求等待时间等于所述历史等待时间，则确定最大访问频率为所述注册账户的访问频率；如果所述数据同步请求等待时间小于所述历史等待时间，则确定第二频率为所述注册账户的访问频率；其中，所述第二频率的取值大于零、且小于最大访问频率，且所述第二频率随所述数据同步请求等待时间的增加而逐步减少。3.根据权利要求2所述的方法，其特征在于，所述第一频率与所述数据同步请求等待时间成正比，所述第二频率与所述数据同步请求等待时间成反比。4.根据权利要求1所述的方法，其特征在于，在发送数据同步请求后，所述方法还包括：对数据同步请求等待时间进行计时；如果所述数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。5.根据权利要求1所述的方法，其特征在于，在获取数据同步任务的状态信息之前，所述方法还包括：获取数据同步任务对应的ID，以便根据所述ID获取数据同步任务的状态信息。6.一种同步数据的装置，其特征在于，包括：第一获取模...

【专利技术属性】
技术研发人员：张雄，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11