一种数据下发的方法与装置制造方法及图纸

本发明专利技术提出了一种数据下发的方法，包括：查询数据中心系统待下发的任务记录，抽取任务数据并将任务数据插入临时数据表；对临时数据表中的任务数据进行分割，生成多个数据文件；将多个数据文件上传到文件存储服务系统，获取多个数据文件存储路径并将多个数据文件存储路径插入数据文件存储路径列表；以及将数据文件存储路径列表发送给下游系统。本发明专利技术还公开了一种数据下发的装置。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别地涉及一种数据下发的方法与装置。
技术介绍
在计算机
中，互联网数据是很有价值的信息，数据中心也成为一种较为重要的应用系统，在搭建数据中心应用系统时，需要考虑到数据中心的数据如何下发给下游系统，因为下游系统需要数据中心的数据作为初始化数据。因此，数据下发成为数据中心的一个很重要的功能。现有技术的做法为：当下游系统需要数据中心的数据时，一般是下游系统调用数据中心的接口，来查询需要的初始化数据，流程如图1所示。下游系统在应用部署时，需要初始化数据，例如仓库系统中的商品信息、在库序列号等数据，故下游系统需要开发相应的数据拉取功能，即从数据中心的接口查询数据，之后插入到下游系统本地数据库，此过程是由线程执行的一个循环过程，需要分页查询数据，并且需要记录查询数据的临时值，以便下次查询数据。基本上每个下游系统都需要定制开发数据拉取功能。针对现有技术存在以下缺点：工作量较大，各个下游系统需要开发出复杂的数据拉取功能来完成数据的初始化，这种方式极大的浪费了人力成本和时间成本。同时，由于下游系统需要获取数据量较大，一般一次请求的数据都在几十万的记录数，所以当下游系统达到一定规模时，接口的调用量也会快速增加，数据中心的下发压力也会随之增加，服务的性能和稳定性都很难得到保证，影响了系统的整体的使用效果。
技术实现思路
有鉴于此，本专利技术提供一种数据下发的方法，通过将下游系统数据拉取变为数据中心数据下发的方式，采用数据下发任务来规范数据下发的执行，这样下游系统的数据初始化只需要向数据中心提出下发任务，之后数据中心会异步执行数据下发，保证数据中心的稳定性，同时，由于下发的数据量较大，本专利技术采用文件系统作为中间数据存储系统，数据中心给下游系统传递的为数据文件存储标识，下游系统可以通过存储标识到文件存储系统中获取数据文件，解析后存储到下游系统的本地数据库中。本专利技术还公开了一种数据下发的装置。为实现上述目的，根据本专利技术的一个方面，提供了一种数据下发的方法，包括：查询数据中心系统待下发的任务记录，抽取任务数据并将所述任务数据插入临时数据表；对所述临时数据表中的所述任务数据进行分割，生成多个数据文件；将所述多个数据文件上传到文件存储服务系统，获取多个数据文件存储路径并将所述多个数据文件存储路径插入数据文件存储路径列表；以及将所述数据文件存储路径列表发送给下游系统。可选地，还包括：所述数据中心系统接收所述下游系统的任务提交，并且将接收的下发任务插入到所述数据中心系统的下发任务记录表中。可选地，还包括：下载所述多个数据文件并解析所述多个数据文件的内容；以及将解析后的所述多个数据文件的内容插入到所述下游系统的本地数据库中。可选地，还包括：手动输入所述数据中心系统待下发的任务记录的任务编号；以及查询与所述任务编号对应的所述数据文件存储路径，并将所述数据文件存储路径发送给所述下游系统。为实现上述目的，根据本专利技术的另一个方面，提供了一种数据下发的装置，包括：下发任务模块，用于查询数据中心系统待下发的任务记录，抽取任务数据并将所述任务数据插入临时数据表；数据文件生成模块，用于对所述临时数据表中的所述任务数据进行分割，生成多个数据文件；存储路径获取模块，用于将所述多个数据文件上传到文件存储服务系统，获取多个数据文件存储路径并将所述多个数据文件存储路径插入数据文件存储路径列表；以及发送模块，用于将所述数据文件存储路径列表发送给下游系统。可选地，还包括：任务接收模块，用于所述数据中心系统接收所述下游系统的任务提交，并且将接收的下发任务插入到所述数据中心系统的下发任务记录表中。可选地，还包括：数据文件处理模块，用于下载所述多个数据文件并解析所述多个数据文件的内容；以及数据库插入模块，用于将解析后的所述多个数据文件的内容插入到所述下游系统的本地数据库中。可选地，还包括：任务编号输入模块，用于手动输入所述数据中心系统待下发的任务记录的任务编号；以及任务编号查询模块，用于查询与所述任务编号对应的所述数据文件存储路径，并将所述数据文件存储路径发送给所述下游系统。根据本专利技术的技术方案，本专利技术提出了一种数据下发的方法，通过将下游系统数据拉取变为数据中心数据下发的方式，采用数据下发任务来规范数据下发的执行，这样下游系统的数据初始化只需要向数据中心提出下发任务，之后数据中心会异步执行数据下发，保证数据中心的稳定性，同时，由于下发的数据量较大，本专利技术采用文件系统作为中间数据存储系统，数据中心给下游系统传递的为数据文件存储标识，下游系统可以通过存储标识到文件存储系统中获取数据文件，解析后存储到下游系统的本地数据库中。本专利技术还公开了一种数据下发的装置。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是现有技术中数据获取的流程图；图2是根据本专利技术实施例的一种数据下发的方法的步骤流程图；图3是根据本专利技术实施例的一种数据下发的方法中的数据抽取调度流程图；图4是根据本专利技术实施例的一种数据下发的方法中下发任务接收流程图；图5是根据本专利技术实施例的一种数据下发的方法中的数据文件生成调度流程图；图6是根据本专利技术实施例的一种数据下发的方法中的文件路径下发流程图；图7是根据本专利技术实施例的另一种数据下发的方法中的文件路径下发流程图；图8是根据本专利技术实施例的一种数据下发的方法中的文件路径手动下发流程图；图9是本专利技术的具体方案示例图；以及图10是根据本专利技术实施例的一种数据下发的装置的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施方式做出说明，其中包括本专利技术实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。如图2所示，本专利技术实施例的一种数据下发的方法的步骤流程图。具体步骤如下：步骤S1：查询数据中心系统待下发的任务记录，抽取任务数据并将任务数据插入临时数据表。具体地，数据抽取调度线程查询数据中心系统待下发的任务记录，获取与待下发的任务记录对应的查询参数，进一步地，查询并获取相应的任务数据，并将任务数据插入到临时数据表中。如图3所示。由此，通过采用下发任务的方式，实现了对数据中心系统下发数据的灵活性与高效性。进一步地，本专利技术提出的一种数据下发的方法，在查询数据中心系统待下发的任务记录之前还包括：数据中心系统接收下游系统的任务提交，并且将接收的下发任务插入到数据中心系统的下发任务记录表中。具体地，根据任务提交中的请求参数到数据库中执行任务查询，判断是否存在任务，若存在，则下游系统任务接收成功；若不存在，则将任务插入数据中心系统的数据库中。如图4所示。其中，请求参数包括：查询参数以及接口参数。本专利技术中的查询参数具体可包括：数据查询配送中心、仓库、商品、序列号等信息，同时，还包括数据下发时的信息，例如，下发给下游系统标识、配送中心和仓库等标识，进一步地，还包括任务编号，且任务编号可以有效防止重复调用接口造成数据重复的问题，具有执行任务的简捷性与高效性。步骤S2：对临时数据表中的任务数据进行分割，生成多个数据文件本文档来自技高网...

【技术保护点】
一种数据下发的方法，其特征在于，包括步骤：查询数据中心系统待下发的任务记录，抽取任务数据并将所述任务数据插入临时数据表；对所述临时数据表中的所述任务数据进行分割，生成多个数据文件；将所述多个数据文件上传到文件存储服务系统，获取多个数据文件存储路径并将所述多个数据文件存储路径插入数据文件存储路径列表；以及将所述数据文件存储路径列表发送给下游系统。

【技术特征摘要】
1.一种数据下发的方法，其特征在于，包括步骤：查询数据中心系统待下发的任务记录，抽取任务数据并将所述任务数据插入临时数据表；对所述临时数据表中的所述任务数据进行分割，生成多个数据文件；将所述多个数据文件上传到文件存储服务系统，获取多个数据文件存储路径并将所述多个数据文件存储路径插入数据文件存储路径列表；以及将所述数据文件存储路径列表发送给下游系统。2.根据权利要求1所述的方法，其特征在于，还包括：所述数据中心系统接收所述下游系统的任务提交，并且将接收的下发任务插入到所述数据中心系统的下发任务记录表中。3.根据权利要求1所述的方法，其特征在于，还包括：下载所述多个数据文件并解析所述多个数据文件的内容；以及将解析后的所述多个数据文件的内容插入到所述下游系统的本地数据库中。4.根据权利要求1所述的方法，其特征在于，还包括：手动输入所述数据中心系统待下发的任务记录的任务编号；以及查询与所述任务编号对应的所述数据文件存储路径，并将所述数据文件存储路径发送给所述下游系统。5.一种数据下发的装置，其特征在于，包括：下发任务模块，用于查询数据中心系统待下发的任务记录，...

【专利技术属性】
技术研发人员：韩松，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11