数据传输方法及装置制造方法及图纸

本发明专利技术公开了一种数据传输方法及装置，涉及信息技术领域，解决了数据传输时无法保障双方系统之间的数据安全的问题，所述方法包括：首先当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；然后根据所述数据项列表，将所述上传数据进行保存；当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。本发明专利技术适用于数据的传输。

Data transmission method and device

The invention discloses a data transmission method and device, which relates to the field of information technology, and solves the problem that data security can not be guaranteed between the two systems when data transmission is transmitted. According to the list of the data items, the uploaded data is saved; when the data acquisition party needs to obtain the uploaded data, the uploaded data is obtained by querying the list of the data items. The invention is suitable for the transmission of data.

【技术实现步骤摘要】
数据传输方法及装置
本专利技术涉及信息
，尤其涉及一种数据传输方法及装置。
技术介绍
近些年来，随着互联网、云计算、大数据的飞速发展，数据分析的应用范围也越来越大。大数据分析系统均有获取第三方数据的实际操作和潜在需求，例如客户订单和广告转化数据、第三方人群数据等需求，通过整合第三方数据可以使得系统关联分析各类数据。目前，在分布式系统中，当数据获取方需要获取数据上传方上传的数据时，可以在双方之间建立数据传输管道，然后数据获取方通过建立的管道直接进入数据上传方的数据库获取数据。例如，有两个独立的公司A和公司B，当公司B系统需要获取公司A系统中的内部网络数据时，可以利用比较普遍的数据ETL(Extract-Transform-Load，数据抽取、转换、装载)工具Kettle，建立公司A系统与公司B系统之间的数据传输管道，来实现内部网络数据的传输。然而，数据获取方和数据上传方都可以通过建立的数据传输管道获取对方的其他数据，会造成数据泄露的风险，进而无法保障双方系统间的数据安全。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据传输方法及装置。为了达到上述目的，本专利技术主要提供如下技术方案：一方面，本专利技术提供了一种数据传输方法，该方法包括：当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；根据所述数据项列表，将所述上传数据进行保存；当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。另一方面，本专利技术提供了一种数据传输装置，该装置包括：创建单元，用于当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；保存单元，用于根据所述数据项列表，将所述上传数据进行保存；获取单元，用于当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。借由上述技术方案，本专利技术实施例提供的技术方案至少具有下列优点：本专利技术提供的一种数据传输方法及装置，首先当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；然后根据所述数据项列表，将所述上传数据进行保存；当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。与现有技术相比，本专利技术通过将数据上传方上传的数据保存在分布式系统的中间存储库中，数据获取方可以通过查询数据项列表从中间存储库中获取需要的数据，无需在数据获取方和数据上传方建立数据传输管道进行数据的传输，从而避免了双方的数据泄露，进而保障了数据获取方和数据上传方系统之间的数据安全。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种数据传输方法流程示意图；图2示出了本专利技术实施例提供的一种数据传输的流程示意图；图3示出了本专利技术实施例提供的另一种数据传输方法流程示意图；图4示出了本专利技术实施例提供的一种数据项列表创建流程示意图；图5示出了本专利技术实施例提供的一种数据写入流程示意图；图6示出了本专利技术实施例提供的一种数据传输装置结构示意图；图7示出了本专利技术实施例提供的另一种数据传输装置结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供的一种数据传输方法，如图1所示，该方法包括：101、当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表。具体地，所述步骤101可以为，当分布式系统接收到数据上传方的上传数据时，根据预设中间存储库对应的元数据信息，创建与所述上传数据对应的数据项列表。其中，为说明本专利技术实施例的处理过程，以Hadoop分布式系统为例进行描述，但不限于此，即在本专利技术实施例中，所述分布式系统可以为Hadoop分布式系统，也可以为其他存在同样特定需求的分布式系统，所述数据的数据格式可以为CSV、JSON、XML等格式。所述元数据信息可以包含数据项列表在预设中间存储库中对应的位置信息，还可以进一步包含数据源格式和限制信息、登录信息、源和目标映射信息、请求日志信息等，本专利技术实施例不做限定。所述数据项列表可以包括数据项名称，列信息，profile上传权限，和错误应对策略等信息。具体地，数据上传方通过API(ApplicationProgrammingInterface，应用程序编程接口)上传数据至Hadoop分布式系统，当分布式系统的数据码头系统接收到数据上传方的上传数据时，首先从预设中间存储库对应的元数据信息中查询中间存储库中的可用保存位置，并根据获取到的元数据信息创建与数据传输方上传的数据对应的数据项列表。102、根据所述数据项列表，将所述上传数据进行保存。其中，所述将所述上传数据进行保存可以为将所述上传数据保存到所述预设中间存储库中，而所述预设中间存储库可以为Hadoop分布式系统中间存储库。具体地，分布式系统的数据码头系统创建与数据上传方的上传数据对应的数据项列表，并将上传数据相应的写入数据项列表，然后将上传数据与对应的数据项列表保存在Hadoop分布式系统的中间存库中。103、当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。具体地，所述获取所述上传数据可以为从预设中间存储库中获取所述上传数据。对于本专利技术实施例，数据传输的流程可以如图2所示，数据上传方通过API(ApplicationProgrammingInterface，应用程序编程接口)请求上传数据至Hadoop分布式系统，当分布式系统的数据码头系统接收到数据上传方的上传数据时，数据码头系统获取中间存储库对应的元数据信息，并根据获取到的元数据信息创建与数据传输方上传的数据对应的数据项列表。本专利技术提供的一种数据传输方法，首先当分布式系统接收到数据上传方的上传数据时，根据预设中间存储库对应的元数据信息，创建与所述上传数据对应的数据项列表；然后根据所述数据项列表，将所述上传数据保存到所述预设中间存储库中；当所述分布式系统中的数据获取方需要获取所述上传数据时，通过查询所述数据项列表从所述预设中间存储库中获取所述上传数据。与现有技术相比，本专利技术通过将数据上传方上传的数据保存在分布式系统的中间存储库中，数据获取方可以通过查询数据项列表从中间存储库中获取需要的数据，无需在数据获取方和数据上传方建立数据传输管道进行数据的传输，从而避免了双方的数据泄露，进而保障了数据获取方和数据上传方系统之间的数据安全。具体的，本专利技术实施例提供了另一种数据传输方法，如图3所示，该方法包括：201、当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表。具体地，所述步骤201可以为，当分布式系统接收到数据上传方的上传数据时，根据预设中间存储库对应的元数据信息，创建与所述上传数据对应的数据项列表。其中，所述分布式系统和元数据信息的概念解释可以参考步骤101中相应本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；根据所述数据项列表，将所述上传数据进行保存；当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：当接收到数据上传方的上传数据时，创建与所述上传数据对应的数据项列表；根据所述数据项列表，将所述上传数据进行保存；当数据获取方需要获取所述上传数据时，通过查询所述数据项列表获取所述上传数据。2.根据权利要求1所述的数据传输方法，其特征在于，所述根据所述数据项列表，将所述上传数据进行保存，具体包括：将所述上传数据保存到所述数据项列表中并实时检测是否存在数据保存异常；若存在，则根据所述数据项列表中数据项包含的错误应对策略信息，调整所述上传数据的数据保存策略；根据调整后的数据保存策略进行所述上传数据的数据保存。3.根据权利要求2所述的数据传输方法，其特征在于，所述实时检测是否存在数据保存异常，具体包括：检测所述上传数据对应传入列的数量是否与所述数据项中的预定列数量匹配；若不匹配，则确定存在数据保存异常。4.根据权利要求2所述的数据传输方法，其特征在于，所述实时检测是否存在数据保存异常，具体包括：检测所述上传数据对应的数字型与所述数据项中的预定数字型是否匹配；若不匹配，则确定存在数据保存异常。5.根据权利要求1所述的数据传输方法，其特征在于，所述根据所述数据项列表，将所述上传数据进行保存之后，所述方法还包括：将保存有所述上传数据的所述数据项列表保存在预设中间存储库中，所述预设中间存储库中保存有不同上传数据分别对应的数据项列表；更新所述预设中间存储库对应的元数据信息；当接收到数据上传方的新上传数据时，根据更新后的与所述预设中间存储库对应的元数据信息，创建与所述新上传数据对应的数据项列表，以便对所述新上传数...

【专利技术属性】
技术研发人员：刘超，陈杰，方晓春，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11