数据导入方法及系统技术方案

本发明专利技术提供一种数据导入方法及系统。所述方法包括：客户端对需要导入的数据进行预处理；客户端调用封装好的服务端的写入接口，将需要导入的数据导入存储平台，其中，所述服务端封装了所述存储平台的写入接口。本发明专利技术能够实现数据导入的高扩展以及对数据的验证与权限管理。

【技术实现步骤摘要】
数据导入方法及系统
本专利技术涉及大数据
，尤其涉及一种数据导入方法及系统。
技术介绍
在大数据时代，数据的量级达到了新高度，针对海量数据的分析处理方法、计算框架等层出不穷，各种技术不断涌现。ElasticSearch作为一种高性能的分布式的搜索分析引擎，正逐渐占据了日益重要的地位。在这种背景下，数据导入作为数据存储分析处理的必要前提，在大数据时代中也正发挥着日益重要的作用。现有的针对ElasticSearch存储平台的数据导入方法主要分为两类：1、用户自由实现数据导入功能，根据特定的需求进行相应的设计分析并实现，主要调用的是ElasticSearch的RESTful接口或者客户端接口。2、用户将数据导入的需求交由第三方导入工具进行实现，用户配置好第三方导入工具的预置的参数，第三方导入工具调用ElasticSearch的RESTful接口或者客户端接口进行实现。以上两种数据导入方式，都存在相应的缺陷与问题：用户自由实现数据导入功能，用户需要根据各个数据源的接口进行独立的相关开发。比如用户需求是从oracle数据库导出数据到存储平台，就要从oracle读取数据后调用相应的RESTful或者客户端写入接口进行导入。后续如果需要从mysql数据库中导入数据到存储平台，相应地要实现读取mysql中数据后调用存储平台写入接口进行写入。这一系列导入需求的独立实现带来了很大的冗余工作量，并且每次新需求的开发都得从头开始，开发者的学习成本也很高。用户将数据导入的需求交由第三方导入工具进行实现，用户的迁移成本最低，但是用户没法自定义，必须按照第三方的导入工具设定的相应步骤进行。第三方导入工具是针对共性导入需求的，对于一些特定的导入需求，比如实现对于某个字段的过滤导入的需求，第三方的导入工具就有点捉襟见肘了。综上，上述两种方式都无法做到对数据的验证与权限管理。
技术实现思路
本专利技术提供的数据导入方法及系统，能够实现数据导入的高扩展以及对数据的验证与权限管理。第一方面，本专利技术提供一种数据导入方法，包括：客户端对需要导入的数据进行预处理；客户端调用封装好的服务端的写入接口，将需要导入的数据导入存储平台，其中，所述服务端封装了所述存储平台的写入接口。可选地，在所述客户端对需要导入的数据进行预处理之前，所述方法还包括：客户端接收用户的不同写入需求；客户端根据所述用户的不同写入需求，获取不同数据源的数据，作为需要导入的数据。可选地，所述客户端对需要导入的数据进行预处理包括：按照用户设置的数据处理方式，对需要导入的数据进行预处理。可选地，在所述将需要导入的数据导入存储平台之前，所述方法还包括：客户端按照用户设置的数据清洗规则，对需要导入的数据中的脏数据进行删除处理。可选地，所述存储平台为ElasticSearch存储平台。第二方面，本专利技术提供一种数据导入系统，包括客户端、服务端和存储平台，所述服务端封装了所述存储平台的写入接口；所述客户端，用于对需要导入的数据进行预处理，以及调用封装好的服务端的写入接口，将需要导入的数据导入存储平台。可选地，所述客户端，还用于在对需要导入的数据进行预处理之前，接收用户的不同写入需求，并根据所述用户的不同写入需求，获取不同数据源的数据，作为需要导入的数据。可选地，所述客户端，用于按照用户设置的数据处理方式，对需要导入的数据进行预处理。可选地，所述客户端，还用于在将需要导入的数据导入存储平台之前，按照用户设置的数据清洗规则，对需要导入的数据中的脏数据进行删除处理。可选地，所述存储平台为ElasticSearch存储平台。本专利技术实施例提供的数据导入方法及系统，用户可以针对特定的需求进行定制客户端开发，实现了可扩展的数据导入方案。用户可以根据提供的客户端SDK开发出不同数据源的客户端程序如：Mysql版本客户端插件，Oracle版本客户端插件。在插件的具体实现里，用户可以自定义对于数据源的数据的处理方式，比如过滤，拼接等等。用户可以实现针对不同数据的权限控制，不同的ElasticSearch只可以看到自己拥有权限的数据。附图说明图1为本专利技术实施例提供的数据导入方法的流程图；图2为本专利技术实施例提供的数据导入方法的实现框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种数据导入方法，如图1所示，所述方法包括：S11、客户端对需要导入的数据进行预处理。进一步地，在对需要导入的数据进行预处理之前，所述客户端接收用户的不同写入需求，并根据所述用户的不同写入需求，获取不同数据源的数据，作为需要导入的数据。具体地，所述客户端可以按照用户设置的数据处理方式，对需要导入的数据进行预处理。S12、客户端调用封装好的服务端的写入接口，将需要导入的数据导入存储平台，其中，所述服务端封装了所述存储平台的写入接口。在将需要导入的数据导入存储平台之前，所述客户端可以按照用户设置的数据清洗规则，对需要导入的数据中的脏数据进行删除处理。其中，所述存储平台可以为ElasticSearch存储平台，但不仅限于此。本专利技术实施例提供的数据导入方法，用户可以针对特定的需求进行定制客户端开发，实现了可扩展的数据导入方案。用户可以根据提供的客户端SDK开发出不同数据源的客户端程序如：Mysql版本客户端插件，Oracle版本客户端插件。在插件的具体实现里，用户可以自定义对于数据源的数据的处理方式，比如过滤，拼接等等。用户可以实现针对不同数据的权限控制，不同的ElasticSearch只可以看到自己拥有权限的数据。下面对本专利技术实施例数据导入方法进行详细说明。如图2所示，在存储层之上，封装了一套针对存储平台的导入架构。采用客户端/服务端的架构模式。服务端封装了一系列的ElasticSearch存储平台的写入接口，这样存储平台的写入接口对于导入任务的用户就是透明的了，用户可以看到的是封装好的服务端接口。客户端负责将相应的数据进行预处理后调用服务端的写入接口进行写入即可。在这种架构之下，用户针对不同的写入需求，无须再考虑相应的存储层接口，只须将不同数据源的数据取来后调用相同的服务写入接口即可，大大地简化了开发者的工作量与复杂度。同时，可扩展性大大提升，用户可以使用客户端的SDK进行开发，实现从不同数据源抓取数据的客户端插件。在保证高可扩展性的同时，这种方案允许用户在进行数据导入的同时进行相应的数据过滤操作，实现可定制的需求。在实现接入核心功能的基础之上，加载服务端同时可以提供权限验证以及数据清洗转换功能，这是ElasticSearch原生接口没有实现的。本专利技术实现了一个高可扩展的可定制的ElasticSearch数据导入方法及系统，封装存储层接口为数据接入服务，用户可以针对特定的需求进行定制客户端开发，实现了可扩展的数据导入方案。用户可以根据提供的客户端SDK开发出不同数据源的客户端程序如：Mysql版本客户端插件，Oracle版本客户端插件。在插件的具体实现里本文档来自技高网...

【技术保护点】
1.一种数据导入方法，其特征在于，所述方法包括：客户端对需要导入的数据进行预处理；客户端调用封装好的服务端的写入接口，将需要导入的数据导入存储平台，其中，所述服务端封装了所述存储平台的写入接口。

【技术特征摘要】
1.一种数据导入方法，其特征在于，所述方法包括：客户端对需要导入的数据进行预处理；客户端调用封装好的服务端的写入接口，将需要导入的数据导入存储平台，其中，所述服务端封装了所述存储平台的写入接口。2.根据权利要求1所述的方法，其特征在于，在所述客户端对需要导入的数据进行预处理之前，所述方法还包括：客户端接收用户的不同写入需求；客户端根据所述用户的不同写入需求，获取不同数据源的数据，作为需要导入的数据。3.根据权利要求1所述的方法，其特征在于，所述客户端对需要导入的数据进行预处理包括：按照用户设置的数据处理方式，对需要导入的数据进行预处理。4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述将需要导入的数据导入存储平台之前，所述方法还包括：客户端按照用户设置的数据清洗规则，对需要导入的数据中的脏数据进行删除处理。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述存储平台为ElasticSearc...

【专利技术属性】
技术研发人员：钟锐，郭庆，谢莹莹，宋怀明，蒋丹东，
申请(专利权)人：中科曙光国际信息产业有限公司，
类型：发明
国别省市：山东,37