大数据统一接口方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据应用领域，提供了一种大数据统一接口方法、装置、设备及存储介质，所述方法包括：在服务数据库中建立与大数据源数据库连接的不同类型的访问接口，通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据外部请求获取与外部请求相对应的访问接口；当所述访问接口为多个时，获取所述多个访问接口的访问速度，根据访问速度获取访问接口；将外部请求输入至该访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库。本发明专利技术提供的大数据统一接口方法、装置、设备及存储介质，使外部系统在各种网络环境下都能顺利获取数据，减少对服务外部系统的数据库的影响，保证了外部系统的使用需求。

Large data unified interface method, device, device and storage medium

The invention relates to the field of large data application, providing a large data unified interface method, device, device and storage medium. The method includes: establishing a different type of access interface connected to a large data source database in a service database, and accessing access through an external interface system connected with the service data base. The external request of the service database, and the access interface corresponding to the external request according to the external request; when the access interface is multiple, the access speed of the multiple access interfaces is obtained, access interface is obtained according to the access speed, and the external request is input to the access interface to make the external interface system. The system accesses the large data source database through the access interface. The large data unified interface method, device, equipment and storage medium provided by the invention can make the external system obtain data smoothly in all kinds of network environment, reduce the influence on the database of the external service system and ensure the use of the external system.

【技术实现步骤摘要】
大数据统一接口方法、装置、设备及存储介质
本专利技术属于大数据应用领域，更具体地说，是涉及一种大数据统一接口方法、装置、设备及存储介质。
技术介绍
目前需要使用大数据的数据源时，都是通过Sqoop数据导出工具从Hadoop等大数据的数据源中导出到服务数据库，供外部系统使用。其中，Sqoop是一款用于Hadoop和关系型数据库之间数据导入导出的工具，Hadoop是一个分布式系统基础架构。当Sqoop导出的数据量较大，或者是网络比较拥堵时，就会造成导出数据超时，外部系统无法顺利获取想要的数据，并且会对服务外部系统的数据库造成影响，使数据库变得不稳定，影响其它用户的使用。另外，由于Sqoop工具只能是批量性导出，因此，当大数据的数据源发生变化时，需要重新导出数据，外部系统无法及时获得更新的数据。因此，亟待一种方法可以使外部系统访问数据时能够在网络拥堵时顺利获取数据，减少对服务外部系统的数据库的影响，保证外部系统正常的使用需求，同时也可以根据需要获取实时的数据。
技术实现思路
针对现有技术的不足，本专利技术提供一种数据统一接口方法、装置、设备及存储介质，可以在网络拥堵时顺利获取数据，减少对服务外部系统的数据库的影响，保证外部系统正常的使用需求，同时也可以根据需要获取实时的数据。本专利技术是这样实现的：本专利技术第一方面提供一种大数据统一接口方法，所述方法包括以下步骤：在服务数据库中建立与大数据源数据库连接的不同类型的访问接口；通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据所述外部请求获取与所述外部请求相对应的访问接口；当所述访问接口为多个时，获取所述多个访问接口的访问速度，根据所述访问速度获取访问接口；将所述外部请求输入至所述访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库。本专利技术第二方面提供一种大数据统一接口装置，所述接口装置包括：接口建立模块：用于在服务数据库中建立与大数据源数据库连接的不同类型的访问接口；请求获取模块：用于通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据所述外部请求获取与所述外部请求相对应的访问接口；接口选取模块：用于当所述访问接口为多个时，获取所述多个访问接口的访问速度，根据所述访问速度获取访问接口；接口访问模块：用于将所述外部请求输入至所述访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库。本专利技术第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术第一方面所述方法的步骤。本专利技术第四方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术第一方面所述方法的步骤。与现有技术相比，本专利技术提供的大数据统一接口方法、装置、设备及存储介质，通过在服务数据库中建立不同的访问接口，根据外部请求获取访问接口的访问速度，再根据访问速度获取速度最快的访问接口，将外部请求输入至速度最快的访问接口进行访问，使外部系统能够在各种网络环境下顺利获取数据，减少对服务外部系统的数据库的影响，保证了外部系统的使用需求。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的大数据统一接口方法的流程图；图2为本专利技术又一实施例提供的大数据统一接口装置的结构示意图；图3为本专利技术又一实施例提供的终端设备的结构示意图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参考图1，其示出了本专利技术实施例提供的大数据统一接口方法的流程图。大数据统一接口方法包括以下步骤：步骤S101，在服务数据库中建立与大数据源数据库连接的不同类型的访问接口。其中，服务数据库指的是一般关系型数据库，用于管理大数据源数据库的元数据信息，优选地，服务数据库为PG库(PostgreSQL，简称PG库)，PG库为对象关系型数据库管理系统，用于管理不同数据源的元数据信息、不同外部系统访问权限等。其中，大数据源数据库包括Elasticsearch、Hbase、Redis等等数据服务。由于服务数据库访问大数据时，可以有多种访问方式，因此可以在服务数据库中建立不同的访问接口，从而可以用不同的访问方式访问大数据的源数据库。具体地，在服务数据库中建立但不限于以下访问接口：建立通过实时方式访问大数据源数据库的实时访问接口，其中，实时方式是指可以获取大数据源数据库实时的数据的访问方式。可选地，建立Kafka或者Sparkstreaming等实时方式访问大数据源数据库的实时访问接口。其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，可以用于构建获取数据的实时流数据管道；Spark是是一个开源集群运算框架，使用内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算，SparkStreaming是Spark核心的扩展，支持可扩展，高吞吐量，实时数据流的容错流处理。建立通过离线方式访问大数据源数据库的离线访问接口，其中，离线方式是指获取大数据源数据库不通过网络连接更新的现有数据。可选地，建立Spark或者Hive离线方式访问大数据源数据库的离线访问接口。其中，Spark可以读取实时数据，也可以读取离线数据；Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射成一张表，并提供类似SQL的查询功能，适合离线数据分析。建立键值或者索引方式访问大数据源数据库的键值索引访问接口。其中，键值方式是指通过键值编码来访问数据，键值编码提供了一种用于访问对象属性的键值对机制，键是属性的名称，值就是属性的值；索引方式是指索引顺序访问方法(ISAM,IndexedSequentialAccessMethod)，也可以称之为索引顺序存取方法，可以连续地或者任意地记录任何访问。建立通过批量方式访问大数据源数据库的批量访问接口，其中，批量方式是指获取的数据量较大、具有批量性的数据。可选地，建立Sqoop批量方式访问大数据源数据库的批量访问接口。其中，Sqoop是一款开源的工具，主要用于在大数据源数据库与传统的关系型数据库间进行数据的传递。步骤S102，通过与服务数据库连接的外部接口系统获取访问服务数据库的外部请求，并根据外部请求获取与外部请求相对应的访问接口。外部系统需要请求数据时，首先发送请求到服务数据库，然后服务数据库根据外部请求从大数据源数据库中调取数据返回给外部系统。根据不同的使用环境和用户的需求，外部请求的数据类型也包括很多种，例如：键值数据、索引数据、清单数据和汇总数据等；因此，可以建立一个外部接口系统，对外部请求进行采集。首先，外部接口系统接收外部系统的外部请求；然后，外部接口系统根据外部请求生成一个模拟请求，通过向四个访问接本文档来自技高网...

【技术保护点】
1.一种大数据统一接口方法，其特征在于，包括以下步骤：在服务数据库中建立与大数据源数据库连接的不同类型的访问接口；通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据所述外部请求获取与所述外部请求相对应的访问接口；当所述访问接口为多个时，获取所述多个访问接口的访问速度，根据所述访问速度获取访问接口；将所述外部请求输入至所述访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库。

【技术特征摘要】
1.一种大数据统一接口方法，其特征在于，包括以下步骤：在服务数据库中建立与大数据源数据库连接的不同类型的访问接口；通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据所述外部请求获取与所述外部请求相对应的访问接口；当所述访问接口为多个时，获取所述多个访问接口的访问速度，根据所述访问速度获取访问接口；将所述外部请求输入至所述访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库。2.如权利要求1所述的大数据统一接口方法，其特征在于，所述在服务数据库中建立与大数据源数据库连接的不同类型的访问接口，包括：在服务数据库中建立以下访问大数据源数据的访问接口：通过实时方式的实时访问接口、通过离线方式访问的离线访问接口、通过键值或者索引方式访问的键值索引访问接口和通过批量方式访问的批量访问接口。3.如权利要求2所述的大数据统一接口方法，其特征在于，所述通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求，并根据所述外部请求获取与所述外部请求相对应的访问接口，包括：建立外部接口系统与所述服务数据库连接，通过所述外部接口系统获取访问所述服务数据库的外部请求；使所述外部接口系统根据所述外部请求生成一个模拟请求，通过同时向服务数据库的接口发送模拟请求到大数据源数据库，若访问接口返回数据，则判定外部请求可以通过所述访问接口进行数据的访问，将所述访问接口返回至所述外部接口系统。4.如权利要求3所述的大数据统一接口方法，其特征在于，获取所述访问接口的访问速度，根据所述访问速度获取访问接口，包括：通过所述模拟请求获取所述访问接口的访问速度，根据所述访问速度获取速度最快的访问接口。5.如权利要求4所述的大数据统一接口方法，其特征在于，所述将所述外部请求输入至所述访问接口，使所述外部接口系统通过所述访问接口访问所述大数据源数据库，包括：当将所述外部请求输入所述实时访问接口时，使所述外部接口系统通过所述实时访问接口访问所述大数据源数据库；当将所述外部请求输入所述离线访问接口时，使所述外部接口系统通过所述离线访问接口访问所述大数据源数据库；当将所...

【专利技术属性】
技术研发人员：许四平，朱子虎，戴珍，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44