数据采集方法、数据采集系统和非易失性计算机存储介质技术方案

本发明专利技术公开一种数据采集方法。数据采集方法包括：从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式；通过适配的连接方式从第三方数据库获取源数据；及转换源数据为目标数据并保存在数据库中。本发明专利技术还公开一种数据采集系统和计算机可读存储介质。本发明专利技术实施方式的数据采集方法、数据采集系统和计算机可读存储介质根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配应用程序编程接口网关不同的多个第三方数据库，将多个API网关不同的第三数据库的源数据转换为目标数据并保存到数据库，从而实现多个第三方数据库和数据采集系统的数据库的数据共享。

Data Acquisition Method, Data Acquisition System and Non-volatile Computer Storage Media

【技术实现步骤摘要】
数据采集方法、数据采集系统和非易失性计算机存储介质
本专利技术涉及通信
，特别涉及一种用于采集第三方数据库的数据的数据采集方法、数据采集系统和非易失性计算机可读存储介质。
技术介绍
现有的各种平台的数据库都是独立的没有统一标准的应用程序编程接口(ApplicationProgrammingInterface，API)网关，例如，第三方平台自有的数据库、公开的电商平台的数据库、及公开的信息平台的数据库等不同平台的数据库的API网关一般不同，API网关不同的数据库无法获取彼此的数据，因此无法实现数据共享。
技术实现思路
本专利技术的实施例提供了一种用于采集第三方数据库的数据的数据采集方法、数据采集系统和非易失性计算机可读存储介质，以实现多个第三方数据库和数据采集系统的数据库的数据共享。本专利技术实施方式的用于采集第三方数据库的数据的数据采集方法包括以下步骤：从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式；通过所述适配的连接方式从所述第三方数据库获取源数据；及转换所述源数据为目标数据并保存在数据库中。本专利技术实施方式的数据采集系统包括数据库和处理器，所述处理器用于从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式、通过所述适配的连接方式从所述第三方数据库获取源数据、及转换所述源数据为目标数据并保存在所述数据库中。本专利技术实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行所述数据采集方法。本专利技术实施方式的数据采集方法、数据采集系统和非易失性计算机可读存储介质根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配应用程序编程接口网关不同的多个第三方数据库，将多个应用程序编程接口网关不同的第三数据库的源数据转换为目标数据并保存到数据库，从而实现多个第三方数据库和数据采集系统的数据库的数据共享。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术某些实施方式的数据采集方法的流程示意图。图2是本专利技术某些实施方式的数据采集系统的模块示意图。图3是本专利技术某些实施方式的数据采集方法的原理示意图。图4是本专利技术某些实施方式的数据采集方法的流程示意图。图5是本专利技术某些实施方式的数据采集方法的场景示意图。图6是本专利技术某些实施方式的数据采集方法的流程示意图。图7是本专利技术某些实施方式的数据采集方法的场景示意图。图8和图9是本专利技术某些实施方式的数据采集方法的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，本专利技术实施方式的数据采集方法包括以下步骤：012：从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式；014：通过适配的连接方式从第三方数据库获取源数据；及016：转换源数据为目标数据并保存在数据库中。请参阅图2，本专利技术实施方式的数据采集系统100包括数据库10和处理器20，处理器20用于从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式、通过适配的连接方式从第三方数据库获取源数据、及转换源数据为目标数据并保存在数据库10中。也即是说，本专利技术实施方式的数据采集方法可以由本专利技术实施方式的数据采集系统100实现，其中，步骤012、步骤014和步骤016可以处理器20实现具体地，请结合图3，数据采集系统100还包括存储器30，数据库10设置在存储器30中，多种预设的连接方式保存在存储器30中。数据采集系统100可根据第三方数据库的API网关类型选择适配的连接方式进行通信连接，其中，第三方数据库指的是数据采集系统100之外的第三方平台的数据库，例如第三方数据库可以是用友ERP的数据库、天猫商城的数据库、京东商城的数据库等。例如，用友ERP平台的API网关类型为数据库连接类型(例如，数据库连接类型为(JavaDataBaseConnectivity，JDBC))，则数据采集系统100采用数据库连接方式与用友ERP的数据库连接；再例如，天猫商城的API网关类型为超文本传输协议(HyperTextTransferProtocol，HTTP)连接，则数据采集系统100采用HTTP连接方式与天猫商城的数据库连接；再例如，京东商城的API网关类型为长连接套接字协议连接(例如，API网关类型为Socket连接)，则数据采集系统100采用长连接套接字协议连接方式与京东商城的数据库连接。数据采集系统100首先请求第三方数据库的API网关，然后根据第三方数据库的API网关类型选择一种与第三方数据库的API网关类型适配的连接方式以连接第三方数据库，在数据采集系统100通过适配的连接方式和第三方数据库连接后，数据采集系统100可以从第三方数据库获取源数据。最后，数据采集系统100将源数据转换为目标数据并保存在数据库10中。本专利技术实施方式的数据采集方法根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配API网关不同的多个第三方数据库，将多个API网关不同的第三数据库的源数据转换为目标数据并保存到数据库10，从而实现多个第三方数据库和数据采集系统100的数据库10的数据共享。在某些实施方式中，多种预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。具体地，多种预设连接方式包括数据库连接和超文本传输协议连接；或者，多种预设连接方式包括数据库连接和长连接套接字协议连接；或者，多种预设连接方式包括超文本传输协议连接和长连接套接字协议连接；或者，多种预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接。多种预设连接方式可根据需要进行连接的第三方数据库的API网关进行确定，例如，当需要连接以采集源数据的两个第三方数据库的API网关分别包括数据库接口和HTTP接口时，数据采集系统100通过数据库连接方式连接其中一个包括数据库接口的第三方数据库，通过HTTP连接方式连接另一个包括HTTP接口的第三方数据库，可以理解，数据采集系统100既可以单独与其中一个第三方数据库连接，也可以同时连接两个第三方数据库，在此不做限制。如此，可以保证数据采集系统100可以获取到多个API网关不同的第三方数据库的源数据。请参阅图4，在某些实施方式中，数据采集方法还包括以下步骤：0131：根据扩特兹公式框架设定定时触发时间；步骤014包括以下步骤：0141：在定时触发时间后通过适配的连接方式从第三方数据库获取源数据。请再次参阅图2，在某些实施方式中，处理器20还用于根据扩特兹公式框架设定定时触发时间、及在定时触发时间后通本文档来自技高网...

【技术保护点】
1.一种用于采集第三方数据库的数据的数据采集方法，其特征在于，所述数据采集方法包括：从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式；通过所述适配的连接方式从所述第三方数据库获取源数据；及转换所述源数据为目标数据并保存在数据库中。

【技术特征摘要】
1.一种用于采集第三方数据库的数据的数据采集方法，其特征在于，所述数据采集方法包括：从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式；通过所述适配的连接方式从所述第三方数据库获取源数据；及转换所述源数据为目标数据并保存在数据库中。2.根据权利要求1所述的数据采集方法，其特征在于，多种所述预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。3.根据权利要求1所述的数据采集方法，其特征在于，所述数据采集方法还包括：根据扩特兹公式框架设定定时触发时间；所述通过所述适配的连接方式从所述第三方数据库获取源数据，包括：在所述定时触发时间后通过所述适配的连接方式从所述第三方数据库获取源数据。4.根据权利要求1所述的数据采集方法，其特征在于，所述数据采集方法还包括：设置自定义调用方法；所述通过所述适配的连接方式从所述第三方数据库获取源数据，包括：在所述自定义调用方法被调用时通过所述适配的连接方式从所述第三方数据库获取源数据。5.根据权利要求1所述的数据采集方法，其特征在于，所述转换所述源数据为目标数据并保存在数据库中，包括：根据所述源数据的数据格式使用对应的转换框架将所述源数据转换为集合对象；遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据；及保存所述目标数据到所述数据库。6.根据权利要求5所述的数据采集方法，其特征在于，所述源数据对应的集合对象包括源字段，所述目标数据包括目标字段，所述转换所述源数据为目标数据并保存在数据库中，还包括：在所述源字段与所述目标字段不匹配时，过滤所述集合对象中与所述源字段对应的数据；所述遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据，包括：遍历过滤后...

【专利技术属性】
技术研发人员：石军，
申请(专利权)人：安徽同徽网络技术有限公司，
类型：发明
国别省市：安徽,34