【技术实现步骤摘要】
本申请涉及大数据，尤其涉及一种数据接入方法、系统及装置。
技术介绍
1、目前大多数数据中台通过一些工具从第三方获取数据，不支持第三方以超文本传输协议http(hypertext transfer protocol)为数据源主动推送的数据的接入，导致数据中台接入的数据存在准确性和可靠性问题，且数据接入成本较高。或者在将外部数据接入数据中台的过程中，由于各个厂商提供的应用程序接口api(application programminginterface)的差异性，每当调用新的api地址时，都需要进行代码开发，采用硬编码的方式完成数据接入，从而无法实现根据用户需求完成数据接入。
技术实现思路
1、本申请实施例提供了一种数据接入方法、系统及装置，用以实现根据用户需求，无需通过硬编码的方式，就能完成数据提供方推送的数据的接入。
2、本申请实施例提供了一种数据接入方法，所述方法包括：
3、获取用户创建的一个或多个超文本传输协议http数据源接入任务，针对每一所述接入任务，按照该接入任务配置的http数据源的连接信息，向对应的数据提供方发起数据订阅请求，所述数据订阅请求用于请求订阅该接入任务配置的一个或多个应用程序接口api提供的目标数据；
4、将预设网关接收的所述数据提供方推送的已订阅成功的一个或多个api提供的目标数据，按照对应接入任务配置的处理脚本进行处理后，缓存至预设的消息队列中；
5、当监听到所述消息队列中缓存有数据时，从所述消息队列中取出
6、通过该方法，获取用户创建的一个或多个超文本传输协议http数据源接入任务，针对每一所述接入任务，按照该接入任务配置的http数据源的连接信息，向对应的数据提供方发起数据订阅请求，所述数据订阅请求用于请求订阅该接入任务配置的一个或多个应用程序接口api提供的目标数据；将预设网关接收的所述数据提供方推送的已订阅成功的一个或多个api提供的目标数据，按照对应接入任务配置的处理脚本进行处理后，缓存至预设的消息队列中；当监听到所述消息队列中缓存有数据时，从所述消息队列中取出数据，并按照取出数据对应接入任务配置的字段映射关系，对所述取出数据进行转换，并将转换后的数据存储到对应接入任务配置的目标数据库的目标表中，从而实现根据用户需求，无需通过硬编码的方式，就能完成数据提供方推送的数据的接入。
7、在一些实施例中，所述方法还包括：
8、当接收到删除http数据源接入任务中的一个或多个任务指令时，针对每一待删除的接入任务，若该接入任务的执行状态为已执行且数据订阅状态为成功，则向对应的数据提供方发起取消数据订阅请求，停止接收该数据提供方推送的已取消订阅的api提供的目标数据。
9、通过该方法，实现根据用户需求取消订阅数据推送，防止第三方一直推送数据，避免消耗过多资源。
10、在一些实施例中，获取用户创建的一个或多个超文本传输协议http数据源接入任务之后，包括：
11、根据获取的用户创建的一个或多个http数据源接入任务配置的启动时间，针对每一所述接入任务，比对该接入任务的启动时间与当前时间，判断所述启动时间是否与当前时间相匹配，若是，向该接入任务对应的数据提供方发起数据订阅请求；
12、若否，将该接入任务提交到预设的任务调度队列中，循环遍历所述调度队列的任务列表，在循环遍历的过程中，针对任一启动时间与当前时间相匹配的接入任务，向该接入任务对应的数据提供方发起数据订阅请求。
13、通过该方法，实现根据各接入任务的启动时间，确定立即执行任务还是延时执行任务，避免任务超时。
14、在一些实施例中，当接收到删除http数据源接入任务中的一个或多个任务指令时，针对每一待删除的接入任务，若该接入任务的执行状态为待执行，则从所述调度队列的任务列表中删除对应的接入任务。
15、通过该方法，实现将不需要执行的数据接入任务从调度队列中删除，及时释放占用的资源。
16、在一些实施例中，所述向对应的数据提供方发起数据订阅请求，具体包括：
17、将本端加密后的身份信息发送给所述数据提供方进行安全校验；
18、当接收到所述数据提供方返回的校验通过结果时，根据所述数据提供方http数据获取协议参数，生成对应的请求参数，发送给所述数据提供方，用于所述数据提供方根据所述请求参数返回数据订阅成功或失败结果。
19、通过该方法，实现向数据提供方订阅数据推送服务。
20、在一些实施例中，将转换后的数据存储到对应接入任务配置的目标数据库的目标表中，包括；
21、将最新转换后的待存储数据与所述目标表中的数据进行比对，将所述目标表中已存在的数据从所述待存储数据中删除，再将剩余数据存储到所述目标表中。
22、通过该方法，实现剔除重复的数据，避免存储资源的浪费。
23、本申请实施例提供了一种数据接入系统，包括：
24、订阅模块，用于获取用户创建的一个或多个超文本传输协议http数据源接入任务，针对每一所述触发任务，按照该任务配置的http数据源的连接信息，向对应的数据提供方发起数据订阅请求，所述数据订阅请求用于请求订阅该接入任务配置的一个或多个应用程序接口api提供的目标数据；
25、接收模块，用于将预设网关接收的所述数据提供方推送的已订阅成功的一个或多个api提供的目标数据，按照对应接入任务配置的处理脚本进行处理后，缓存至预设的消息队列中；
26、存储模块，用于当监听到所述消息队列中缓存有数据时，从所述消息队列中取出数据，并按照取出数据对应接入任务配置的字段映射关系，对所述取出的数据进行转换，并将转换后的数据存储到对应接入任务配置的目标数据库的目标表中。
27、通过该系统，实现根据用户需求，无需通过硬编码的方式，就能完成数据提供方推送的数据的接入。
28、在一些实施例中，所述订阅模块还用于：
29、当接收到删除http数据源接入任务中的一个或多个任务指令时，针对每一待删除的接入任务，若该接入任务的执行状态为已执行且数据订阅状态为成功，则向对应的数据提供方发起取消数据订阅请求，并通知所述接收模块停止接收该数据提供方推送的已取消订阅的api提供的目标数据。
30、通过该系统，实现根据用户需求取消订阅数据推送，防止第三方一直推送数据，避免消耗过多资源。
31、在一些实施例中，所述系统还包括调度模块，用于：
32、根据获取的用户创建的一个或多个http数据源接入任务配置的启动时间，针对每一所述接入任务，比对该接入任务的启动时间与当前时间，判断所述启动时间是否与当前时间相匹配，若是，则将该接入任务提交给所述订阅模块，用于所述订阅模块向对应的数据提供本文档来自技高网...
【技术保护点】
1.一种数据接入方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，获取用户创建的一个或多个超文本传输协议http数据源接入任务之后，包括：
4.根据权利要求3所述的方法，其特征在于，当接收到删除http数据源接入任务中的一个或多个任务指令时，针对每一待删除的接入任务，若该接入任务的执行状态为待执行，则从所述调度队列的任务列表中删除对应的接入任务。
5.根据权利要求1所述的方法，其特征在于，所述向对应的数据提供方发起数据订阅请求，具体包括：
6.根据权利要求1所述的方法，其特征在于，将转换后的数据存储到对应接入任务配置的目标数据库的目标表中，包括；
7.一种数据接入系统，其特征在于，包括：
8.根据权利要求7所述的系统，其特征在于，所述订阅模块还用于：
9.根据权利要求7所述的系统，其特征在于，所述系统还包括调度模块，用于：
10.一种数据接入装置，其特征在于，包括：
【技术特征摘要】
1.一种数据接入方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，获取用户创建的一个或多个超文本传输协议http数据源接入任务之后，包括：
4.根据权利要求3所述的方法，其特征在于，当接收到删除http数据源接入任务中的一个或多个任务指令时，针对每一待删除的接入任务，若该接入任务的执行状态为待执行，则从所述调度队列的任务列表中删除对应的接入任务。
5...
【专利技术属性】
技术研发人员：徐凯，陆金虎，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。