本发明专利技术涉及大数据技术领域，具体公开了一种基于大数据技术的多源数据集成方法及其系统，包括，用户通过业务端处理装置发起数据查询请求；接口处理装置接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；大数据集群装置实时执行数据流，形成和存储对应的数据结果，进行数据关联；任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制。本发明专利技术可以将多个业务端与大数据系统有效结合，同时集成多个第三方数据接口，形成可供用户业务端查询数据的有效体系。形成可供用户业务端查询数据的有效体系。形成可供用户业务端查询数据的有效体系。
【技术实现步骤摘要】
一种基于大数据技术的多源数据集成方法及其系统
[0001]本专利技术涉及大数据
，具体涉及一种基于大数据技术的多源数据集成方法及其系统。
技术介绍
[0002]目前在很多领域，均需用到大数据技术，需要利用多种数据来提供信息参考以进行相关决策。同时，如今社会领域，服务越趋细化和专业化，对应地，也各自形成相应专业化的数据。
[0003]因此，当用户需要查询相关数据时，通常需要通过多种渠道途径来分别查询不同数据并对其进行整合，如此操作，无疑给用户造成不便，效率低下。
技术实现思路
[0004]为了解决现有技术中存在的难题，本专利技术的目的在于提供一种基于大数据技术的多源数据集成方法及其系统，可以将多个业务端与大数据系统有效结合，同时集成多个第三方数据接口，形成用户端查询数据的有效体系。
[0005]为实现上述目的，本专利技术采用如下方案。
[0006]一种基于大数据技术的多源数据集成方法，包括：
[0007]用户通过业务端处理装置发起数据查询请求；
[0008]接口处理装置接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；
[0009]大数据集群装置实时执行数据流，形成和存储对应的数据结果，进行数据关联；
[0010]任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制。
[0011]作为优选实施例，分析数据查询请求，建立数据关联关系，包括，判断所述数据查询请求是否有生成过数据结果，若是，则直接调取对应的数据结果，并将数据结果与所述数据查询请求进行关联；若否，则判断数据调取请求表中是否关联有相同的数据查询请求，如有，则将所述数据查询请求与数据调取请求表的相同数据查询请求进行关联；如没有，则在数据调取请求表中对应所述数据查询请求生成新的数据调取请求。
[0012]通过上述步骤，将相同的查询请求进行关联，生成一条数据调取请求，从而只需要完成一次数据调取即可满足相同数据查询请求的其他数据查询需求，从而降低数据调取资源的浪费。
[0013]进一步地，建立数据关联关系，在判断所述数据查询请求是否有生成过数据结果之前，还包括，分析所述用户是否发起过相同的数据查询请求，如是，则触发用户选择发起最新数据查询请求或者查看历史查询的数据结果；若用户选择发起最新数据查询请求，则继续判断所述数据查询请求是否有生成过数据结果；若用户选择查看历史查询的数据结果，则触发调取历史查询的数据结果；如否，则继续判断所述数据查询请求是否有生成过数
据结果。
[0014]作为优选实施例，调取历史查询的数据结果，包括，触发业务端处理装置判断是否在业务端存有所述历史查询的数据结果，若是，则触发从业务端调取数据结果并展示；若否，则触发接口处理装置向大数据集群装置请求调取所述历史查询的数据结果。
[0015]通过业务端存储从大数据集群装置调取的数据结果，便于业务端快速读取数据，同时，也减少大数据集群装置执行数据流所用的资源浪费。
[0016]进一步地，建立数据关联关系，包括，将业务端处理装置的数据查询请求表与接口处理装置的数据调取请求表进行关联；将获取到的数据与数据调取请求表中的对应数据调取请求建立关联；将数据结果与数据调取请求表中的对应数据调取请求建立关联；将数据结果通过数据调取请求表与对应的数据查询请求建立关联。
[0017]优选地，分析数据查询请求，还包括，判断用户是否获得数据查询请求的对象的授权，将授权数据与数据查询请求表中的对应数据查询请求进行关联，并通过数据查询请求表与数据调取请求表中的对应数据调取请求进行关联。
[0018]优选地，大数据集群装置筛选出数据获取成功的数据调取请求，对其关联的数据实时执行数据流，形成对应的数据结果并存储，将数据结果与对应的数据调取请求进行关联。
[0019]此外，任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制，包括，任务监测装置实时监测业务端处理装置的数据查询请求表、以及接口处理装置和大数据集群装置的数据调取请求表中标记的数据状态，根据预先设定的触发条件及其处理机制，触发对应装置执行相应的处理机制。
[0020]同时，本专利技术还提供了相应的系统来实现上述多源数据集成方法。
[0021]具体的，提供了一种基于大数据技术的多源数据集成系统，包括业务端处理装置、接口处理装置、大数据集群装置、任务监测装置和外部数据源；
[0022]业务端处理装置：供用户发起数据查询请求；
[0023]接口处理装置：接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；
[0024]大数据集群装置：实时执行数据流，形成和存储对应的数据结果，进行数据关联并进行存储；
[0025]任务监测装置：实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制；
[0026]外部数据源：提供外部数据获取渠道。
[0027]进一步地，任务监测装置实时监测业务端处理装置的数据查询请求表、以及接口处理装置和大数据集群装置的数据调取请求表中标记的数据状态，根据预先设定的触发条件及其处理机制，触发对应装置执行相应的处理机制。
[0028]本专利技术的有益效果：本专利技术提供了一种基于大数据技术的多源数据集成方法，可以将多个业务端与大数据系统有效结合，同时集成多个第三方数据接口，形成可供用户业务端查询数据的有效体系。本专利技术方案可以适用于多种不同的业务场景中，当用户需要查询各种数据时，只需通过自身业务端即可发起数据查询请求，然后由接口处理装置统一处理，选择最优的获取渠道，获得相应数据后，与相应的查询请求、数据调取请求进行关联，并
且通过大数据集群装置进行解析处理，进行数据分析、挖掘、集成、关联，ETL各类业务数据等等，并将数据结果通过接口处理装置返回给用户业务端进行展示，从而真正形成大数据系统，也利于后续对相关数据的直接调用。
附图说明
[0029]图1是本专利技术实施例的一种基于大数据技术的多源数据集成系统的示意图。
具体实施方式
[0030]为了便于本领域技术人员的理解，下面结合实施例和附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。
[0031]本专利技术实施例提供了一种基于大数据技术的多源数据集成系统，如图1所示，该系统包括业务端处理装置1、接口处理装置2、大数据集群装置3、任务监测装置4和外部数据源5。
[0032]具体的，业务端处理装置1可以是多个业务端，作为具体业务的数据接口，用户通过业务端发起数据查询请求，发起请求时可以同时带一个或多个参数；同时，业务端处理装置1还可以生成数据查询请求表，将用户发起的数据查询请求记入数据查询请求表；然后，将该数据查询请求发送给接口处理装置2；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于大数据技术的多源数据集成方法，其特征在于，包括：用户通过业务端处理装置发起数据查询请求；接口处理装置接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；大数据集群装置实时执行数据流，形成和存储对应的数据结果，进行数据关联；任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制。2.根据权利要求1所述的多源数据集成方法，其特征在于，分析数据查询请求，建立数据关联关系，包括，判断所述数据查询请求是否有生成过数据结果，若是，则直接调取对应的数据结果，并将数据结果与所述数据查询请求进行关联；若否，则判断数据调取请求表中是否关联有相同的数据查询请求，如有，则将所述数据查询请求与数据调取请求表的相同数据查询请求进行关联；如没有，则在数据调取请求表中对应所述数据查询请求生成新的数据调取请求。3.根据权利要求2所述的多源数据集成方法，其特征在于，在判断所述数据查询请求是否有生成过数据结果之前，还包括，分析所述用户是否发起过相同的数据查询请求，如是，则触发用户选择发起最新数据查询请求或者查看历史查询的数据结果；若用户选择发起最新数据查询请求，则判断所述数据查询请求是否有生成过数据结果；若用户选择查看历史查询的数据结果，则触发调取历史查询的数据结果；如否，则继续判断所述数据查询请求是否有生成过数据结果。4.根据权利要求3所述的多源数据集成方法，其特征在于，调取历史查询的数据结果，包括，触发业务端处理装置判断是否在业务端存有所述历史查询的数据结果，若是，则触发从业务端调取数据结果并展示；若否，则触发接口处理装置向大数据集群装置请求调取所述历史查询的数据结果。5.根据权利要求1所述的多源数据集成方法，其特征在于，建立数据关联关系，包括，将业务端处理装置的数据查询请求表与接口处理装置的数据调取请求表进行关联；将获取到的数据与数据调取请求表中的对应数据调取请求建立关联；...
【专利技术属性】
技术研发人员：章志容，李实，彭添才，
申请(专利权)人：东莞市盟大塑化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。