多源异构数据采集方法、装置、设备、系统及存储介质制造方法及图纸

本发明专利技术公开一种多源异构数据采集方法、装置、设备、系统及存储介质，涉及多源异构数据采集技术领域，方法包括：当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；基于数据采集策略，利用数据库链接采集层采集上报数据。本发明专利技术解决了现有多源异构数据采集方法会出现多个上报数据盲目汇聚于数据库链接采集层，采集效率较低的技术问题，提高了多源异构数据的采集效率。了多源异构数据的采集效率。了多源异构数据的采集效率。

【技术实现步骤摘要】
多源异构数据采集方法、装置、设备、系统及存储介质


[0001]本专利技术涉及多源异构数据采集
，尤其涉及一种多源异构数据采集方法、装置、设备、系统及存储介质。

技术介绍

[0002]相关技术中，由采集服务器的数据库链接采集层基于系统时间片轮巡方式采集多源异构数据源的上报数据，实现多源异构数据采集。但现有多源异构数据采集方法中，会出现多个上报数据盲目汇聚于数据库链接采集层，导致数据库链接采集层采集压力过大，采集效率较低。

技术实现思路

[0003]本专利技术的主要目的在于：提供一种多源异构数据采集方法、装置、设备、系统及存储介质，旨在解决现有多源异构数据采集方法会出现多个上报数据盲目汇聚于数据库链接采集层，采集效率较低的技术问题。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]第一方面，本专利技术提供一种多源异构数据采集方法，方法包括：
[0006]当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；适配器对包括主适配器和辅助适配器；
[0007]基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；
[0008]基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；
[0009]基于数据采集策略，利用数据库链接采集层采集上报数据。
[0010]可选地，当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接之前，方法还包括：
[0011]根据至少一个异构数据源的数据源类型，注册至少一个适配器对。
[0012]可选地，基于数据采集策略，利用数据库链接采集层采集上报数据之后，方法还包括：
[0013]若异构数据源更新，则根据更新后的异构数据源的最新数据源类型，更新适配器对。
[0014]可选地，数据采集策略包括采集频率信息和采集方式信息。
[0015]可选地，基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略，包括：
[0016]基于关键元数据信息、辅助元数据信息和均衡采集策略，确定数据采集策略。
[0017]可选地，基于数据采集策略，利用数据库链接采集层采集上报数据之后，方法还包括：
[0018]基于至少一个数据采集连接，构建数据采集结果集；
[0019]基于数据采集结果集，对数据库链接采集层采集的至少一种上报数据进行访问。
[0020]第二方面，本专利技术还提供一种多源异构数据采集装置，装置包括：
[0021]链接建立模块，用于当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；适配器对包括主适配器和辅助适配器；
[0022]数据识别模块，用于基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；
[0023]策略确定模块，用于基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；
[0024]数据采集模块，用于基于数据采集策略，利用数据库链接采集层采集上报数据。
[0025]第三方面，本专利技术还提供一种多源异构数据采集设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的多源异构数据采集程序，通过多源异构数据采集程序配置为实现如上述任一项多源异构数据采集方法的步骤。
[0026]第四方面，本专利技术还提供一种多源异构数据采集系统，系统包括：
[0027]至少一个异构数据源；
[0028]如上述的多源异构数据采集设备，多源异构数据采集设备包括数据库链接采集层和至少一个适配器对，适配器对包括连接的主适配器和辅助适配器，主适配器与对应的异构数据源连接，辅助适配器与数据库链接采集层连接。
[0029]第五方面，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的多源异构数据采集方法的步骤。
[0030]本专利技术提供一种多源异构数据采集方法、装置、设备、系统及存储介质，在接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接，通过适配器对中主适配器和辅助适配器，识别异构数据源的上报数据的关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略，采集上报数据。
[0031]由此，本专利技术建立适配器对与对应的异构数据源的数据采集链接，通过适配器对中主适配器和辅助适配器，提前识别出对应的异构数据源的上报数据的元数据信息，根据元数据信息配置异构数据源的数据采集策略，使得多个异构数据源同时进行数据上报时，数据库链接采集层可以基于不同的数据采集策略分别对不同上报数据进行采集，避免了多个上报数据盲目汇聚于数据库链接采集层时，数据库链接采集层的采集压力过大，提高了多源异构数据的采集效率。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0033]图1为一示例性实施例提供的一种多源异构数据采集系统；
[0034]图2为本专利技术多源异构数据采集设备的结构示意图；
[0035]图3为本专利技术多源异构数据采集方法第一实施例的流程示意图；
[0036]图4为本专利技术多源异构数据采集装置第一实施例的模块示意图。
[0037]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0038]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0040]在本专利技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的装置或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种装置或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的装置或者系统中还存在另外的相同要素。
[0041]随着大数据、云计算和移动互联网技术的迅速发展，数据交互呈现几何级数增长。当前，数据交互主要发生在客户端及数据服务器之间。通常，大型IT系统的数据服务器需要收集多源数据，因此保障多源数据稳定上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据采集方法，其特征在于，所述方法包括：当接收到异构数据源的数据上报请求时，建立所述异构数据源与对应的适配器对的数据采集链接；所述适配器对包括主适配器和辅助适配器；基于所述数据采集链接，通过所述主适配器识别所述异构数据源对应的上报数据的关键元数据信息，通过所述辅助适配器识别所述上报数据的辅助元数据信息；基于所述关键元数据信息和所述辅助元数据信息，确定数据库链接采集层的数据采集策略；基于所述数据采集策略，利用所述数据库链接采集层采集所述上报数据。2.如权利要求1所述的方法，其特征在于，所述当接收到异构数据源的数据上报请求时，建立所述异构数据源与对应的适配器对的数据采集链接之前，所述方法还包括：根据至少一个所述异构数据源的数据源类型，注册至少一个所述适配器对。3.如权利要求1所述的方法，其特征在于，所述基于所述数据采集策略，利用所述数据库链接采集层采集所述上报数据之后，所述方法还包括：若所述异构数据源更新，则根据更新后的异构数据源的最新数据源类型，更新所述适配器对。4.如权利要求1所述的方法，其特征在于，所述数据采集策略包括采集频率信息和采集方式信息。5.如权利要求1所述的方法，其特征在于，所述基于所述关键元数据信息和所述辅助元数据信息，确定数据库链接采集层的数据采集策略，包括：基于所述关键元数据信息、所述辅助元数据信息和均衡采集策略，确定所述数据采集策略。6.如权利要求1至5任一项所述的方法，其特征在于，所述基于所述数据采集策略，利用所述数据库链接采集层采集所述上报数据之后，所述方法还包括：基于至少一个所述数据采集连接...

【专利技术属性】
技术研发人员：魏国华，乔栋，郭翔宇，贺四海，王波，孙颖飞，白晶晶，刘波，武海燕，计潇怡，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：