数据采集方式的确定方法及装置、存储介质、电子装置制造方法及图纸

本发明专利技术提供了一种数据采集方式的确定方法及装置、存储介质、电子装置，获取待进行数据采集的数据表的表情况，其中，所述表情况至少用于指示以下之一：所述数据表的数据量，所述数据表的表字段，所述数据表的视图情况；根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式。通过本发明专利技术，解决了相关技术中，数据表的采集效率较低的问题，进而达到了在进行数据采集时，对不同的数据表情况，系统自动推荐数据采集技术，从而降低数据采集的技术门槛，提高了数据采集效率。

Determination method and device of data acquisition mode, storage medium and electronic device

【技术实现步骤摘要】
数据采集方式的确定方法及装置、存储介质、电子装置
本专利技术涉及通信领域，具体而言，涉及一种数据采集方式的确定方法及装置、存储介质、电子装置。
技术介绍
随着IT应用建设的发展，数据成为了最重要的资源，无论是接地气的业务系统、应用软件、数据中心或是高大上的云/物/移/大/智，均是以数据资源为核心，依托发挥数据价值而存在和发展。目前，虽然各行业IT发展成熟度不一致，但基本已经度过了大批量业务系统建设阶段，业务系统也经过了几年的运转，积累了不同量级的数据资源。但因早期IT业务系统的很少跨部门、跨单位、跨层级的统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，且数据资源的一致性和互用性较差，数据资源的价值无法充分发挥。基于这些问题需要建立数据采集系统将数据有机地采集起来，但由于数据表的复杂性，数据采集技术的差异性，数据采集系统无法仅使用一种数据采集技术就能满足所有数据表的采集需求。如：对数据表数据采集的技术有分布式JDBC、Spark、Sqoop，这三者针对表的不同情况又有不同配置的参数，因为情况的复杂性，在实际的数据本文档来自技高网...

【技术保护点】
1.一种数据采集方式的确定方法，其特征在于，包括：/n获取待进行数据采集的数据表的表情况，其中，所述表情况至少用于指示以下之一：所述数据表的数据量，所述数据表的表字段，所述数据表的视图情况；/n根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式。/n

【技术特征摘要】
1.一种数据采集方式的确定方法，其特征在于，包括：
获取待进行数据采集的数据表的表情况，其中，所述表情况至少用于指示以下之一：所述数据表的数据量，所述数据表的表字段，所述数据表的视图情况；
根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式。


2.根据权利要求1所述的方法，其特征在于，根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式之后，所述方法还包括：
确定所述数据采集方式所采用的采集参数。


3.根据权利要求1所述的方法，其特征在于，根据所述表情况确定对所述数据表的数据进行采集所采用的数据采集方式，包括：
在所述数据表的表数量小于预设阈值的情况下，确定所述数据采集方式为第一数据采集方式；
在所述数据表的表数量大于预设阈值的情况下，确定所述表字段中是否存在指定字段类型；
如果存在，则确定所述数据采集方式为第一数据采集方式；
如果不存在，则确定所述视图情况是否指示所述数据表采用了策略前置条件调用视图，如果是，则确定数据采集方式为第一数据采集方式；如果不是，则确定所述数据采集方式为第二数据采集方式。


4.根据权利要求2所述的方法，其特征在于，确定所述数据采集方式所采用的采集参数，包括：
在所述数据采集方式为第二数据采集方式的情况下，确定所述第二数据采集方式的切分规则至少包括以下之一：所述数据表的分区规则，所述数据表的字段索引，所述数据表的字段类型。


5.根据权利要求2所述的方法，其特征在于，确定所述数据采集方式所采用的采集参数之后，所述方法还包...

【专利技术属性】
技术研发人员：李龙飞，陈茂强，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11