一种离线数据的采集方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种离线数据的采集方法、装置、设备及存储介质。方法包括：将离线数据进行拆分获得多份离线数据组，其中，每一份离线数据组小于第一预设容量；将每一份离线数据组进行类型转换获得转换后的离线数据组，其中，转换后的离线数据组符合目标数据库的存储类型要求；将每一份转换后的离线数据组进行合并获得采集数据。本实施方式中通过将大容量离线数据进行拆分处理，可以减轻数据的处理压力，避免了由于处理的数据量太大而造成的系统崩溃，并且对拆分的每一份离线数据组转换成符合目标数据库存储类型要求的数据，而无需开发人员重复编码进行转换，减少了人力消耗，从而满足了用户对离线数据采集的需求。

An off-line data acquisition method, device, equipment and storage medium

【技术实现步骤摘要】
一种离线数据的采集方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种离线数据的采集方法、装置、设备及存储介质。
技术介绍
目前行业积累了大量数据，数据的容量、种类和变化都在急剧增加，并且在进行数据处理时，为了提高数据处理的速度通常采用批处理方式进行处理。专利技术人发现现有技术中至少存在如下问题：现有获取的技术中所采用的批处理方式通常由于数据量太大而造成系统崩溃，另外所获取的离线数据的数据格式还会存在不符合实际数据库的存储类型，还需要人工对获取的数据通过编译转换成与实际数据库匹配的数据类型，因此现有的离线数据采集方式不仅存在系统崩溃的风险还需要耗费大量的人力，从而不能满足用户的实际需求。
技术实现思路
本专利技术实施例提供了一种离线数据的采集方法、装置、设备及存储介质。以实现对离线数据的有效采集。第一方面，本专利技术实施例提供了一种离线数据的采集方法，包括：将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；将每一份所述离线数据组进行类型本文档来自技高网...

【技术保护点】
1.一种离线数据的采集方法，其特征在于，包括：/n将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；/n将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；/n将每一份所述转换后的离线数据组进行合并获得采集数据。/n

【技术特征摘要】
1.一种离线数据的采集方法，其特征在于，包括：
将离线数据进行拆分获得多份离线数据组，其中，每一份所述离线数据组小于第一预设容量；
将每一份所述离线数据组进行类型转换获得转换后的离线数据组，其中，所述转换后的离线数据组符合目标数据库的存储类型要求；
将每一份所述转换后的离线数据组进行合并获得采集数据。


2.根据权利要求1所述的方法，其特征在于，所述将离线数据进行拆分获得多份离线数据组之前，还包括：
确定所述离线数据大于第二预设容量，其中，所述第二预设容量大于所述第一预设容量；
将所述离线数据进行拦截。


3.根据权利要求1所述的方法，其特征在于，所述将每一份所述离线数据组进行类型转换获得转换后的离线数据组，包括：
获取数据库配置列表，其中，所述数据库配置列表中包含每份所述离线数据组所对应的转换方式；
根据所述数据库配置列表将每一份所述离线数据组进行类型转换获得所述转换后的离线数据组。


4.根据权利要求3所述的方法，其特征在于，所述将每一份所述转换后的离线数据组进行合并获得采集数据之后，还包括：
对所述采集数据进行质量检测；
在确定所述采集数据符合所述目标数据库的标准时，将所述采集数据加载到所述目标数据库中。


5.根据权利要求3所述的方法，其特征在于，所述获取数据库配置列表之前，还包括：
采用清洗工具将每一份所述离线数据组进行清洗；
所述根据所述数据库配置列...

【专利技术属性】
技术研发人员：宋大伟，丁静，
申请(专利权)人：苏州亿歌网络科技有限公司，
类型：发明
国别省市：江苏;32