【技术实现步骤摘要】
数据处理方法、装置及系统
[0001]本专利技术涉及大数据
，具体涉及一种数据处理方法、装置及系统。
技术介绍
[0002]目前，大数据纳管需要事先登记表结构等信息提前生成入湖表，且纳管过程是通过读取数据、从对方服务器发送的事先登记好的文件内容来实现的，这导致各应用已纳管的表对应的表结构变更时，无法实时同步至大数据仓库，产生了纳管报错的问题，同时，由于传输文件存在大小限制，也无法应付数据量指数激增导致的文件过大的情况，导致了文件无法传输。
技术实现思路
[0003]有鉴于此，本专利技术提供一种数据处理方法、装置及系统，以解决上述提及的至少一个问题。
[0004]根据本专利技术的第一方面，提供一种数据处理方法，所述方法包括：
[0005]响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；
[0006]根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件；
[0007]根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件；根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件；在执行数据纳管操作之前，根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。2.根据权利要求1所述的方法，其特征在于，将获取的源数据生成至少一个二进制文件之后，所述方法还包括：将所述至少一个二进制文件通过文件传输协议传输至所述数据纳管系统。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先生成数据索引信息，所述数据索引信息包括：表结构字段信息；根据所述数据索引信息对所述数据库执行查询操作。4.根据权利要求1所述的方法，其特征在于，将获取的源数据生成至少一个二进制文件之后，所述方法还包括：根据所述至少一个二进制文件的文件大小生成该至少一个二进制文件的校验文件。5.根据权利要求1所述的方法，其特征在于，根据预定的单个文件大小，将获取的源数据生成至少一个二进制文件包括：根据预定的单个文件大小，将获取的源数据按照预定序号依次生成多个二进制文件。6.根据权利要求1所述的方法，其特征在于，根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置之后，所述方法还包括：根据所述拼接文件更新所述数据映射信息。7.一种数据处理装置，其特征在于，所述装置包括：源数据获取单元，用于响应于源数据表结构更新，根据预定的表结构字段信息获取存储在数据库中的源数据；二进制文件生成单元，用于根据预定的单个文件大小，将获取的源数据生成至少一个二进制...
【专利技术属性】
技术研发人员：邓华丰，廖宸，阮文浩，郭润文，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。