【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质
[0001]本专利技术实施例涉及计算机应用
，尤其涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
[0002]随着互联网技术的发展，企业业务的开展主要通过线上实现，来自不同业务系统的数据均需要存储，但是部分企业的存储方式较为单一，无法兼容对不同业务系统的不同数据结构的业务数据的统一存储，因此在存储前需要对数据格式进行统一。目前，数据格式的统一主要通过人工方式实现，需要重复对数据进行导入导出，数据处理效率极低。且随着业务量的增长，数据规模也随之快速增长，数据规模也逐渐增加了数据处理的难度。
技术实现思路
[0003]本专利技术提供一种数据处理方法、装置、电子设备和存储介质，以实现数据格式的统一，可降低数据处理难度，增强数据处理效率。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，其中，该方法包括：
[0005]根据数据源配置的适配器读取业务数据；
[0006]根据所述适配器的数据规范处理所述业务数据。
...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：根据数据源配置的适配器读取业务数据；根据所述适配器的数据规范处理所述业务数据。2.根据权利要求1所述方法，其特征在于，所述根据数据源配置的适配器读取业务数据，包括以下至少之一：使用文件适配器读取文件数据源的所述业务数据；使用应用软件接口适配器读取JSON数据源的所述业务数据；使用卡夫卡适配器读取卡夫卡队列中的所述业务数据；使用长连接适配器读取长连接数据源的所述业务数据；使用短连接适配器读取短连接数据源的所述业务数据。3.根据权利要求1所述方法，其特征在于，所述根据所述适配器的数据规范处理所述业务数据，包括：为文件数据或应用软件接口数据添加主题、时间戳和数据源标识；为队列数据添加时间戳和数据源标识；为短连接数据或长连接数据添加主题、时间戳和数据源标识。4.根据权利要求1所述方法，其特征在于，还包括：将所述业务数据存储到数据记录队列以存储到数据仓库。5.根据权利要求3所述方法，其特征在于，所述规范后的所述业务数据至少包括：主题、时间戳、数据源标识和数据内容。6.一种数据处理装置，其特征在于，所述装置包括：数据读取模块，用于根据数据源配置的适配器读取业务数据；数据规范模块，用于根据所述适配器的数据规范处理所述业务...
【专利技术属性】
技术研发人员：付东洋，齐心，支涛，
申请(专利权)人：北京云迹科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。