一种数据处理方法、装置、终端设备和存储介质制造方法及图纸

本申请适用于计算机技术领域，提供了一种数据处理方法、装置、终端设备和存储介质，包括：根据预设的源数据获取配置信息从数据源中获取待处理的源数据，并对所述待处理的源数据进行整合处理；根据预设的数据分析流程配置信息，对整合处理后的源数据进行数据分析处理，生成数据处理结果。本申请通过配置信息，基于有限状态自动机，实现了一种可配置化的源数据获取、数据整合、数据分析的全链路数据分析流程；一方面，能够仅通过配置信息的方式执行所需的数据获取、数据整理、数据分析流程；另一方面，能够通过不同组合的配置信息，去实现不同的数据分析流程；再一方面，能够实现对源数据获取以及对业务数据分析方法的统一管理。获取以及对业务数据分析方法的统一管理。获取以及对业务数据分析方法的统一管理。

【技术实现步骤摘要】
一种数据处理方法、装置、终端设备和存储介质


[0001]本申请属于计算机
，尤其涉及一种数据处理方法、装置、终端设备和存储介质。

技术介绍

[0002]现有的业务数据分析技术是直接从各个数据源中获取数据，将获取到的数据文件进行整理合并成源数据文件，接着每个分析师根据自身经验对这些源数据进行数据预处理及数据分析，最终得到结果数据及数据分析报告。该业务数据分析方法存在以下问题：1、每次从数据源获取数据都需要了解数据存储地方，无法做到一次性地获取所有数据，可能发生漏拿数据的情况；2.每个分析师都需要整理合并源数据文件，且数据文件格式不一，整理过程繁杂；3.每个分析师都需要根据自身经验对数据进行预处理及其他的数据校验，需要分批次执行多个数据分析流程，在业务计算规则发生变更时，对应的分析师都需要更改自己的分析流程，不能做到统一管理。
[0003]由此可见，现有的业务数据分析方法存在获取源数据的形式不一，整理源数据的过程繁杂，业务数据分析规则不能统一管理，导致数据处理效率低的问题。

技术实现思路

[0004]本申请实施例的目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据预设的源数据获取配置信息从数据源中获取待处理的源数据，并对所述待处理的源数据进行整合处理；根据预设的数据分析流程配置信息，对整合处理后的源数据进行数据分析处理，生成数据处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设的源数据获取配置信息从数据源中获取待处理的源数据，并对所述待处理的源数据进行整合处理，包括：获取预设的源数据获取配置信息中的定位点信息，所述源数据获取配置信息中的定位点信息至少包括源数据获取指令，所述源数据获取指令至少携带有源数据存储地址配置信息；根据所述源数据存储地址配置信息从数据源中获取待处理的源数据，并对所述待处理的源数据进行整合处理。3.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设的数据分析流程配置信息，对整合处理后的源数据进行数据分析处理，生成数据处理结果，包括：获取预设的数据分析流程配置信息中的定位点信息；所述数据分析流程配置信息中的定位点信息至少包括数据预处理指令以及数据分析指令，所述数据预处理指令携带有至少一种数据预处理方法配置信息；所述数据分析指令携带有至少一种数据分析方法配置信息；根据所述数据预处理方法配置信息对整合处理后的源数据进行预处理；根据所述数据分析方法配置信息对预处理后的源数据进行数据分析处理，生成数据处理结果。4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述数据预处理方法配置信息对整合处理后的源数据进行预处理，包括：根据所述数据预处理方法配置信息，对整合处理后的源数据进行均值插补预处理。5.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述数据分析方法配置信息对预处理后的源数据进行数据分析处理，生成数据处理结果，包括：基于有限状态自动机，根据所述数据分析方法配置信息对预处理后的源数据进行相关性分析处理，...

【专利技术属性】
技术研发人员：潘力，唐帆，舒钰文，谭伟健，李达超，
申请(专利权)人：广州骏伯网络科技有限公司，
类型：发明
国别省市：