基于Excel配置的数据采集方法、装置及计算机设备制造方法及图纸

本申请涉及一种基于Excel配置的数据采集方法、装置、计算机设备和存储介质，其中该方法包括：获取Excel中的配置文件，所述配置文件包括：本地字段名称、本地存储类型以及lambda表达式；根据所述本地字段名称和本地存储类型配置生成本地表对应的实体类；根据所述本地字段名称和lambda表达式配置生成本地字段到lambda表达式的映射关系；根据所述lambda表达式配置生成数据源查询语句；根据所述数据源查询语句查询到原始数据初始化实体；将已初始化的实体存储到数据库中。本发明专利技术通过直接做字段四则运算的lambda表达式解析，实现了对Excel中数据采集与清洗功能，提高了数据采集效率，降低了人力成本，同时也便于进行数据的横向对比。

【技术实现步骤摘要】
基于Excel配置的数据采集方法、装置及计算机设备
本专利技术涉及计算机
，特别是涉及一种基于Excel配置的数据采集方法、装置、计算机设备及存储介质。
技术介绍
目前，随着计算机技术的发展，计算机技术的应用场景越来越广泛，例如越来越多的计算机技术应用到了金融行业中，因为金融行业中涉及大量的数据处理，采用计算机技术可以提高数据处理的效率。在传统技术中，面向券商的金融类装置通常会依赖于券商的基础金融数据，而目前市面上有万德、聚源、东财等不同的数据提供商，券商选择的数据提供商各有不同。不同的数据提供商，存储同一种数据的格式、表字段名等差异很大。在传统技术中，已有很多数据采集或ETL程序，然而对多数据源的场景，主要缺点体现在：首先，由于大多是基于XML或JSON的采集配置，不便于多数据源之间的横向对比和查错。其次，由于采集过程中都是单字段采集，因此，不能在配置里直接做加减乘除运算导致后续的数据处理效率降低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种可以对接不同的数据提供商并实现高效的数据采集以及处理方法、装置、计算机设备和存储介质。一种基于Excel配置的数据采集方法，所述本文档来自技高网...

【技术保护点】
1.一种基于Excel配置的数据采集方法，所述方法包括：获取Excel中的配置文件，所述配置文件包括：本地字段名称、本地存储类型以及lambda表达式；根据所述本地字段名称和本地存储类型配置生成本地表对应的实体类；根据所述本地字段名称和lambda表达式配置生成本地字段到lambda表达式的映射关系；根据所述lambda表达式配置生成数据源查询语句；根据所述数据源查询语句查询到原始数据初始化实体；将已初始化的实体存储到数据库中。

【技术特征摘要】
1.一种基于Excel配置的数据采集方法，所述方法包括：获取Excel中的配置文件，所述配置文件包括：本地字段名称、本地存储类型以及lambda表达式；根据所述本地字段名称和本地存储类型配置生成本地表对应的实体类；根据所述本地字段名称和lambda表达式配置生成本地字段到lambda表达式的映射关系；根据所述lambda表达式配置生成数据源查询语句；根据所述数据源查询语句查询到原始数据初始化实体；将已初始化的实体存储到数据库中。2.根据权利要求1所述的基于Excel配置的数据采集方法，其特征在于，所述lambda表达式包括：单字段表达式；常量表达式；字段和字段、字段和常量的四则运算表达式；函数表达式。3.根据权利要求1所述的基于Excel配置的数据采集方法，其特征在于，所述根据所述lambda表达式配置生成数据源查询语句的步骤包括：根据所述lambda表达式配置生成SQL语句；根据所述SQL语句从MongoDB查询数据的SQL解析。4.根据权利要求1所述的基于Excel配置的数据采集方法，其特征在于，所述配置文件还包括：字典配置；在所述根据所述数据源查询语句查询到原始数据初始化实体的步骤之后还包括：根据所述字典配置对已初始化的实体进行字典类型转换。5.根据权利要求4所述的基于Excel配置的数据采集方法，其特征在于，所述字典配置包括：值到值映射关系，所述值到值映射关系记为ValueMap；数据源到ValueMap的映射关系，所述数据源到ValueMap的映射关系记为SourceMap；字典类型到SourceMap的映射关系，所述字典类型到Sou...

【专利技术属性】
技术研发人员：陈庚，
申请(专利权)人：深圳市思迪信息技术股份有限公司，
类型：发明
国别省市：广东,44