一种多类型接入数据源的通用数据处理架构设计方法技术

本申请涉及一种多类型接入数据源的通用数据处理架构设计方法，通过构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。使得处理多类型语言数据源的架构系统能够兼容接入不同类型的数据源，通过枚举方式进行架构设计，使得处理系统能够在接入时，不需要对服务进行重新构建和发布，节省用户、厂商研发时间和研发成本。厂商研发时间和研发成本。厂商研发时间和研发成本。

【技术实现步骤摘要】
一种多类型接入数据源的通用数据处理架构设计方法


[0001]本公开涉及数据处理
，尤其涉及一种多类型接入数据源的通用数据处理架构设计方法、适用于多类型接入数据源的通用数据处理架构、通用数据处理方法、装置及数据处理系统。

技术介绍

[0002]在一些业务场景中，需要用到多种数据源的情况，比如，在一些语言数据翻译、解析场景下，不同的客户，可能使用不同的数据库进行多类型数据源的解析处理、数据库执行等操作，比如常用的数据库有MySQL、Oracle等，以及一些其他的国产数据库。
[0003]现有技术中，通常多种数据源的业务处理方式，是通过布置的一对一的数据进行执行操作的。如公开号为CN112506888A的专利技术专利公开了一种基于HDFS不同数据源的数据处理方法，通过将在大数据集群中的不同节点中，部署应对不同的引擎，对不同类型的数据源实现在同一个大数据集群中处理不同类型的数据的需求。虽然该方案采用了在大数据集群中部署的不同的引擎应对不同类型的数据源，但是该方案并未公开实现不同类型数据源的处理构架，数据源在接入时，还需要对服务进行重新构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，包括如下步骤：构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。2.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中，包括：预设枚举原则；根据所述枚举原则，建立不同数据源的类型枚举子集，并将所有的所述数据源的类型枚举子集，集合为所述类型枚举集；将所述类型枚举集进行预处理，预处理后保存在所述类型解析层中。3.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中，包括：基于所述类型枚举集，获取所述类型枚举集中的数据源类型；配置若干与所述数据源类型相对应的方言解析器，并将所配置的所述方言解析器与对应的所述数据源类型进行关联绑定；将关联绑定后的所述方言解析器配置进行预处理，并保存在所述方言解析层中。4.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中，包括：基于所述类型枚举集，获取所述类型枚举集中的数据源类型；配置若干与所述数据源类型相对应的数据库，并在所述数据库上设定与所述数据源类型相匹配的连接参数和数据库名，完成数据库配置；将配置好的所述数据库进行预处理，并保存在储存层中。5.一种适用于多类型接入数据源的通用数据处理架构，其特征在于，所述通用数据处理架构根据权利要求1
‑
4中任一项所述的多类型接入数据源的通用数据处理架构设计方法进行构建。6.基于权利要求1
‑
4中任一项所述的一种多类型接入数据源的通用数据处理架构设计方法的通用数据处理方法，其特征在于，包括：获取语言解析请求信息并上传至类型解析层；通过所述类型解析层对所述语言解析请求信息进行解析，获...

【专利技术属性】
技术研发人员：许飞，陈波，宋杨，秦钢，花京武，
申请(专利权)人：杭州指令集智能科技有限公司，
类型：发明
国别省市：