数据处理系统及数据挖掘方法技术方案

本申请公开了一种数据处理系统及数据挖掘方法。其中，该系统包括：数据管理模块，用于接收待处理的数据，并对数据进行数据清洗及展示；数据处理模型创建模块，用于依据待处理的数据的类型确定机器学习模型，并对机器学习模型进行训练，得到数据挖掘模型；调度管理模块，用于将待处理的数据输入至数据挖掘模型进行处理。本申请解决了现阶段人工智能大数据处理平台结构过于复杂，使用过程中操作繁琐，并且针对金融领域的数据处理能力有限的技术问题。

【技术实现步骤摘要】
数据处理系统及数据挖掘方法
本申请涉及数据处理领域，具体而言，涉及一种数据处理系统及数据挖掘方法。
技术介绍
近年来，人工智能技术广泛发展，但在国内，人工智能技术在金融业的应用范围有限，仅仅局限在智能投顾上。而以人工智能为基础的应用技术，比如视频图形分析技术、自然语言处理技术和虚拟机器人等在金融行业具有广泛的应用前景，比如在客户交互、信用评分、贷款审批、反欺诈、账户管理和合规管理等领域。现有的人工智能大数据处理平台结构过于复杂，使用过程中操作繁琐，并且维护成本较高，并且针对金融领域的数据处理能力有限。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据处理系统及数据挖掘方法，以至少解决现阶段人工智能大数据处理平台结构过于复杂，使用过程中操作繁琐，并且针对金融领域的数据处理能力有限的技术问题。根据本申请实施例的一个方面，提供了一种数据处理系统，包括：数据管理模块，用于接收待处理的数据，并对数据进行数据清洗及展示；数据处理模型创建模块，用于依据待处理的数据的类型确定机器学习模型，并对机器学习模型进行训练，得到数据挖掘模型；调度管理模块，用于将待处理的数据输入至数据挖掘模型进行处理。可选地，数据管理模块，包括：数据加载单元，用于实现不同数据源之间数据导入/导出；数据处理单元，用于实现数据清洗及转换；数据探查展示单元，用于实现数据质量探查及结果展示。可选地，数据处理模型创建模块，包括：模型定义单元，用于根据业务需求确定所需的数据挖掘模型；数据准备单元，用于根据数据挖掘模型的业务需求准备适用于数据挖掘模型的数据；模型创建单元，用于训练数据挖掘模型；模型评估单元，用于对数据挖掘模型进行动态评估；模型发布单元，用于将数据挖掘模型供给相关系统使用；模型优化单元，用于对数据挖掘模型进行持续优化。可选地，调度管理模块，包括：配置单元，用于实现数据挖掘作业的模板化配置；运行单元，用于实现数据挖掘作业的自动保存管理；监控单元，用于实现数据挖掘作业的自动监控。可选地，数据处理系统中集成有至少一种数据挖掘算法。可选地，上述系统包括：人机交互界面，该人机交互界面中设置有可拖拽控件，每个可拖拽控件对应一种数据挖掘算法，可拖拽控件，用于接收用户的拖拽指令，并触发拖拽指令对应的数据挖掘算法。根据本申请实施例的另一方面，还提供了另一种数据处理系统，包括：挖掘工具引擎层：用于将当前流行的算法挖掘模型打包形成供调用的工具包；挖掘平台应用管理层：用于对用户进行管理；对平台的运行状态进行管理；对平台运行的数据挖掘分析作业进行调度管理；对平台内部的数据进行查询检索管理；对数据挖掘模型进行统一管理；数据就绪层：用于提供系统的配置数据，并提供统一的元数据管理。根据本申请实施例的再一方面，还提供了一种数据挖掘方法，包括：在人机交互界面中接收用户的拖拽指令；在拖拽指令的触发下，将可拖拽控件移动至指定功能模块；触发将指定功能模块采用可拖拽控件对应的数据挖掘算法进行数据挖掘。根据本申请实施例的再一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序运行时控制存储介质所在的设备执行以上的数据挖掘方法。根据本申请实施例的再一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行以上的数据挖掘算法。在本申请实施例中，以人工智能为基础的应用技术构建数据处理系统，该数据处理系统包括：挖掘工具引擎层：用于将当前流行的算法挖掘模型打包形成供调用的工具包；挖掘平台应用管理层：用于对用户进行管理；对平台的运行状态进行管理；对平台运行的数据挖掘分析作业进行调度管理；对平台内部的数据进行查询检索管理；对数据挖掘模型进行统一管理；数据就绪层：用于提供系统的配置数据，并提供统一的元数据管理，从而实现了提高了数据处理系统针对金融领域业务的数据处理能力，并且简化了数据挖掘模型的建模过程，提高了工作人员的工作效率的技术效果，进而解决了现阶段人工智能大数据处理平台结构过于复杂，使用过程中操作繁琐，并且针对金融领域的数据处理能力有限的技术问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的一种数据处理系统的结构图；图2是根据本申请实施例的一种数据管理模块的结构图；图3是根据本申请实施例的一种数据处理模型创建模块的结构图；图4是根据本申请实施例的一种调度管理模块的结构图；图5是根据本申请实施例的另一种数据处理系统的结构图；图6是根据本申请实施例的一种数据挖掘方法的流程图；图7是根据本申请实施例的另一种进行数据挖掘的流程图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请实施例，提供了一种数据处理系统的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1是根据本申请实施例的一种数据处理系统的结构图，如图1所示，该结构包括：数据管理模块10，数据处理模型创建模块12和调度管理模块14，其中，数据管理模块10，用于接收待处理的数据，并对数据进行数据清洗及展示。在本申请的一些可选的实施例中，数据管理模块10用于实现数据处理平台的数据管理，包括数据加载、数据处理、数据展示和数据探查。图2是根据本申请实施例的一种数据管理模块的结构图，如图2所示，数据管理模块10包括：数据加载单元100，用于实现不同数据源之间数据导入/导出。数据加载单元100提供统一的数据导入/导出工具。通过此工具可实现不同数据源之间数据导入/导出，支持HDFS(Hadoop分布式文件系统)、FTP(FileTransferProtocol,简称FTP，文件传输协议)、本地磁盘以及各类db数据库作为数据源，进行导入导出；同时支持结构化数据、半结构化数据和非结构化数据的导入导出。数据处理系统的数据存储和加载功能模块基于Hadoop/Spark集群，通过分布式文件系统HDFS的数据接口，提供数据整合和数据质量管理等技术，支持海量数据的快速存储和加载，数据加载单元100包括以下功能：海量数据的快速存储:基于分布式文件系统HDFS的集群本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括：数据管理模块，用于接收待处理的数据，并对所述数据进行数据清洗及展示；数据处理模型创建模块，用于依据所述待处理的数据的类型确定机器学习模型，并对所述机器学习模型进行训练，得到数据挖掘模型；调度管理模块，用于将所述待处理的数据输入至所述数据挖掘模型进行处理。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：数据管理模块，用于接收待处理的数据，并对所述数据进行数据清洗及展示；数据处理模型创建模块，用于依据所述待处理的数据的类型确定机器学习模型，并对所述机器学习模型进行训练，得到数据挖掘模型；调度管理模块，用于将所述待处理的数据输入至所述数据挖掘模型进行处理。2.根据权利要求1所述的系统，其特征在于，所述数据管理模块，包括：数据加载单元，用于实现不同数据源之间数据导入/导出；数据处理单元，用于实现数据清洗及转换；数据探查展示单元，用于实现数据质量探查及结果展示。3.根据权利要求1所述的系统，其特征在于，所述数据处理模型创建模块，包括：模型定义单元，用于根据业务需求确定所需的数据挖掘模型；数据准备单元，用于根据所述数据挖掘模型的业务需求准备适用于所述数据挖掘模型的数据；模型创建单元，用于训练所述数据挖掘模型；模型评估单元，用于对所述数据挖掘模型进行动态评估；模型发布单元，用于将所述数据挖掘模型供给相关系统使用；模型优化单元，用于对所述数据挖掘模型进行持续优化。4.根据权利要求1所述的系统，其特征在于，所述调度管理模块，包括：配置单元，用于实现所述数据挖掘作业的模板化配置；运行单元，用于实现所述数据挖掘作业的自动保存管理；监控单元，用于实现所述数据挖掘作业...

【专利技术属性】
技术研发人员：田江，邵理煜，彭强，朱良姝，王瑜，刘淼，
申请(专利权)人：中国光大银行股份有限公司，
类型：发明
国别省市：北京,11