一种数据清洗方法及装置制造方法及图纸

本发明专利技术公开了一种数据清洗方法及装置，数据清洗方法包括：定义数据清洗模板；创建以所述数据清洗模板为基础的清洗任务；接收待清洗数据；按照所述清洗任务的要求对所述待清洗数据进行数据清洗；输出清洗结果。本发明专利技术的数据清洗方法，通过定义数据清洗模板，并依据数据清洗模板为基础创建清洗任务，能够通过多接口导入数据流并自定义数据清洗任务，进行多线程任务流转，支持多格式多接口导出清洗数据。

【技术实现步骤摘要】
一种数据清洗方法及装置
本专利技术涉及计算机领域，尤其涉及一种数据清洗方法及装置。
技术介绍
随着人工智能潮流影响，互联网金融风险管理的智能化倾向愈专利技术显。因此作为数据挖掘的基础前提，高效清洗与整合结构化数据为智能化风控提供了底层壁垒。但是，现在的数据清洗方法不能支持自定义数据清洗任务，无法进行多线程任务流转，也不支持多格式多接口导出清洗数据。因此亟需设计一种数据清洗方法及装置。在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
鉴于上述问题，提出了本专利技术说明书以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据清洗方法及装置。本专利技术说明书公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。第一方面，本专利技术说明书公开了一种数据清洗方法，包括：定义数据清洗模板；创建以所述数据清洗模板为基础的清洗任务；接收待清洗数据；按照所述清洗任务的要求对所述待清洗数据进行数据清洗；输出清洗结果。在本公开的一种示例性实施例中，其中，所述定义数据清洗模板进一步包括：存储所述数据清洗模板；所述数据清洗模板可被调用和复制。在本公开的一种示例性实施例中，其中，所述按照所述清洗任务要求清洗数据进一步包括：根据清洗任务要求按照数据清洗模板经办清洗对应数据；进行不少于一次的复核清洗。在本公开的一种示例性实施例中，其中，所述按照所述清洗任务要求清洗数据进一步包括：将所述经办清洗和所述复核清洗得到的数据分成四个维度。在本公开的一种示例性实施例中，其中，所述将所述经办清洗和所述复核清洗得到的数据分成四个维，进一步包括：确认是、疑似是、确认否、不确认四个维度。在本公开的一种示例性实施例中，其中，所述创建以所述数据清洗模板为基础的清洗任务进一步包括：设定清洗任务批次。在本公开的一种示例性实施例中，其中，所述接收待清洗数据进一步包括：通过外部系统接口或按照要求的数据格式导入待清洗数据。在本公开的一种示例性实施例中，还包括：根据自定义的查询维度，查询数据对应的清洗结果。在本公开的一种示例性实施例中，还包括：对清洗数进程和清洗结果进行可视化展示。在本公开的一种示例性实施例中，还包括：对清洗结果按照要求的格式导出。在本公开的一种示例性实施例中，其中，所述根据自定义的查询维度，查询数据对应的清洗结果还包括：对查询结果收集到的清洗信息数据进行进一步归类，并输出。第二方面，本专利技术说明书提供一种数据清洗装置，包括：模板定义模块，用于定义数据清洗模板；任务创建模块，用于创建以所述数据清洗模板为基础的清洗任务；数据接收模块，用于接收待清洗数据；数据处理模块，用于按照所述清洗任务的要求将所述待清洗数据进行数据清洗；结果输出模块，用于输出清洗结果。在本公开的一种示例性实施例中，其中所述模板定义模块进一步包括：存储单元，用于存储所述数据清洗模板；所述数据清洗模板可被调用和复制。在本公开的一种示例性实施例中，其中所述数据处理模块进一步包括：经办单元，用于根据清洗任务要求按照数据清洗模板经办清洗对应数据；复核单元，用于进行不少于一次的复核清洗。在本公开的一种示例性实施例中，其中所述数据处理模块进一步包括：分类单元，用于将所述经办清洗和所述复核清洗得到的数据分成四个维度。在本公开的一种示例性实施例中，其中所述任务创建模块进一步包括：批次设定单元，用于设定清洗任务批次。在本公开的一种示例性实施例中，其中所述数据接收模块进一步包括通过外部系统接口或按照要求的数据格式导入待清洗数据。在本公开的一种示例性实施例中，还包括：查询模块，用于根据自定义的查询维度，查询数据对应的清洗结果。在本公开的一种示例性实施例中，还包括：展示模块，用于对清洗数进程和清洗结果进行可视化展示。在本公开的一种示例性实施例中，还包括：导出模块，用于对清洗结果按照要求的格式导出。在本公开的一种示例性实施例中，其中：所述查询模块进一步包括：归类单元，用于对查询结果收集到的清洗信息数据进行进一步归类，并输出。第三方面，本专利技术说明书提供一种服务器，包括处理器和存储器：所述存储器用于存储上述任一项所述方法的程序；所述处理器被配置为用于执行所述存储器中存储的程序实现上述任一项所述方法的步骤。第四方面，本专利技术说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。本专利技术的数据清洗方法，通过定义数据清洗模板，并依据数据清洗模板为基础创建清洗任务，能够通过多接口导入数据流并自定义数据清洗任务，进行多线程任务流转，支持多格式多接口导出清洗数据。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种数据清洗方法的流程图。图2是根据另一示例性实施例示出的一种数据清洗方法的流程图。图3是根据另一示例性实施例示出的一种数据清洗装置的框图。图4是根据一示例性实施例示出的一种服务器的框图。具体实施方式上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。然而，下述的示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公本文档来自技高网...

【技术保护点】
1.一种数据清洗方法，包括：定义数据清洗模板；创建以所述数据清洗模板为基础的清洗任务；接收待清洗数据；按照所述清洗任务的要求对所述待清洗数据进行数据清洗；输出清洗结果。

【技术特征摘要】
1.一种数据清洗方法，包括：定义数据清洗模板；创建以所述数据清洗模板为基础的清洗任务；接收待清洗数据；按照所述清洗任务的要求对所述待清洗数据进行数据清洗；输出清洗结果。2.根据权利要求1所述的数据清洗方法，其中，所述定义数据清洗模板进一步包括：存储所述数据清洗模板；所述数据清洗模板可被调用和复制。3.根据权利要求1至2任一项所述的数据清洗方法，其中，所述按照所述清洗任务要求清洗数据进一步包括：根据清洗任务要求按照数据清洗模板经办清洗对应数据；进行不少于一次的复核清洗。4.根据权利要求1至3任一项所述的数据清洗方法，其中，所述按照所述清洗任务要求清洗数据进一步包括：将所述经办清洗和所述复核清洗得到的数据分成四个维度。5.根据权利要求1至4任一项所述的数据清洗方法，其中，所述将所述经办清洗和所述复核清洗得到的数据分成四个维，进一步包括：确认是、疑似是、确认否、不确认四个维度。6...

【专利技术属性】
技术研发人员：刘涛，马睿，陈阳阳，廖友生，徐明，
申请(专利权)人：上海淇馥信息技术有限公司，
类型：发明
国别省市：上海,31