一种多CSV文件的合并和校验的方法及系统技术方案

本发明专利技术涉一种多CSV文件的合并和校验的方法及系统，用于实现：对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；将多个CSV文件根据检查配置进行转换合并处理，生成单个CSV文件；用于对得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。本发明专利技术的有益效果为：做到单表、多表两种情况的规则校验，实现简单化、可配置、报告化，提高了多表关联查找、导出及校验的效率。

A method and system for merging and verifying multiple CSV files

【技术实现步骤摘要】
一种多CSV文件的合并和校验的方法及系统
本专利技术涉及一种多CSV文件的合并和校验的方法及系统，属于计算机游戏领域。
技术介绍
业务上有类需求，需要校验csv形式的文件，如校验文件指定列必须为整数，指定列必须不能为空，指定列必须在指定范围等等规则。针对这些规则的校验，业界通常使用goodtables-py来实现这一功能。goodtables-py是一个用于验证表格数据的开源框架。它可以检查你的数据的结构，比如所有行的列数相同，所有日期均有效，没有空行，没有空头，等等。但goodtables-py的最大弊端在于不能支持多表，即多个csv文件的规则检查。而实际业务情况下，两张表甚至更多表的联合检查，是经常遇到的。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供了一种多CSV文件的合并和校验的方法及系统。本专利技术的技术方案包括一种多CSV文件的合并和校验的方法，其特征在于，该方法包括以下步骤：S10，对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；S20，将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；S30，用于对所述S20得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。根据所述的多CSV文件的合并和校验的方法，其中步骤S10具体包括：对接入进行检查的CSV文件数进行识别，若为单个CSV文件则直接调用检查接口进行文件检查；若为多个CSV文件，则根据多个CSV的检查请求创建对应的检查配置。根据所述的多CSV文件的合并和校验的方法，其中该方法还包括对执行检查后多个CSV文件的关联合并后的单表，以及，对单个CSV文件的单表进行逻辑检查。根据所述的多CSV文件的合并和校验的方法，其中检查接口为GoodTables。根据所述的多CSV文件的合并和校验的方法，其中配置文件具体包括对多个需要检查的文件的指定路径、编码、标题行、分隔符、多表关联条件字段及输出字段进行自定义配置。根据所述的多CSV文件的合并和校验的方法，其中步骤S20对多个CSV文件的转换合并处理具体包括：S21，读取配置文件，根据配置文件获取并加载待校验的多个CSV文件；S22，对多个CSV文件分别执行转换为UTF-8格式、转换分隔符及增加行号的处理；S23，将进行转换的CSV文件进行关联合并，生成单个CSV文件，并记录合并前多个CSV文件的表的列号；S24，删除无用表行。根据所述的多CSV文件的合并和校验的方法，其中步骤S23具体包括：根据请求对多个CSV文件对应的多表SQL语句进行拼接处理，进一步生成拼接后的单表，并对单表规则校验。根据所述的多CSV文件的合并和校验的方法，其中步骤S30具体包括：将校验后一条或多条校验失败的表单记录进行显示，进一步，显示对应的行号和列号。本专利技术的技术方案还包括一种多CSV文件的合并和校验的系统，用于执行上述任一个所述方法，其特征在于：配置模块，用于对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；转换模块，用于将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；报告模块，用于对所述转换模块生成的单个CSV文件根据检查配置调用检查接口进行检查，生成检查报告。本专利技术的有益效果为：多csv文件关联查找、导出、校验等类似需求，在很多情况下都是需要的，本工具使用简便，功能齐全，报表清晰，为后续查找分析问题，提供有力支持，弥补多csv无法使用利用goodtables进行校验的空白；做到单表、多表两种情况的规则校验，实现简单化、可配置、报告化，提高了多表关联查找、导出及校验的效率。附图说明下面结合附图和实施例对本专利技术进一步地说明；图1所示为根据本专利技术实施方式的总体流程图；图2所示为根据本专利技术实施方式系统框图；图3所示为根据本专利技术实施方式的CSV文件识别及表校验图；图4所示为根据本专利技术实施方式的多表合并流程图；图5所示为根据本专利技术实施方式的多表中单个CSV文件处理流程图。具体实施方式本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。图1所示为根据本专利技术实施方式的总体流程图。该流程包括：S10，对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；S20，将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；S30，用于对所述S20得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。图2所示为根据本专利技术实施方式系统框图。该系统包括：配置模块，用于对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；转换模块，用于将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；报告模块，用于对所述转换模块生成的单个CSV文件根据检查配置调用检查接口进行检查，生成检查报告。图3所示为根据本专利技术实施方式的CSV文件识别及表校验图。这里采用web服务的形式，将配置传入，输出校验报告，对接入进行检查的CSV文件数进行识别，若为单个CSV文件则直接调用检查接口进行文件检查；若为多个CSV文件，则根据多个CSV的检查请求创建对应的检查配置，基于对单个或多个CSV文件，在生成单个CSV文件后，执行对单表的检查，其检查包括对执行检查后多个CSV文件的关联合并后的单表的多规则校验，以及，对单个CSV文件的单表进行联合多规则校验，其中多规则校验和联合多规则校验可自定义设置。图4所示为根据本专利技术实施方式的多表合并流程图。如图所示模块，从左向右，依次为数据的流动模块，也就是整个校验的过程。其中最重要的逻辑为多CSV合并为新CSV的过程，逻辑如图4所示。图5所示为根据本专利技术实施方式的本文档来自技高网...

【技术保护点】
1.一种多CSV文件的合并和校验的方法，其特征在于，该方法包括以下步骤：/nS10，对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；/nS20，将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；/nS30，用于对所述S20得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。/n

【技术特征摘要】
1.一种多CSV文件的合并和校验的方法，其特征在于，该方法包括以下步骤：
S10，对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；
S20，将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；
S30，用于对所述S20得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。


2.根据权利要求1所述的多CSV文件的合并和校验的方法，其特征在于，所述步骤S10具体包括：
对接入进行检查的CSV文件数进行识别，若为单个CSV文件则直接调用检查接口进行文件检查；若为多个CSV文件，则根据多个CSV的检查请求创建对应的检查配置。


3.根据权利要求2所述的多CSV文件的合并和校验的方法，其特征在于，该方法还包括对执行检查后多个CSV文件的关联合并后的单表的多规则校验，以及，对单个CSV文件的单表进行联合多规则校验，其中多规则校验和联合多规则校验可自定义设置。


4.根据权利要求2所述的多CSV文件的合并和校验的方法，其特征在于，所述检查接口为GoodTables。


5.根据权利要求1所述的多CSV文件的合并和校验的方法，其特征在于，所述配置文件具体包括对多个需要检查的文件的指定路径、编码、标题行、分隔符、多表关联条件字段及输出字段进行自定义配置。


6.根据权...

【专利技术属性】
技术研发人员：郭申，王靖斌，姚泽升，李邦戈，赖炳新，
申请(专利权)人：珠海金山网络游戏科技有限公司，
类型：发明
国别省市：广东;44