一种数据处理方法及系统技术方案

本发明专利技术提供一种数据处理方法及系统，该方法包括：接收目标文件；将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表；根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析；将解析后的数据写入所述目标数据表。本发明专利技术提供的数据处理方法，通过将接收到的目标文件加入先入先出队列中进行排队等候解析，从而可以保证数据处理系统依照先入先出的顺序对所接收的待处理文件进行解析和处理，进而能够提高文件解析速度和处理效率。

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及通信
，尤其涉及一种数据处理方法及系统。
技术介绍
随着信息技术的进步，很多企业或部门都会建立相应的信息系统来管理业务数据，且实际中，一个企业或部门往往需要多个信息系统来分别管理不同的业务数据。而随着企业的发展，各系统所需处理的业务数据量也在不断增长，目前，数据处理的基本过程是：对用户上传的包含有业务数据的Excel文件进行解析，并将解析成功的数据写入对应的数据表，同时进行存储。然而，现有技术中通常是采用开源解析工具，在读取数据后直接进行解析处理，而不关注解析速度，因而存在解析速度慢、内存占用高的问题，尤其在文件批量上传、数据高并发的场景下，系统的处理效率十分低下。
技术实现思路
本专利技术实施例提供一种数据处理方法及系统，以解决现有数据处理方法效率较低的问题。为解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种数据处理方法，应用于数据处理系统，包括：接收目标文件；将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表；根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析；将解析后的数据写入所述目标数据表。第二方面，本专利技术实施例提供一种数据处理系统，包括：接收模块，用于接收目标文件；第一处理模块，用于将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；确定模块，用于当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表；解析模块，用于根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析；第二处理模块，用于将解析后的数据写入所述目标数据表。第三方面，本专利技术实施例提供一种数据处理系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述数据处理方法中的步骤。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法中的步骤。本专利技术实施例中，通过将接收到的目标文件加入先入先出队列中进行排队等候解析，从而可以保证数据处理系统依照先入先出的顺序对所接收的待处理文件进行解析和处理，进而能够提高文件解析速度和处理效率，且能够避免所述数据处理系统在文件批量上传、数据高并发的场景下发生拥堵而造成处理效率十分低下的问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的数据处理方法的流程图；图2是本专利技术另一实施例提供的数据处理方法的流程图；图3是本专利技术实施例提供的数据处理系统的结构图；图4是本专利技术实施例提供的数据处理系统的解析模块的结构图；图5是本专利技术实施例提供的数据处理系统的解析模块中的解析单元的结构图；图6是本专利技术实施例提供的数据处理系统的第二处理模块的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，图1是本专利技术实施例提供的一种数据处理方法的流程图，应用于数据处理系统，如图1所示，所述方法包括以下步骤：步骤101、接收目标文件。本实施例中，在进行数据处理前，需先接收待处理的目标文件，具体可以是接收用户在客户端提交的目标文件，其中，所述目标文件可以是excel格式的文件，所述目标文件可以是用户手动创建编辑并插入相关数据后形成的文件，也可以是基于系统生成的模板，插入相关数据后得到的文件。该步骤中，上述接收目标文件可以是一次性接收所述目标文件，也可以是分片接收所述目标文件，例如：在所述目标文件的大小不超过所述数据处理系统一次所能接收的最大大小时，可以一次性完整地接收所述目标文件，在所述目标文件的大小超过所述数据处理系统一次所能接收的最大大小时，则客户端可以将所述目标文件拆分为多个片段进行上传，以使所述数据处理系统分片接收所述目标文件。步骤102、将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列。在接收到所述目标文件后，可以将所述目标文件加入第一待处理队列，以对所述目标文件进行排队处理，这样，可以保障所有上传至所述数据处理系统的文件能够按照一定的秩序进行处理，从而不易发生拥堵和影响系统处理效率。其中，所述第一待处理队列为先入先出队列，即先接收的文件先处理，后接收的文件后处理，例如：若在将所述目标文件加入第一待处理队列前，所述第一待处理队列中已存在两个文件等待处理，则在将所述目标文件加入第一待处理队列后，需等待这两个文件从所述第一待处理队列中分配处理后，再进行分配处理。步骤103、当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表。本专利技术实施例中，所述数据处理系统会不断从所述第一待处理队列中获取待处理的文件，且在每一次获取时，都会获取所述第一待处理队列中最先加入的文件。当从所述第一待处理队列中获取的文件为所述目标文件时，则可以开始对所述目标文件进行处理，具体地，可以先根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表，其中，所述元数据映射规则可以包括文件名与数据表的对应规则，这样，可以根据所述对应规则，查找与所述目标文件的名称对应的数据表，从而确定所述目标文件对应的目标数据表。其中，所述目标数据表用于存储所述目标文件中解析后的数据，且所述目标数据表可存放于所述数据处理系统的目标数据库中，所述目标数据表既可便于用户后续查询相关数据，也可方便所述数据处理系统对其中的相关数据进行调用并加以处理。步骤104、根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析。本实施例中，可以根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析，其中，所述元数据映射规则还可以包括元数据格式、关系等映射规则，例如：通过对所述目标文件中每列的数据字段、数据类型、数据长度、数值范围、是否可为空等进行配置后得到的元数据格式映射规则，通过对所述目标文件中列与列之间的关系或需满足的公式等进行配置得到的元数据关系映射规则；所述解析规则可以是预先配置的如何对所述目标文件中的数据进行解析的规则，例如：规定从所述目标文件中的第几行和第几列开始读取数据，共需解析多少列数据，所述目标文件在增量更新和全量更新下所分别对应的解析规则等。需说明的是，所述元数据映射规则和所述解析规则均可以是与所述目标文件唯一对应的，即对于不同结构的目标文件，可以对应有不同的元数据映射规则和解析规则，具体可以根据用户需求进行相应配置。该步骤中本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于数据处理系统，其特征在于，包括：接收目标文件；将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表；根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析；将解析后的数据写入所述目标数据表。

【技术特征摘要】
1.一种数据处理方法，应用于数据处理系统，其特征在于，包括：接收目标文件；将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；当从所述第一待处理队列中获取的文件为所述目标文件时，根据预先配置的元数据映射规则，确定所述目标文件对应的目标数据表；根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析；将解析后的数据写入所述目标数据表。2.根据权利要求1所述的方法，其特征在于，所述根据所述元数据映射规则和预先配置的解析规则，对所述目标文件中的数据进行解析，包括：通过目标节点从所述第一待处理队列中获得所述目标文件的解析任务，其中，所述目标节点为所述数据处理系统中的处理集群的任一空闲节点；根据所述元数据映射规则和预先配置的解析规则，通过所述目标节点对所述目标文件中的数据进行解析。3.根据权利要求2所述的方法，其特征在于，所述根据所述元数据映射规则和预先配置的解析规则，通过所述目标节点对所述目标文件中的数据进行解析，包括：根据所述元数据映射规则和预先配置的解析规则，通过所述目标节点读取所述目标文件中的数据，并对所读取的数据进行合法性验证；将所述目标文件中验证为不合法的数据存入异常数据库，并将所述目标文件中验证为合法的数据加入第二待处理队列，其中，所述第二待处理队列为先入先出队列；所述将解析后的数据写入所述目标数据表，包括：当从所述第二待处理队列中获取的数据为所述目标文件中的数据时，将所述目标文件中的数据写入所述目标数据表。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述接收目标文件，包括：接收客户端分片上传的目标文件。5.根据权利要求1或2所述的方法，其特征在于，所述将解析后的数据写入所述目标数据表，包括：将解析后的数据添加至与所述目标数据表对应的分组，其中，一个分组对应一个线程；按预设大小对所述与所述目标数据表对应的分组中属于所述目标文件的数据进行分片，得到N个数据分片，其中，N为大于或等于2的整数；将所述N个数据分片中的每个数据分片分别生成一条批处理结构化查询语言SQL，得到N条批处理SQL；逐条执行所述N条批处理SQL，以将所述N个数据分片中的数据依次写入所述目标数据表。6.根据权利要求1至3中任一项所述的方法，其特征在于，所述预先配置的元数据映射规则为接收的用户设置的元数据映射规则，和/或所述预先配置的解析规则为接收的用户设置的解析规则。7.一种数据处理系统，其特征在于，包括：接收模块，用于接收目标文件；第一处理模块，用于将所述目标文件加入第一待处理队列，其中，所述第一待处理队列为先入先出队列；确定模块，用于当从所述第一待处...

【专利技术属性】
技术研发人员：程赓，刘建波，汪文超，
申请(专利权)人：中国铁塔股份有限公司，
类型：发明
国别省市：北京,11