数据接入处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种数据接入处理方法、装置、电子设备及存储介质，其中，所述数据接入处理方法包括：获取待接入数据以及与所述待接入数据对应的接入标准；获取接入标准配置表，并根据接入标准配置表，确定与待接入数据的接入标准对应的数据处理流程，其中，在接入标准配置表中，不同的接入标准对应不同的数据处理流程；按照数据处理流程对待接入数据进行处理，得到处理后接入数据。通过本公开实现了对于不同数据的接入采用同一处理流程，进而确保数据接入处理的标准化和流程化，提高了系统资源利用率和后期的可维护性。用率和后期的可维护性。用率和后期的可维护性。

【技术实现步骤摘要】
数据接入处理方法、装置、电子设备及存储介质


[0001]本公开涉及数据接入
，尤其涉及一种数据接入处理方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中，存在以大文件形式同步数据的场景。以保险行业为例，对于投保、退保或是理赔的数据接入场景，往往针对不同渠道或不同业务类型的产品，会单独开发一套处理程序，或者将其中的文件解析部分单独作为一个公共服务进行处理，这将导致不同数据接入会存在多个处理程序，造成系统资源的浪费，并且后期的可维护性差。

技术实现思路

[0003]本公开提供一种数据接入处理方法、装置、电子设备及存储介质，用以解决现有技术中不同数据接入会存在多个处理程序，导致系统资源浪费，且后期的可维护性差的缺陷，实现了对于不同数据的接入采用同一处理流程，进而确保数据接入处理的标准化和流程化，提高了系统资源利用率和后期的可维护性。
[0004]本公开提供一种数据接入处理方法，所述方法包括：获取待接入数据以及与所述待接入数据对应的接入标准；获取接入标准配置表，并根据所述接入标准配置表，确定与所述待接入数据的接入标准对应的数据处理流程，其中，在所述接入标准配置表中，不同的接入标准对应不同的数据处理流程；按照所述数据处理流程对所述待接入数据进行处理，得到处理后接入数据。
[0005]根据本公开提供的一种数据接入处理方法，所述数据处理流程包括数据解析流程和数据映射流程，所述按照所述数据处理流程对所述待接入数据进行处理，得到处理后接入数据，具体包括：按照所述数据解析流程对所述待接入数据进行解析，得到解析后数据；按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据，其中，所述报文字段预先存储在所述接入标准配置表。
[0006]根据本公开提供的一种数据接入处理方法，在所述接入标准配置表中，不同的接入标准还对应不同的报文字段映射关系，其中，所述报文字段映射关系为所述待接入数据解析后的解析后数据与报文字段之间的映射关系，所述按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据，具体包括：基于所述接入标准配置表，确定与所述解析后数据的接入标准对应的报文字段映射关系；基于所述报文字段映射关系，按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据。
[0007]根据本公开提供的一种数据接入处理方法，所述待接入数据包括多条待接入子数据，所述按照所述数据解析流程对所述待接入数据进行解析，得到解析后数据，具体包括：在确定所述待接入子数据的数据量大于或等于数据量阈值的情况下，将所述待接入数据切分为多个执行单元；按照所述数据解析流程并行对所述执行单元中的待接入子数据进行解
析，得到解析后执行单元；将所述解析后执行单元进行整合处理，得到所述解析后数据。
[0008]根据本公开提供的一种数据接入处理方法，所述待接入子数据对应有数据行号；所述按照所述数据解析流程并行对所述执行单元中的待接入子数据进行解析，具体包括：存储解析后的所述待接入子数据的数据行号；响应于解析中断指令，对所述执行单元进行解析中断，基于所述数据行号，确定与所述数据行号对应的待接入子数据之后的下一待接入子数据，并由所述下一待接入子数据为起点，继续对所述执行单元进行解析。
[0009]根据本公开提供的一种数据接入处理方法，在所述按照所述数据解析流程并行对所述执行单元中的待接入子数据进行解析之后，所述方法还包括：将所述待接入子数据的解析结果保存至数据明细表，其中，所述解析结果包括解析成功结果和解析不成功结果；在确定所述执行单元中的实际解析的待接入子数据的数量与所述执行单元中包含的待接入子数据的数量不相同的情况下，确定所述执行单元中存在解析不成功的待接入子数据；遍历所述数据明细表，确定出所述解析不成功的待接入子数据，并重新按照所述数据解析流程对所述解析不成功的待接入子数据进行解析。
[0010]根据本公开提供的一种数据接入处理方法，所述获取待接入数据以及与所述待接入数据对应的接入标准，具体包括：响应于接收到数据接入请求，对所述数据接入请求的元数据进行解析，得到所述数据接入请求的待接入数据的存储路径，以及与所述待接入数据对应的接入标准；基于所述存储路径，获取所述待接入数据。
[0011]本公开还提供一种数据接入处理装置，所述装置包括：获取模块，用于获取待接入数据以及与所述待接入数据对应的接入标准；确定模块，用于获取接入标准配置表，并根据所述接入标准配置表，确定与所述待接入数据的接入标准对应的数据处理流程，其中，在所述接入标准配置表中，不同的接入标准对应不同的数据处理流程；处理模块，用于按照所述数据处理流程对所述待接入数据进行处理，得到处理后接入数据。
[0012]本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的数据接入处理方法。
[0013]本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的数据接入处理方法。
[0014]本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的数据接入处理方法。
[0015]本公开提供的数据接入处理方法、装置、电子设备及存储介质，通过预先设置接入标准配置表，确定接入标准与数据处理流程的对应关系，当获取待接入数据后，可以基于待接入数据的接入标准，直接确定待接入数据的数据处理流程，并按照数据处理流程对待接入数据进行处理，以得到处理后接入数据。通过本公开实现了对于不同数据的接入采用同一处理流程，进而确保数据接入处理的标准化和流程化，提高了系统资源利用率和后期的可维护性。
附图说明
[0016]为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一
些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本公开提供的数据接入处理方法的流程示意图之一；
[0018]图2是本公开提供的对外交互模块与渠道接入系统之间的交互执行流程示意图；
[0019]图3是本公开提供的按照数据解析流程对待接入数据进行解析，得到解析后数据的流程示意图；
[0020]图4是本公开提供的数据接入处理方法的流程示意图之二；
[0021]图5是本公开提供的数据接入处理方法的流程示意图之三；
[0022]图6是本公开提供的数据接入处理装置的结构示意图；
[0023]图7是本公开提供的电子设备的结构示意图。
具体实施方式
[0024]为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据接入处理方法，其特征在于，所述方法包括：获取待接入数据以及与所述待接入数据对应的接入标准；获取接入标准配置表，并根据所述接入标准配置表，确定与所述待接入数据的接入标准对应的数据处理流程，其中，在所述接入标准配置表中，不同的接入标准对应不同的数据处理流程；按照所述数据处理流程对所述待接入数据进行处理，得到处理后接入数据。2.根据权利要求1所述的数据接入处理方法，其特征在于，所述数据处理流程包括数据解析流程和数据映射流程，所述按照所述数据处理流程对所述待接入数据进行处理，得到处理后接入数据，具体包括：按照所述数据解析流程对所述待接入数据进行解析，得到解析后数据；按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据，其中，所述报文字段预先存储在所述接入标准配置表。3.根据权利要求2所述的数据接入处理方法，其特征在于，在所述接入标准配置表中，不同的接入标准还对应不同的报文字段映射关系，其中，所述报文字段映射关系为所述待接入数据解析后的解析后数据与报文字段之间的映射关系；所述按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据，具体包括：基于所述接入标准配置表，确定与所述解析后数据的接入标准对应的报文字段映射关系；基于所述报文字段映射关系，按照所述数据映射流程将所述解析后数据映射至对应的报文字段，得到处理后接入数据。4.根据权利要求2所述的数据接入处理方法，其特征在于，所述待接入数据包括多条待接入子数据，所述按照所述数据解析流程对所述待接入数据进行解析，得到解析后数据，具体包括：在确定所述待接入子数据的数据量大于或等于数据量阈值的情况下，将所述待接入数据切分为多个执行单元；按照所述数据解析流程并行对所述执行单元中的待接入子数据进行解析，得到解析后执行单元；将所述解析后执行单元进行整合处理，得到所述解析后数据。5.根据权利要求4所述的数据接入处理方法，其特征在于，所述待接入子数据对应有数据行号；所述按照所述数据解析流程并行对所述执行单元中的待接入子数据进行解析，具体包括：存储解析后的所述待接入子数据的数据行号；响应于解析中断指令，对所述执行单元进...

【专利技术属性】
技术研发人员：李晓文，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：