基于泛化调用的数据导入的方法、系统及设备技术方案

本申请涉及物流及计算机技术领域，尤其涉及基于泛化调用的数据导入的方法、系统及设备。包括：添加相关任务信息；利用所述相关任务信息，发送执行所述相关任务信息的消息通知；接收所述消息通知，对所述任务信息进行数据解析处理；利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。本申请帮助解决在进行数据导入时，存在大量通过硬编码方式实现的数据导入功能中无法通过配置动态完成数据源的切换、导入模板调整的问题，方便后期升级维护，提升开发效率，降低开发成本。本。本。

【技术实现步骤摘要】
基于泛化调用的数据导入的方法、系统及设备


[0001]本申请涉及物流及计算机
，尤其涉及基于泛化调用的数据导入的方法、系统及设备。

技术介绍

[0002]随着快递行业的高速发展，相关的配套系统也日益增多，各系统对于数据导入的需求也日益突出。现有的实现方案是各系统各功能模块独立开发实现数据导入功能，存在大量通过硬编码方式实现的数据导入功能中无法通过配置动态完成数据源的切换、导入模板调整等，不利于后续的升级维护，且开发效率低，开发成本高。
[0003]即现有技术中，在进行数据导入时，存在大量通过硬编码方式实现的数据导入功能中无法通过配置动态完成数据源的切换、导入模板调整，造成升级维护困难，开发效率低，开发成本高。

技术实现思路

[0004]为至少在一定程度上克服相关技术中进行数据导入时，存在大量通过硬编码方式实现的数据导入功能中无法通过配置动态完成数据源的切换、导入模板调整的问题，本申请提供基于泛化调用的数据导入的方法、系统及设备。
[0005]本申请的方案如下：
[0006]第一方面，本申请提供基于泛化调用的数据导入的方法，所述方法包括：
[0007]添加相关任务信息；
[0008]利用所述相关任务信息，发送执行所述相关任务信息的消息通知；
[0009]接收所述消息通知，对所述任务信息进行数据解析处理；
[0010]利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。
[0011]进一步地，所述相关任务信息，包括：
[0012]任务配置信息和列头配置信息。
[0013]进一步地，所述利用所述相关任务信息，对所述任务信息进行数据解析处理，包括：
[0014]接收所述消息通知，基于POI SAX对所述消息队列中的相关任务信息中的任一任务中的每行数据进行解析；
[0015]利用所述任一任务中的每进行加工处理；行数据解析的结果，基于fill函数对所述每行数据中的每个单元格数据进行数据加工处理；
[0016]利用所述加工处理的结果，通过Validator校验器对所述单元格进行数据校验，若校验不通过，则不进行数据回推处理，记录所述校验不通过的原因；
[0017]否则，基于Invoke函数进行数据调用，并通过回调方式进行数据回推处理。
[0018]进一步地，所述通过回调方式进行数据回推处理，包括：
[0019]若所述回调方式为Dubbo方式，则动态引入Dubbo服务并缓存，并基于动态引入的
Dubbo服务，通过泛化调用形式进行回传数据；
[0020]若所述回调方式为MQ，则回传当前解析的数据至指定topic中；
[0021]若所述回调方式为HTTP，则回传当前解析的数据到指定http接口中。
[0022]第二方面，本申请提供基于泛化调用的数据导入的系统，所述系统包括：
[0023]任务添加模块，用于添加相关任务信息；
[0024]任务通知模块，用于利用所述相关任务信息，发送执行所述相关任务信息的消息通知；
[0025]任务解析模块，用于接收所述消息通知，对所述任务信息进行数据解析处理；
[0026]任务查询模块，用于利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。
[0027]第三方面，本申请提供基于泛化调用的数据导入的设备，所述设备包括：
[0028]存储器，其上存储有可执行程序；
[0029]处理器，用于执行所述存储器中的所述可执行程序，以实现上述中任一项所述方法的步骤。
[0030]本申请提供的技术方案可以包括以下有益效果：
[0031]本申请通过添加相关任务信息；利用所述相关任务信息，发送执行所述相关任务信息的消息通知；接收所述消息通知，对所述任务信息进行数据解析处理；利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。本申请帮助解决在进行数据导入时，存在大量通过硬编码方式实现的数据导入功能中无法通过配置动态完成数据源的切换、导入模板调整的问题，方便后期升级维护，提升开发效率，降低开发成本。
[0032]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0033]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0034]图1是本申请一个实施例提供的基于泛化调用的数据导入的方法流程示意图；
[0035]图2是本申请另一个实施例提供的本申请一个实施例提供的基于泛化调用的数据导入的系统组成示意图；
[0036]图3是本申请一个实施例提供的一种任务配置相关参数说明的示意图；
[0037]图4是本申请一个实施例提供的一种回调服务为Dubbo时，相关参数说明的示意图；
[0038]图5是本申请一个实施例提供的一种回调服务为MQ时，相关参数说明的示意图；
[0039]图6是本申请一个实施例提供的一种回调服务为HTTP时，相关参数说明的示意图；
[0040]图7是本申请一个实施例提供的一种列头配置的参数示意图；
[0041]图8是本申请一个实施例提供的一种图3是本申请又一个实施例提供的一种数据逐行解析的方法示意图；
[0042]图9是本申请一个实施例提供的一种数据加工解析过程的示意图；
[0043]图10是本申请一个实施例提供的基于泛化调用的数据导入的设备组成示意图。
具体实施方式
[0044]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0045]实施例一
[0046]请参阅图1，图1是本申请一个实施例提供的基于泛化调用的数据导入的方法流程示意图，所述方法包括：
[0047]S1.添加相关任务信息；
[0048]S2.利用所述相关任务信息，发送执行所述相关任务信息的消息通知；
[0049]S3.接收所述消息通知，对所述任务信息进行数据解析处理；
[0050]S4.利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。
[0051]在一个实施例中，如步骤S1所述，所述添加相关任务信息，包括：
[0052]业务系统添加相关任务到导入服务系统中；
[0053]导入服务系统将所相述关任务保存到数据库，并返回添加任务的结果给业务系统；
[0054]导入服务系统将所述相关任务发送到到消息队列(MQ)中。
[0055]在本申请实施例中，所述相关任务信息包括：任务配置信息和列头配置信息。
...

【技术保护点】

【技术特征摘要】
1.基于泛化调用的数据导入的方法，其特征在于，所述方法包括：添加相关任务信息；利用所述相关任务信息，发送执行所述相关任务信息的消息通知；接收所述消息通知，对所述任务信息进行数据解析处理；利用所述解析处理的结果，循环导入所述相关任务信息中的数据，更新任务列表。2.根据权利要求1所述的方法，其特征在于，所述相关任务信息，包括：任务配置信息和列头配置信息。3.根据权利要求1所述的方法，其特征在于，所述利用所述相关任务信息，对所述任务信息进行数据解析处理，包括：接收所述消息通知，基于POI SAX对所述消息队列中的相关任务信息中的任一任务中的每行数据进行解析；利用所述任一任务中的每进行加工处理；行数据解析的结果，基于fill函数对所述每行数据中的每个单元格数据进行数据加工处理；利用所述加工处理的结果，通过Validator校验器对所述单元格进行数据校验，若校验不通过，则不进行数据回推处理，记录所述校验不通过的原因；否则，基于Invoke函数进行数据调用，并通过回调方式进行数据回推处理。...

【专利技术属性】
技术研发人员：曹楷，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：