本发明专利技术涉及数据清洗的路由方法、装置、设备及存储介质，属于数据清洗技术领域。本发明专利技术包括：根据用户需求为待清洗数据配置对应的路由模型；路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；根据路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；根据当前节点的数据内容，为当前节点配置至少一个相应的清洗模板；对每个节点，根据节点对应的清洗模板和清洗方式，对节点进行数据清洗，得到清洗结果，并将满足预设条件的清洗结果发送至与该节点有依赖关系的下级节点，有助于帮助解决快递业务数据在链路流转的过程中出现异常时，使用这些异常数据继续流转造成的影响分析结果的准确性的问题。结果的准确性的问题。结果的准确性的问题。
【技术实现步骤摘要】
一种数据清洗的路由方法、装置、设备及存储介质
[0001]本专利技术属于数据清洗
，具体涉及数据清洗的路由方法、装置、设备及存储介质。
技术介绍
[0002]在快递业务数据的日常清洗过程中，存在数据异常、数据丢失的现象，比如快件的收寄件人省市区地址、所属网点、客户资料、费用明细等关键信息，导致快递业务数据在链路流转的过程中出现异常。由于快递业务数据在链路流转的过程中会经过很多相互依赖的节点，并且不同的分析需求所需要的数据流经的节点也不相同，例如，所属网点信息这一节点的数据依赖收寄件人省市区信息这一节点的数据清洗，账单明细这一节点的数据依赖费用明细信息这一节点的数据清洗，当数据出现异常时，使用这些数据进行继续流转分析，就会影响分析结果。因此，有必要针对快递业务数据进行合规清洗，确保清洗后的数据进入链路流转，提高数据分析的准确性。
技术实现思路
[0003]为此，本专利技术提供一种数据清洗的路由方法、装置、设备及存储介质，有助于帮助解决由于快递业务数据在链路流转的过程中会经过很多相互依赖的节点，当数据出现异常时，使用这些异常数据继续流转造成的影响分析结果的准确性的问题。
[0004]为实现以上目的，本专利技术采用如下技术方案：
[0005]第一方面，本专利技术提供一种数据清洗的路由方法，其特征在于，包括：
[0006]根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；
[0007]根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；
[0008]根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；
[0009]对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。
[0010]优选地，所述根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式，包括：
[0011]根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步；
[0012]根据所述当前节点的属性，确定对应的清洗方式。
[0013]优选地，所述根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步，包括：
[0014]根据所述路由模型中各节点之间的依赖关系，判断当前节点是否依赖于其他节点，若所述当前节点未依赖于其他节点，确定所述当前节点的属性为同步；
[0015]判断所述当前节点是否与其他节点依赖于同一节点，若所述当前节点与其他节点依赖于同一节点，确定所述当前节点的属性为异步；若所述当前节点未与其他节点依赖于同一节点，且所述当前节点所依赖的上级节点的属性为同步，确定所述当前节点的属性为同步或异步。
[0016]优选地，所述根据所述当前节点的属性，确定对应的清洗方式，包括：
[0017]若所述当前节点的属性为异步，将所述当前节点移交至消息队列进行数据清洗；
[0018]若所述当前节点的属性为同步，直接对所述当前节点进行数据清洗。
[0019]优选地，所述根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板，包括：
[0020]根据所述当前节点的数据内容，确认所述当前节点的至少一个数据清洗规则；
[0021]根据所述当前节点的数据清洗规则，为所述当前节点配置相应的清洗模板。
[0022]优选地，所述方法还包括：
[0023]根据所有节点之间的依赖关系，为每个节点配置对应优先级别的处理器，并按照处理器的优先级别对所有节点进行排序；
[0024]按照所有节点的排列顺序，根据对应的清洗模板和清洗方式，依次对每个节点进行数据清洗。
[0025]优选地，所述将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点，包括：
[0026]若所述节点成功清洗完成，且存在依赖于该节点的下级节点，确定该节点满足预设条件；更改该节点的处理状态为清洗成功，并将所述清洗结果发送至与该节点有依赖关系的下级节点；
[0027]若所述节点清洗异常，确定该节点不满足预设条件，更改该节点的处理状态为清洗失败，并将该节点加入异常队列，进行预警和重试处理
[0028]第二方面，本专利技术提供一种数据清洗的路由装置，其特征在于，所述装置包括：
[0029]路由模型构建模块，用于根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；
[0030]清洗方式设置模块，用于根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；
[0031]清洗模板配置模块，用于根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；
[0032]数据清洗模块，用于对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。
[0033]第三方面，本专利技术提供一种数据清洗的路由设备，包括：
[0034]存储器，其上存储有可执行程序；
[0035]处理器，用于执行所述存储器中的所述可执行程序，以实现上述中任一项所述方法的步骤。
[0036]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储
有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。
[0037]本专利技术采用以上技术方案，至少具备以下有益效果：
[0038]通过根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系，使得待清洗数据能根据用户需求进行动态配置节点；再根据路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式，根据当前节点的数据内容，为当前节点配置至少一个相应的清洗模板，通过清洗模板的调用实现对不同节点的数据进行多种不同规则的清洗；对每个节点，根据节点对应的清洗模板和清洗方式，对节点进行数据清洗，得到清洗结果，并将满足预设条件的节点的清洗结果发送至与该节点有依赖关系的下级节点，确保下一个节点在处理的过程中能正确引入上一节点返回的结果，从而帮助解决由于快递业务数据在链路流转的过程中会经过很多相互依赖的节点，当数据出现异常时，使用这些异常数据继续流转造成的影响分析结果的准确性的问题。
[0039]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0040]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据清洗的路由方法，其特征在于，包括：根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。2.根据权利要求1所述的方法，其特征在于，所述根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式，包括：根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步；根据所述当前节点的属性，确定对应的清洗方式。3.根据权利要求2所述的方法，其特征在于，所述根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步，包括：根据所述路由模型中各节点之间的依赖关系，判断当前节点是否依赖于其他节点，若所述当前节点未依赖于其他节点，确定所述当前节点的属性为同步；判断所述当前节点是否与其他节点依赖于同一节点，若所述当前节点与其他节点依赖于同一节点，确定所述当前节点的属性为异步；若所述当前节点未与其他节点依赖于同一节点，且所述当前节点所依赖的上级节点的属性为同步，确定所述当前节点的属性为同步或异步。4.根据权利要求2所述的方法，其特征在于，所述根据所述当前节点的属性，确定对应的清洗方式，包括：若所述当前节点的属性为异步，将所述当前节点移交至消息队列进行数据清洗；若所述当前节点的属性为同步，直接对所述当前节点进行数据清洗。5.根据权利要求1所述的方法，其特征在于，所述根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板，包括：根据所述当前节点的数据内容，确认所述当前节点的至少一个数据清洗规则；根据所述当前节点的数据清洗...
【专利技术属性】
技术研发人员：吴天柱，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。