本发明专利技术公开了一种基于Hadoop的物流数据分析方法、系统、存储介质及设备，所述方法包括：构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据；为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。本发明专利技术通过Hadoop分布式集群进行物流数据的存储，有效节省数据存储成本、提升存储容量，同时利用各类计算引擎对物流数据进行加工建模，将快递各个业务环节抽象为数据，通过算法有效快速的分析物流传输过程中各个环节的延误问题，助力提升快递时效，实现智慧物流。流。流。
【技术实现步骤摘要】
一种基于Hadoop的物流数据分析方法、系统、存储介质及设备
[0001]本专利技术涉及数据分析
，尤其涉及一种基于Hadoop的物流数据分析方法、系统、存储介质及设备。
技术介绍
[0002]早期，快递行业快递量较少，可以通过简单的人工进行快递数据的统计与整理，但是随着电商以及生活水平的提高，快递行业飞速发展，快递的网点和转运中心也越来越多，快递行业逐步进入存量市场时代，哪家快递时效高、价格低，哪家快递就会逐渐吞噬残存的市场份额，因此，通过技术手段，智能的监控各个环节，提高经济效益十分必要。
[0003]然而，现有技术主要缺点有以下方面：
[0004]第一，传统的机器的计算和存储价格昂贵，同时拓展性较差，只能保存一段时间最新的快递数据，无法对历史的快递数据进行统计；
[0005]第二，传统的技术由于技术的局限性，计算速度较慢，要等T+1日或者T+2日才能看见T日的快递数据，时效减慢；
[0006]第三，由于环节众多，无法做到智能的识别快递在哪一个环节出现了问题，无法针对既有发生的问题去做一些改进措施。
技术实现思路
[0007]基于此，有必要针对上述问题，提出了一种基于Hadoop的物流数据分析方法、系统、存储介质及设备。
[0008]本专利技术公开了一种基于Hadoop的物流数据分析方法，所述方法包括：
[0009]构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；
[0010]利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据；
[0011]为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。
[0012]进一步的，利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据，具体包括：
[0013]利用Flink计算引擎对所述物流数据中的实时数据进行加工处理，得到加工后的实时物流数据；
[0014]利用HIVE和/或SPARK和/或PRESTO计算引擎对所述物流数据中的离线数据进行加工处理，得到加工后的离线物流数据。
[0015]进一步的，为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析，具体包括：
[0016]采用kimball建模方法，为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行多维度延误分析，所述多维度延误分析包括：
[0017]网点发件延误分析、交件中心中转延误分析、末端交件中心到件延误分析、以及末
端网点签收延误分析。
[0018]进一步的，根据所述数据模型，对所述物流数据进行网点发件延误分析，具体包括：
[0019]从所述物流数据中筛选出各网点的运单揽收时间、运单揽收操作时长、各网点与相应交件中心的运输线路时长、以及运单从各网点到达相应交件中心的实际时间；
[0020]根据所述各网点的运单揽收时间、运单揽收操作时长、各网点与相应交件中心的运输线路时长，计算运单从各网点到相应交件中心的理论时间；
[0021]判断所述运单从各网点到达相应交件中心的实际时间是否超过运单从各网点到相应交件中心的理论时间，若是，则判定网点发件延误。
[0022]进一步的，根据所述数据模型，对所述物流数据进行交件中心中转延误分析，具体包括：
[0023]从所述物流数据中筛选出第一交件中心的发件时间、第一交件中心到第二交件中心的路由和派次情况、第一交件中心的实际发车时间、第二交件中心的实际到车时间；
[0024]根据所述第一交件中心的发件时间、第一交件中心到第二交件中心的路由和派次情况，计算第一交件中心的理论发车时间以及第二交件中心的理论到车时间；
[0025]判断所述第一交件中心的实际发车时间是否超过所述第一交件中心的理论发车时间，若是，判定第一交件中心发车延误；
[0026]判断所述第二交件中心的实际到车时间是否超过所述第二交件中心的理论到车时间，若是，判定第二交件中心到车延误。
[0027]进一步的，根据所述数据模型，对所述物流数据进行末端交件中心到件延误分析，具体包括：
[0028]从所述物流数据中筛选出末端交件中心的最早扫描时间、交件中心标准操作时长、末端交件中心实际发件时间；
[0029]根据所述末端交件中心的最早扫描时间、交件中心标准操作时长，计算末端交件中心理论发件时间；
[0030]判断所述末端交件中心实际发件时间是否超过所述末端交件中心理论发件时间，若是，则判定末端交件中心到件延误。
[0031]进一步的，根据所述数据模型，对所述物流数据进行末端网点签收延误分析，具体包括：
[0032]从所述物流数据中筛选出末端交件中心的发件时间、预设的从末端交件中心发件到末端网点签收的理论间隔时间、以及运单实际签收时间；
[0033]根据末端交件中心的发件时间、预设的从末端交件中心发件到末端网点签收的理论间隔时间，计算末端网点理论签收时间；
[0034]判断所述运单实际签收时间是否超过所述末端网点理论签收时间，若是，则判定末端网点签收延误。
[0035]另一方面，本专利技术还公开了一种基于Hadoop的物流数据分析系统，其特征在于，所述系统包括：
[0036]存储模块，用于构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；
[0037]加工模块，用于基于所述分布式集群Hadoop，利用若干计算引擎对所述物流数据进行加工处理，得到加工后的数据；
[0038]建模分析模块，用于为所述加工后的数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。
[0039]另一方面，本专利技术还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
[0040]构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；
[0041]利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据；
[0042]为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。
[0043]另一方面，本专利技术还公开了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
[0044]构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；
[0045]利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据；
[0046]为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。
[0047]采用本专利技术实施例，具有如下有益效果：
[0048]1、本专利技术中，通过Hadoop分布式集群进行物流数据的存储，可以将大量的普通计算和存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Hadoop的物流数据分析方法，其特征在于，所述方法包括：构建分布式集群Hadoop，并将物流数据存储于所述分布式集群Hadoop中；利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据；为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析。2.根据权利要求1所述的一种基于Hadoop的物流数据分析方法，其特征在于，利用若干计算引擎对所述物流数据进行加工处理，得到加工后的物流数据，具体包括：利用Flink计算引擎对所述物流数据中的实时数据进行加工处理，得到加工后的实时物流数据；利用HIVE和/或SPARK和/或PRESTO计算引擎对所述物流数据中的离线数据进行加工处理，得到加工后的离线物流数据。3.根据权利要求1所述的一种基于Hadoop的物流数据分析方法，其特征在于，为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行延误分析，具体包括：采用kimball建模方法，为所述加工后的物流数据搭建数据模型，并根据所述数据模型，对所述物流数据进行多维度延误分析，所述多维度延误分析包括：网点发件延误分析、交件中心中转延误分析、末端交件中心到件延误分析、以及末端网点签收延误分析。4.根据权利要求3所述的一种基于Hadoop的物流数据分析方法，其特征在于，根据所述数据模型，对所述物流数据进行网点发件延误分析，具体包括：从所述物流数据中筛选出各网点的运单揽收时间、运单揽收操作时长、各网点与相应交件中心的运输线路时长、以及运单从各网点到达相应交件中心的实际时间；根据所述各网点的运单揽收时间、运单揽收操作时长、各网点与相应交件中心的运输线路时长，计算运单从各网点到相应交件中心的理论时间；判断所述运单从各网点到达相应交件中心的实际时间是否超过运单从各网点到相应交件中心的理论时间，若是，则判定网点发件延误。5.根据权利要求3所述的一种基于Hadoop的物流数据分析方法，其特征在于，根据所述数据模型，对所述物流数据进行交件中心中转延误分析，具体包括：从所述物流数据中筛选出第一交件中心的发件时间、第一交件中心到第二交件中心的路由和派次情况、第一交件中心的实际发车时间、第二交件中心的实际到车时间；根据所述第一交件中心的发件时间、第一交件中心...
【专利技术属性】
技术研发人员：成源，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。