基于大数据平台的港口数据综合应用方法及系统技术方案

本发明专利技术提供本发明专利技术提出的基于大数据平台的港口数据综合应用方法及系统，涉及大数据应用领域；其方法包括：搭建大数据平台，根据港口生产系统和设备物资系统的原始数据构建数据仓库的结构表并进行数据抽取；对抽取的数据进行ETL处理；对ETL处理后的数据进行二次数据清洗；根据港口数据对船舶出入港口的过程进行调度计算，获得调度数据；根据调度数据计算港口综合指标效率。本发明专利技术通过构建大数据平台对港口数据进行ETL处理和标准化，分析船舶从来港、船舶装卸再到离港过程中的调度问题，使调度达到最优化，进而计算港口综合指标效率，充分解决港口数据的“数据孤岛”问题，完善港口的运作管理。管理。管理。

【技术实现步骤摘要】
基于大数据平台的港口数据综合应用方法及系统


[0001]本专利技术涉及大数据统计
，具体涉及一种基于大数据平台的港口数据综合应用方法及系统。

技术介绍

[0002]随着我国国民经济的发展和国际贸易的增加，在社会经济的发展中港口的地位和作用都发生了巨大的变化。港口是它们所服务的城市的经济催化剂，促进了经济产业的整合和服务的集聚，从而产生了社会和经济效益。近几年来港口建设周期拉长、投资成本增加、货物类别多样化，影响货物单价因素多，数据资源快速增长。只有不断提高港口的服务质量，对港口数据进行分析，减少数据冗余，最大化利用数据分析港口的综合效率，使其成为管理者决策的重要参考，才能让自身不断的发展。港口综合效率是港口竞争力的重要指标，对于缩短船舶在港停泊时间、加快船舶周转、降低运输成本起着至关重要的作用，直接影响着船公司对航线挂靠港的选择。
[0003]现有技术中也公开了一些利用港口数据计算港口工作效率的方案；例如专利申请CN112016730A公开的港口泊位装卸效率挖掘方法、装置、设备和储存介质，其方法包括：获取至少一个船舶基本信息，每个船舶基本信息包括历史船舶吃水数据、船舶型号、与船舶型号对应的最大吃水数据和最大载重数据；将至少一个历史船舶吃水数据输入到预先构建的载货估算模型，以确定在港口与泊位处停泊船舶的最大货物装卸量，货物装卸量为在港口泊位处停泊船舶装载或者卸载的货物量；获取与最大货物装卸量对应的最小船舶停泊时间；基于最大货物装卸量和最小船舶停泊时间计算港口泊位的装卸效率。但是该申请只考虑了船舶的相关信息，未考虑在大规模港口泊位装卸效率的计算问题。
[0004]又如专利CN112396216B公开的基于船舶动态信息的港口规划大数据处理方法及系统，该方法将停靠所有港口的所有船舶按照港口泊位分为若干组，每组船舶被分配至匹配的港口泊位对应的等待区；船舶在分配的港口泊位有船舶停靠时按照进港停靠时间点先后顺序分为两排排列在等待区，且等待区的船舶按照排序顺次进入港口泊位；将未按照停靠时间点及时达到的晚点船舶指引至统调区停靠并分配到统调区对应的港口泊位；调控船舶转移至无等待停靠船舶的港口泊位，以提高港口泊位的使用效率。该方案只考虑了船舶与港口泊位的调度问题，未考虑船舶与堆场以及货物与堆场的问题，也没有考虑港口整体作业的匹配度以及调度问题。
[0005]上述公开的技术方案都仅是利用部分港口数据，对于港口数据具有的“数据孤岛”问题并没有完全解决；同时，由于未能整体统计港口的综合效率，对于港口的综合调度问题的解决助益不大。

技术实现思路

[0006]本专利技术目的在于提供一种基于大数据平台的港口数据综合应用方法及系统，通过搭建港口的大数据平台，解决港口数据的“数据孤岛”问题，根据大数据平台进行船舶调度、
分析港口的相关指标效率，充分反映港口的运作状况，有利于完善港口的管理系统。
[0007]为达成上述目的，本专利技术提出如下技术方案：一种基于大数据平台的港口数据综合应用方法，包括：一种基于大数据平台的港口数据综合应用方法，包括：
[0008]搭建大数据平台，根据港口生产系统和设备物资系统的原始数据构建数据仓库的结构表并进行数据抽取；对抽取的数据进行ETL处理；
[0009]根据预设的清洗规则，对ETL处理后的数据进行二次数据清洗，获得清洗后的港口数据；
[0010]根据港口数据对船舶出入港口的过程进行调度计算，获得调度数据；
[0011]根据调度数据计算港口综合指标效率。
[0012]进一步的，所述ETL处理后的数据依次存储在ODS层、DWD层和DWS层；
[0013]其中，ODS层存储港口作业票信息、船舶信息、码头信息的港口原始数据，DWD层存储格式化后的ODS层的结构化数据和半结构化数据，DWS层存储根据DWD层数据计算获取的船舶装卸时间T
shipunload
、船舶靠泊时间T
shipberth
和设备使用时间T
machine
。
[0014]进一步的，所述数据清洗规则包括：
[0015]静态数据清洗规则和动态数据清洗规则；
[0016]所述动态数据清洗规则包括缺失值处理规则、重复值处理规则和异常值处理规则；其中，所述缺失值处理规则为同类均值插补法填充缺失值，所述重复值处理规则为对比重复数据去重；
[0017]所述异常值处理规则为根据船舶装卸时间T
shipunloa
、船舶靠泊时间T
shipberth
的比值k的大小进行异常处理，包括：
[0018]当k＞1，修正船舶靠泊时间T
shipberth
；
[0019]当k>>1，采用重复值处理规则修正T
shipunload
或修正船舶离港时间。
[0020]进一步的，所述调度数据的获取过程为：
[0021]获取计划日期内来港的船舶信息和泊位信息，进行泊位调度；
[0022]根据泊位调度的结果和堆场信息，确定存放货物的堆场；
[0023]所述泊位调度过程如下：
[0024]当港口有一个空泊位、且船舶来港时前方无等待船舶时，调度来港船舶直接进入该空泊位；
[0025]当港口有一个空泊位、且船舶来港时前方有等待船舶时，按照来港时间优先原则进行调度，即：
[0026][0027]其中，表示第i艘船舶的来港时间；
[0028]当港口有多个空泊位，计算船舶到各空泊位的距离，按照来港时间优先原则将最先来港的船舶调度至最近的泊位停靠，即：
[0029][0030][0031]其中，表示船舶到第k个泊位的距离，L
min[ship,bert]表示船舶到其最短路径泊位的距离；
[0032]当港口只有一个泊位并已被占用无空泊位、且船舶来港时前方已有船舶等待停泊时，按照最短时间优先服务原则，调度停泊时间短的船舶优先停靠；
[0033][0034]其中，表示第i只船舶的靠泊时间；
[0035]当港口有多个泊位均被占用无空泊位，按照最短时间、最短距离优先调度原则，调度停泊时间短的船舶至与其最近的码头泊位靠泊作业；
[0036][0037][0038]所述堆场的确定过程如下：
[0039]当确定来港船舶的停靠泊位后，计算该泊位至一任一堆场的距离，确定该泊位距离最短的堆场为来港船舶的停靠堆场；最短距离L
min
计算如下：
[0040]f(2)＝L
min
*y
yard
[0041][0042][0043]q＝1,
…
m，
[0044]i＝0,1,
…
r,
[0045][0046]其中，L
min[p,q]表示泊位p到堆场q的最短距离，L
[p,q]表示泊位p到堆场q的任一条路径，N表示泊位p到堆场q之间路径数量，i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据平台的港口数据综合应用方法，其特征在于，包括：搭建大数据平台，根据港口生产系统和设备物资系统的原始数据构建数据仓库的结构表并进行数据抽取；对抽取的数据进行ETL处理；根据预设的清洗规则，对ETL处理后的数据进行二次数据清洗，获得清洗后的港口数据；根据港口数据对船舶出入港口的过程进行调度计算，获得调度数据；根据调度数据计算港口综合指标效率。2.根据权利要求1所述的基于大数据平台的港口数据综合应用方法，其特征在于，所述ETL处理后的数据依次存储在ODS层、DWD层和DWS层；其中，ODS层存储港口作业票信息、船舶信息、码头信息的港口原始数据，DWD层存储格式化后的ODS层的结构化数据和半结构化数据，DWS层存储根据DWD层数据计算获取的船舶装卸时间T
shipunloa
、船舶靠泊时间T
shipberth
和设备使用时间T
machiine
。3.根据权利要求2所述的基于大数据平台的港口数据综合应用方法，其特征在于，所述数据清洗规则包括：静态数据清洗规则和动态数据清洗规则；所述动态数据清洗规则包括缺失值处理规则、重复值处理规则和异常值处理规则；其中，所述缺失值处理规则为同类均值插补法填充缺失值，所述重复值处理规则为对比重复数据去重；所述异常值处理规则为根据船舶装卸时间T
shipunload
、船舶靠泊时间T
shipberth
的比值k的大小进行异常处理，包括：当k＞1，修正船舶靠泊时间T
shipberth
；当k>>1，采用重复值处理规则修正T
shipunload
或修正船舶离港时间。4.根据权利要求2所述的基于大数据平台的港口数据综合应用方法，其特征在于，所述调度数据的获取过程为：获取计划日期内来港的船舶信息和泊位信息，进行泊位调度；根据泊位调度的结果和堆场信息，确定存放货物的堆场；所述泊位调度过程如下：当港口有一个空泊位、且船舶来港时前方无等待船舶时，调度来港船舶直接进入该空泊位；当港口有一个空泊位、且船舶来港时前方有等待船舶时，按照来港时间优先原则进行调度，即：其中，表示第i艘船舶的来港时间；当港口有多个空泊位，计算船舶到各空泊位的距离，按照来港时间优先原则将最先来港的船舶调度至最近的泊位停靠，即：
其中，表示船舶到第k个泊位的距离，L
min[ship，berth]
表示船舶到其最短路径泊位的距离；当港口只有一个泊位并已被占用无空泊位、且船舶来港时前方已有船舶等待停泊时，按照最短时间优先服务原则，调度停泊时间短的船舶优先停靠；其中，表示第i只船舶的靠泊时间；当港口有多个泊位均被占用无空泊位，按照最短时间、最短距离优先调度原则，调度停泊时间短的船舶至与其最近的码头泊位靠泊作业；泊时间短的船舶至与其最近的码头泊位靠泊作业；所述堆场的确定过程如下：当确定来港船舶的停靠泊位后，计算该泊位至一任一堆场的距离，确定该泊位距离最短的堆场为来港船舶的停靠堆场；最短距离L
min
计算如下：f(2)＝L
min
*y
yardyardyard
其中，L
min[p，q]
表示泊位p到堆场q的最短距离，L
[p，q]
表示泊位p到堆场q的任一条路径，N表示泊位p到堆场q之间路径数量，i表示泊位p到堆场q之间非直线路径可能存在的拐点总数，k
i
表示是泊位p到堆场q路径上的第i个拐点。5.根据权利要求2所述的基于大数据平台的港口数据综合应用方法，其特征在于，所述港口综合指标效率的计算过程如下：根据船舶装卸时间T
shipunload
和船舶靠泊时间T
shipberth
计算港口的装卸效率E
unload
：E
unload
＝T
shipunload
/(T
shipberth
‑
T
invalid
‑
T
shipbreak
)其中，T
invalid
是由于者自然因素产生的无效时间，T
shipbreak
是由于船舶故障产生的维修时间；根据设备使用时间T
machine
计算设备效率E
machi
：E
machine
＝T
machineactual
//(T
machine
‑
T
machinebrea
)其中，T
machineactua
是设备的实际工作时间，T
machinebrea
是由于设备故障导致的维修时间；
根据港口船舶一次装卸工作中装卸工作组的员工信息计算装卸人员效率E
on...

【专利技术属性】
技术研发人员：邰伟鹏，金明秀，李伟，刘富豪，王小林，
申请(专利权)人：安徽工业大学科技园有限公司，
类型：发明
国别省市：