一种基于航运数据快照的回溯分析系统技术方案

本发明专利技术涉及航运信息化领域，具体涉及一种基于航运数据快照的回溯分析系统，包括：存储中心，用于存储数据快照等数据；快照生成模块，用于针对精选的快照样本，按快照时间粒度生成数据快照；快照搜索模块，用于直接关联船舶数据快照，快速检索出指定的切片时间的最新状态数据；业务分析模块，用于基于所述数据快照，形成以时间切片为时间轴的趋势数据，并将动态更新的特征数据快照按照类别定义到属性分组中，统计出每一个时间切片的特征数据，聚合时间切片，即形成跨周期的趋势统计，从而进行下一步需求分析。本发明专利技术结合航运数据特色，精选快照样本并自定义快照时间粒度，基于全量历史数据生成的数据快照，构建了更为灵活、细粒度的回溯分析系统。溯分析系统。

【技术实现步骤摘要】
一种基于航运数据快照的回溯分析系统


[0001]本专利技术涉及航运信息化
，具体涉及一种基于航运数据快照的回溯分析系统。

技术介绍

[0002]随着大数据、云计算等技术在各行各业的广泛应用和快速发展，航运领域的信息化也在逐渐发展壮大，尤其是航运信息数据的逐渐增多，对航运大数据的存储与分析利用显得尤为重要。其中，航运历史数据快照，主要用以回溯历史状态或分析历史趋势，是一项极为重要的技术。
[0003]存储网络行业协会对快照的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始时间点)的映像，快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。快照的作用主要是能够进行在线数据备份与恢复，当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据回滚到够格可用的时间点的状态，快照的另一个作用就是为存储用户提供另外一个数据访问通道，当元数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作，所有的存储系统，不论高中低端，只要应用于在线系统，那么快照就成为一个不可或缺的功能。
[0004]目前，现有的回溯分析系统或应用系统基于的快照数据主要依靠传统的数据快照生成方法得到的数据，如专利CN111552437A为代表，这类快照主要用在安全运维领域，如系统环境的快速还原或修复。另一个部分是针对数据的快照技术，以专利CN102096613B为代表，同样聚焦在数据运维层面，以恢复数据作为主要目的和功能。这类快照的生成需要预定义，如快照的数据范围、时间颗粒度、执行计划等，一旦在错过快照生成，很难弥补，因此基于这类数据快照的回溯分析系统也难以做到更准确的精确分析及历史回溯，尤其是面对航运数据系统不断更新迭代的需求的情况下。
[0005]除此之外，在航运领域，现有的分析系统，主要集中在船舶的管理、查找及监管；如CN110135776A，一种航运信息管理方法、系统及计算机存储介质，使得航运信息更新及时、方便查找，同时便于港航等监管部门进行监管。或如CN205508317U，能够有效地针对港口航运信息进行展示。或如，CN104112172A，可以更好的进行航运的管理和调度，不受恶劣天气的影响。进一步的如CN102103802A公开了一种利用AIS(Automatic IdentificationSystem，船舶自动识别系统)双向通信的客船航运管理系统及其控制方法。也就是现有技术中的分析系统主要的还是基于基础的包括AIS定期上报的数据进行的分析应用，而且主要应用于船舶的管理、定位、导航、监管等，缺少一种精确的分析回溯系统来进行进一步的船舶大数据的分析回溯，来为航运信息化领域或其他用户提供更多的分析应用功能。
[0006]面对航运平台或相关分析系统中应用的数据不同于现有其他领域数据的重要的特点，该类数据大多是中间计算结果，当计算逻辑发生变更时，数据需要重新计算，数据快照也需要基于最新的数据进行更新，基于现有的快照生成方法或技术得到的数据快照的分
析系统，难以满足航运数据的分析的需求。
[0007]因此，如何来满足上述这种
中的基于最新的计算结果重新生成数据的快照的背景要求，并且基于这种变化的航运快照数据能进行快速响应及准确分析和回溯，来帮助满足航运公司或相关公司及用户做具体的分析运用需求，也是航运信息化
的一个亟待解决的问题。

技术实现思路

[0008]本专利技术为了实现满足上述这种
中的基于最新的计算结果重新生成数据的快照的背景要求，并且基于这种变化的航运快照数据能进行快速响应及准确分析和回溯，来帮助满足航运公司或相关公司及用户做具体的分析运用需求，提供了一种基于航运数据快照的回溯分析系统。
[0009]本专利技术提供以下方案：
[0010]本专利技术提供的一种基于航运数据快照的回溯分析系统，其特征在于，包括：
[0011]存储中心，用于存储基于快照样本数据形成的数据快照以及存储系统运行过程中产生的数据；
[0012]快照生成模块，用于针对固定上报的最新的AIS信息、AIS全量历史表以及航段信息全量历史表等不同的快照样本，按照一定的快照时间粒度生成航运数据快照，并以存储表的形式存储到所述存储中心；所述快照时间粒度的选择根据航运的成本和航运业务的精细化的满足度来确定；
[0013]快照搜索模块，用于在时间维度上，提供基于最新的AIS信息的查询搜索功能；以及，用于基于数据快照，将最新航段信息表与船舶基础信息的关联关系，切换为最新航段信息快照表与船舶基础信息的关联，在查询搜索不同时期的不同船舶状态时，直接关联船舶的所述数据快照，快速搜索出指定的切片时间的船舶的最新状态数据；
[0014]业务分析模块，用于船舶的数据分析服务，基于所述数据快照，快速形成以对应时间切片为时间轴的趋势数据，并将不断动态更新的所需要的特征数据按照类别定义到属性分组中，利用分类的数据快照，基于对应的时间切片和属性分组，统计出每一个对应的时间切片的船舶的数量，聚合对应的时间切片，即形成跨周期的趋势统计，基于该趋势统计从而辅助用户进行下一步的需求分析。
[0015]进一步的，所述快照生成模块还包括快照样本处理单元，包括：
[0016]获取固定上报的快照样本数据子模块，用于获取固定上报的最新的AIS信息，所述最新的AIS信息定义了包括AIS上报时间、船舶位置经纬度、对地航速、船艏向、AIS上报时间等关键信息；所有的AIS信息表历史数据的集合形成AIS全量历史表；
[0017]动态更新最新航段信息子模块，用于基于获取的船舶的所述最新的AIS信息，更新最新航段信息，所述最新航段信息是由固定上报的所述最新的AIS信息及跟随计算逻辑动态变化的航段信息组成；所有的最新航段信息历史数据的集合形成航段信息全量历史表；
[0018]获取其他重要的分类信息子模块，用于获取基于所述航段信息的历史数据结合船舶的贸易、运营、商业价值等附加分类属性分析归纳的数据，获取包括船舶的内外贸营运状态等。
[0019]进一步的，所述跟随计算逻辑动态变化的航段信息，是指在实际计算过程中，基于
AIS历史数据及船舶航行动态判断算法，推算出船舶动态信息，所述船舶动态信息包括航行动态靠泊、锚泊、始发港及目的港信息，以及预抵信息；所述船舶航行动态判断算法，是不断更迭优化的动态算法，随着所述动态算法的每一轮优化，所述船舶动态信息进行重新计算，基于重新计算后的所述船舶动态信息生成并更新所述最新航段信息。
[0020]进一步的，所述快照生成模块还包括生成单元，包括：
[0021]生成最新的AIS信息数据子模块：用于基于定时抽取的AIS数据源中的AIS数据来生成最新的AIS信息数据，同时复制到AIS信息表中；
[0022]直接生成快照子模块，用于利用ETL工具，配置定时任务，每天定时复制最新航段信息的集合，关联切片时间后直接生成所述直接快照；
[0023]间接生成快照子模块，用于基于所述AIS全量历史表，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于航运数据快照的回溯分析系统，其特征在于，包括：存储中心，用于存储基于快照样本数据形成的数据快照以及存储系统运行过程中产生的数据；快照生成模块，用于针对固定上报的最新的AIS信息、AIS全量历史表以及航段信息全量历史表等不同的快照样本，按照一定的快照时间粒度生成航运数据快照，并以存储表的形式存储到所述存储中心；所述快照时间粒度的选择根据航运的成本和航运业务的精细化的满足度来确定；快照搜索模块，用于在时间维度上，提供基于最新的AIS信息的查询搜索功能；以及，用于基于数据快照，将最新航段信息表与船舶基础信息的关联关系，切换为最新航段信息快照表与船舶基础信息的关联，在查询搜索不同时期的不同船舶状态时，直接关联船舶的所述数据快照，快速搜索出指定的切片时间的船舶的最新状态数据；业务分析模块，用于船舶的数据分析服务，基于所述数据快照，快速形成以对应时间切片为时间轴的趋势数据，并将不断动态更新的所需要的特征数据按照类别定义到属性分组中，利用分类的数据快照，基于对应的时间切片和属性分组，统计出每一个对应的时间切片的船舶的数量，聚合对应的时间切片，即形成跨周期的趋势统计，基于该趋势统计从而辅助用户进行下一步的需求分析。2.根据权利要求1所述的回溯分析系统，其特征还在于，所述快照生成模块还包括快照样本处理单元，包括：获取固定上报的快照样本数据子模块，用于获取固定上报的最新的AIS信息，所述最新的AIS信息定义了包括AIS上报时间、船舶位置经纬度、对地航速、船艏向、AIS上报时间等关键信息；所有的AIS信息表历史数据的集合形成AIS全量历史表；动态更新最新航段信息子模块，用于基于获取的船舶的所述最新的AIS信息，更新最新航段信息，所述最新航段信息是由固定上报的所述最新的AIS信息及跟随计算逻辑动态变化的航段信息组成；所有的最新航段信息历史数据的集合形成航段信息全量历史表；获取其他重要的分类信息子模块，用于获取基于所述航段信息的历史数据结合船舶的贸易、运营、商业价值等附加分类属性分析归纳的数据，获取包括船舶的内外贸营运状态等。3.根据权利要求2所述的回溯分析系统，其特征还在于，所述跟随计算逻辑动态变化的航段信息，是指在实际计算过程中，基于AIS历史数据及船舶航行动态判断算法，推算出船舶动态信息，所述船舶动态信息包括航行动态靠泊、锚泊、始发港及目的港信息，以及预抵信息；所述船舶航行动态判断算法，是不断更迭优化的动态算法，随着所述动态算法的每一轮优化，所述船舶动态信息进行重新计算，基于重新计算后的所述船舶动态信息生成并更新所述最新航段信息。4.根据权利要求1或2所述的回溯分析系统，其特征还在于，所述快照生成模块还包括生成单元，包括：生成最新的AIS信息数据子模块：用于基于定时抽取的AIS数据源中的AIS数据来生成最新的AIS信息数据，同时复制到AIS信息表中；直接生成快照子模块，用于利用ETL工具，配置定时任务，每天定时复制最新航段信息的集合，关联切片时间后直接生成所述直接快照；
间接生成快照子模块，用于基于所述AIS全量历史表，选择快照时间粒度，按照选择的快照时间粒度对应的切片时间序列，循环抽取指定时间点附近的样本数据，间接生成关联最新的AIS信息的数据快照；以及基于所述航段信息全量历史表，选择快照时间粒度，按照选择的快照时间粒度对应的切片时间序列，循环抽取指定时间点附近的样本数据，间接生成关联最新航段信息的数据快照。5.根据权利...

【专利技术属性】
技术研发人员：魏永来，王敏，李翔，
申请(专利权)人：中远海运科技股份有限公司，
类型：发明
国别省市：