一种车船位置数据存储方法及系统技术方案

本发明专利技术提供一种车船位置数据存储方法及系统，包括整合所述车船位置信息数据，其记录车船的静态数据以及货物集配电子平台和全息地图应用平台车船位置信息数据；所述货物集配电子平台和全息地图应用平台需要位置查询服务时，通过车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理，存储车船位置信息到数据库、采用多层并行方式降低存储到数据库中的所述车辆位置信息数据的维度，把高维线性数据为转化低维面型数据的方式，有效提高了查询速度。

【技术实现步骤摘要】

本专利技术涉及数据存储、查询处理方法及系统，特别是指一种基于车船位置服务平台的位置数据存储、查询处理方法及系统。
技术介绍
车船位置服务平台利用车船会员手机、平台移动端APP或北斗卫星的定位系统将所有车辆会员和船舶会员最新位置在全国陆路、水路交通地图上用图标显示，定位地图具有对单一车船的搜索功能，以车号/船号、时段为搜索条件，可以搜索出该车/船的运行轨迹。首先处理已安装北斗定位终端的车船的位置数据，由于数据是固定时间传送一次，因此具有实时性和复杂性，需要建立一个独立的车船位置服务平台整合以上各数据源，而在现有技术中，对于上述的海量车船信息的及时处理方法依然空白，没有良好的专门针对海量车船位置信息的动态数据处理方法及系统的推出，本专利技术使用分层的方式来存储海量数据，减轻单个服务器的压力。
技术实现思路
为解决现有技术中存在的上述问题，本专利技术采用分层存储的方式处理海量数据，避免大量数据写入及查询对系统造成的极大压力，达到了对海量数据的存储，满足了用户实时查询的需求。具体而言，本专利技术提供了以下技术方案：首先，本专利技术提供了一种车船位置数据存储方法，所述方法包括：步骤1、采集车船位置数据并预处理所述车船位置数据；步骤2、通过分层存储的方式，存储处理后的所述车船位置数据。优选地，所述分层存储分为实时数据层和历史数据层；在所述实时数据层和所述历史数据层分别执行查询函数。优选地，所述步骤2详细包括：步骤201、存储所述车船位置数据，将接收的最新的同一时刻的所述车船位置数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；步骤202、依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；步骤203、当所述查询函数满足预设条件时，合并所述历史结果集和所述实时结果集，以获得最终数据集。优选地，所述步骤201中，所述预设条件至少是以下的一种或其任意组合：存储时数据导入的时间长度达到预设时间长度；导入数据的字符串长度达到预设值；导入的数据条数达到预设值；将数据量大小超过预设值的前L条数据导入到历史数据层，L为大于等于1的自然数。优选地，所述步骤203中，所述查询函数满足的预设条件为：所述查询函数满足可将计算分解到多台服务器并行运算；可结合各自的部分运算结果得到最终结果；部分运算结果可储存下来被别的运算共享利用。优选地，所述车船位置服务平台中的车船位置数据来源于全国货运服务平台和海事船舶定位平台，所述车船位置服务平台整合所述车船位置信息数据，其记录车船的静态数据以及货物运输集配电子商务平台和全息地图应用平台车船位置信息数据；所述货物运输集配电子商务平台和全息地图应用平台需要位置查询服务时，通过所述车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理。优选地，依据所述车船位置信息数据分析车船运行行为，建立车船运行行为模型。在建立或已经建立的模型的基础上，还可以根据上述车船运行行为，对模型进行优化，从而为后续的车船使用等提供有效的数据依据。优选地，所述车船位置信息数据来源于以下至少之一：全国货运服务平台、海事船舶定位平台、电信基站、大网定位采集的手机位置信息、北斗车辆监控平台、GPS监控平台等。优选地，所述车船位置信息数据格式及长度相同。例如，由于固定时间记录一次所述车船位置信息数据，则所有的所述车船位置信息数据格式id,time,lng,lat,vel长度固定，优先的，可以不记录时间time，所述车船位置信息数据格式为id,lng,lat,vel，这样每条车辆记录均变成等长数组，位置信息在时间轴上顺次展开。此外，本专利技术还提供了一种车船位置数据存储系统，所述系统包括：数据采集部，用于采集实体位置数据并对所述位置数据预处理，所述实体位置信息数据至少包括车船位置数据；存储部，用于通过分层存储的方式，存储所述处理后的车船位置数据。优选地，所述存储部分为实时数据存储部和历史数据存储部，所述实时数据存储部用于存储实时数据，所述历史数据存储部用于存储历史数据。优选地，所述存储部进一步包括：数据导入模块，将接收的最新的同一时刻的所述车船位置信息数据存储到实时数据层，并循环存储下一时刻的车船位置信息数据，当存储达到预设条件时，将所述实时数据层的所述车船位置信息数据批量转移到历史数据层；结果集生成模块，依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；数据合并模块，当所述查询函数满足预设条件时，合并所述历史结果集合所述实时结果集，以获得最终数据集。优选的，所述实体至少包括货源、车辆、船舶、港口码头、仓库中的一种。本专利技术针对车船位置信息数据整合和存储难的问题，提出使用分层存储的方式对车船位置信息数据进行存储，首先对车船位置信息数据进行整合，数据来源主要来源于5种平台提供的服务，建立一个独立的车船位置服务平台整合以上各数据源，使用该分成存储的方法，数据查询复杂度为O(1)，查询速度会非常快。附图说明图1为本专利技术的车船位置服务平台的数据来源结构图；图2是本专利技术的分层存储位置数据的结构图。具体实施方式结合附图对本专利技术实施例一种应用程序推荐方法及装置进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。术语说明：(1)809协议，该标准规定了道路运输车辆卫星定位系统监管/监控平台之间数据交换的技术要求，包括通信方式、安全认证、功能实现流程、协议消息格式和数据实体格式等内容，该标准适用于道路运输车辆卫星定位系统监管/监控平台之间的数据交换；(2)808协议，该标准规定了道路运输车辆卫星定位系统车载终端与监管/监控平台之间的通讯协议与数据格式，包括协议基础、通信连接、消息处理、协议分类与说明及数据格式，本标准适用于道路运输车辆卫星定位系统车载终端和平台之间的通信；(2)MapReduce，是一种编程模型，用于大规模数据集的并行运算。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本专利技术为进一步解释具体的
技术实现思路
而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本专利技术明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本专利技术的保护范围的理解。实施例1：本专利技术提供了一种基于车船位置服务平台的位置数据处理方法及系统，具体如下：车船位置服务平台整合所述车船位置信息数据，其记录车船的静态数据以及货物运输集配电子商务平台和全息地图应用平台车船位置信息数据；所述货物运输集配电子商务平台和全息地图应用平台需要位置查询服务时，通过所述车船位置服务平台提供的服务接口获取车船位置信息数据并进行处理。如图1所述车船位置信息数据来源于至少以下5种应用所提供的服务：1)通过电信基站或大网定位采集的手本文档来自技高网...

【技术保护点】
一种车船位置数据存储方法，其特征在于，所述方法包括：步骤1、车船位置服务平台采集车船位置数据并进行预处理；步骤2、通过分层存储的方式，存储所述处理后的车船位置数据；所述分层存储分为实时数据层和历史数据层；在所述实时数据层和所述历史数据层分别执行查询函数。

【技术特征摘要】
1.一种车船位置数据存储方法，其特征在于，所述方法包括：步骤1、车船位置服务平台采集车船位置数据并进行预处理；步骤2、通过分层存储的方式，存储所述处理后的车船位置数据；所述分层存储分为实时数据层和历史数据层；在所述实时数据层和所述历史数据层分别执行查询函数。2.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括：步骤201、存储所述车船位置数据，将接收的最新的同一时刻的所述车船位置数据存储到实时数据层，并循环存储下一时刻的车船位置数据，当存储达到预设条件时，将所述实时数据层的所述车船位置数据批量转移到历史数据层；步骤202、依据查询函数，在所述实时数据层以及所述历史数据层上预先计算并保存查询结构，以在所述历史数据层上构建历史结果集，并在所述实时数据层上构建实时结果集；步骤203、当所述查询函数满足预设条件时，合并所述历史结果集合和所述实时结果集，以获得最终数据集。3.根据权利要求2所述的方法，其特征在于，所述步骤201中所述预设条件至少是以下的一种或其任意组合：存储时数据导入的时间长度达到预设时间长度；导入数据的字符串长度达到预设值；导入的数据条数达到预设值；将数据量大小超过预设值的前L条数据导入到历史数据层，L为大于等于1的自然数。4.根据权利要求2所述的方法，其特征在于，所述步骤203中，所述查询函数满足的预设条件为：可将计算分解到多台服务器并行运算；可结合各自的部分运算结果得到最终结果；部分运算结果可储存下来被别的运算共享利用。5.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：施文进，胡芳槐，施作永，施俊，阎九吉，郁培昌，蒋宇一，
申请(专利权)人：惠龙易通国际物流股份有限公司，镇江惠龙长江港务有限公司，江苏惠银科技股份有限公司，
类型：发明
国别省市：江苏;32