海量数据分布式存储系统技术方案

本发明专利技术涉及一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，其特征在于，所述大数据存储模块针对车载智能终端所上传的大数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据进行存储和管理。本发明专利技术能够为云计算系统提供运行的基础。

【技术实现步骤摘要】
海量数据分布式存储系统
本专利技术涉及数据存储
，特别是涉及一种海量数据分布式存储系统。
技术介绍
为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。在实际工作中，对海量数据进行处理是一项艰巨而复杂的任务，其原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。三、要求很高的处理方法和技巧。好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。因此亟需一种海量数据分布式存储系统来解决上述问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种海量数据分布式存储系统，能够为云计算系统提供运行的基础。本专利技术解决其技术问题所采用的技术方案是：提供一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，所述大数据存储模块针对车载智能终端所上传的大数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据进行存储和管理。所述大数据存储模块由索引数据节点和数据节点组成，文件的元数据存储在所述索引数据节点，数据分散存储在不同的数据节点上。所述大数据存储模块中每一份数据都有其副本数据，主数据和副本数据之间通过分布式日志系统保证一致性。所述小数据存储模块采用存储虚拟化技术将存储硬件、存储软件和存储管理进行有机整合，形成一个支持虚拟化的可扩展的曙光云存储；所述存储软件采用虚拟化技术将存储节点构成存储池。所述的海量数据分布式存储系统还包括灾备存储模块，所述灾备存储模块用于对存储的车辆日常关键数据进行容灾备份。所述海量数据分布式存储系统采用时空数据库技术与海量数据分布式存储相结合的方式对物流信息进行有效管理。所述时空数据库技术基于车辆管理时空数据模型，所述时空数据模型包括数据接入及预处理模块、数据库组织模块和数据库查询模块；所述数据接入及预处理模块采用mmap内存文件映射技术，将磁盘文件直接映射到内存，并且构建内存索引，建立基于哈希映射的缓存技术实现数据接入，选择MapReduce的并行计算模型实现针对海量轨迹数据的并行轨迹数据插值以及轨迹数据压缩算法实现数据预处理；所述数据库组织模块将用于计算的路网拓扑数据与用于描述的路网几何数据分离表达，并分别在垂直方向分层抽象，在水平方向区域划分，构建多尺度路网数据模型；所述数据库查询模块利用R树及变形树、GRID文件、四叉树和X树实现移动目标在三维空间中的空间索引方式建立。所述海量数据分布式存储系统采用的数据库由业务基础数据库、空间数据库、索引数据库、专题数据库和元数据库组成；所述业务基础数据库，用来保存采集到的原始数据，并且不可修改；所述空间数据库，用于存储本项目的空间数据，统一为应用提供空间数据服务；所述索引数据库，在当需要查找相关数据时，根据索引能够在快速寻找到需要的数据；所述专题数据库，用于读取所述业务基础数据根据相关要求进行分析所得到的专题成果数据；所述元数据库，用于存储描述数据库的信息。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术利用大数据存储模块存储车载智能终端所上传的大数据，利用小数据存储模块存储车载智能终端所上传的小数据，在处理大数据时通过分布式日志系统保证数据的一致性，在处理小数据时采用存储虚拟化技术进行有机整合使每个用户的数据互相独立，从而为云计算系统提供运行的基础。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，所述大数据存储模块针对车载智能终端所上传的大数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据进行存储和管理。该分布式存储系统提供海量数据的存储与管理服务，是云计算系统运行的基础。大数据存储模块是针对车载智能终端所上传的大数据进行存储和管理的模块，如运输车辆报警之后的关键音视频数据等，其数据量较大，则可以用此存储模块进行存储。该模块主要由索引数据节点和数据节点组成，一般文件的元数据存储在索引数据节点，而数据则分散存储在不同的数据节点上。在该模块中，每一份数据都有其副本数据，主数据和副本数据之间通过分布式日志系统保证它们之间的一致性。平时只有主数据提供访问，当主数据所在节点失效后，访问自动切换到副本数据上。小数据存储模块是针对车载智能终端所上传的小数据进行存储和管理的模块，如运输车辆的位置信息和车辆传感信息，其数据通常较小，则可以用此存储模块进行存储。该模块采用存储虚拟化技术将存储硬件、存储软件和存储管理进行有机整合，形成了一个支持虚拟化的可扩展的曙光云存储，并提供统一的管理平台，简化系统管理员工作。通过存储管理软件，采用虚拟化技术众多存储节点构成存储池，可以支持超过10,000个虚拟卷，这些虚拟卷可以分配给不同的用户使用，用户可以共用这些硬件，但没法存取其他用户的数据，每个用户的数据是互相独立的。所述的海量数据分布式存储系统还包括灾备存储模块，所述灾备存储模块用于对存储的车辆日常关键数据进行容灾备份。在灾难发生时，灾备存储模块可以用备份数据对车辆日常关键数据进行恢复。海量数据存储与管理技术能够提供一个稳定的共享存储和分析系统，实现对海量数据的存储与管理，每一个数据节点都有两个备份节点，当该数据节点出现问题时，可以根据预先设置好的策略使用备份机，从而提高数据的可靠性，保证平台的服务质量。在物流环境下，对海量信息进行高效、可靠的组织、处理、传输和存储，是解决海量信息的协同性和可生存性问题的基础。海量的物流数据和信息均是时空相关的，因此，对时空数据进行有效的组织并建立索引，能够极大的提升整个系统的性能和实时性。为此，需要采用时空数据库技术与海量数据分布式存储相结合的方式，对物流信息进行有效管理。时空数据库技术是计算机科学的新兴领域，用于处理海量的具有时态和空间属性的数据。物流信息数据中的时空相关数据直接存入时空数据库，建立时空数据模型，采用一种信息分离混合索引算法用于索引与车辆相关的时空信息，该算法中采用了改进的哈希表，用于索本文档来自技高网...

【技术保护点】
1.一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，其特征在于，所述大数据存储模块针对车载智能终端所上传的大数据量数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据量数据进行存储和管理，所述海量数据分布式存储系统采用时空数据库技术与海量数据分布式存储相结合的方式对物流信息进行有效管理，所述时空数据库技术基于车辆管理时空数据模型，所述时空数据模型包括数据接入及预处理模块、数据库组织模块和数据库查询模块；所述数据接入及预处理模块采用mmap内存文件映射技术，将磁盘文件直接映射到内存，并且构建内存索引，建立基于哈希映射的缓存技术实现数据接入，选择MapReduce的并行计算模型实现针对海量轨迹数据的并行轨迹数据插值以及轨迹数据压缩算法实现数据预处理；所述数据库组织模块将用于计算的路网拓扑数据与用于描述的路网几何数据分离表达，并分别在垂直方向分层抽象，在水平方向区域划分，构建多尺度路网数据模型；所述数据库查询模块利用R树及变形树、GRID文件、四叉树和X树实现移动目标在三维空间中的空间索引方式建立。

【技术特征摘要】
1.一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，其特征在于，所述大数据存储模块针对车载智能终端所上传的大数据量数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据量数据进行存储和管理，所述海量数据分布式存储系统采用时空数据库技术与海量数据分布式存储相结合的方式对物流信息进行有效管理，所述时空数据库技术基于车辆管理时空数据模型，所述时空数据模型包括数据接入及预处理模块、数据库组织模块和数据库查询模块；所述数据接入及预处理模块采用mmap内存文件映射技术，将磁盘文件直接映射到内存，并且构建内存索引，建立基于哈希映射的缓存技术实现数据接入，选择MapReduce的并行计算模型实现针对海量轨迹数据的并行轨迹数据插值以及轨迹数据压缩算法实现数据预处理；所述数据库组织模块将用于计算的路网拓扑数据与用于描述的路网几何数据分离表达，并分别在垂直方向分层抽象，在水平方向区域划分，构建多尺度路网数据模型；所述数据库查询模块利用R树及变形树、GRID文件、四叉树和X树实现移动目标在三维空间中的空间索引方式建立。2.根据权利要求1所述的海量数据分布式存储系统，其特征在于，所述大数据存储模块由索引数据节点和数据节点组成，文件的元数据存储在...

【专利技术属性】
技术研发人员：李昕哲，孙志远，詹艳娜，张森，张贺，
申请(专利权)人：北京华油信通科技有限公司，
类型：发明
国别省市：北京,11