【技术实现步骤摘要】
一种面向新型城轨列车大数据的高伸缩分布式索引方法
本专利技术涉及了一种计算机数据库的键值模型数据存储和索引方法，具体是涉及了一种面向新型城轨列车大数据的高伸缩分布式索引方法。
技术介绍
新型城轨列车运行过程中会产生大量的结构化和非结构化的数据，包括传感器采集的各项数据、车辆运维日志记录等等。因此需要选择合理的存储模型对各种异构数据进行统一的存储管理。传统的关系模型数据库受限于扩展性，不适合用来管理体量庞大的数据，也难以提供高效的数据处理能力；而NoSQL数据存储系统则具备良好的伸缩性，可以轻松地部署在分布式集群上以存储庞大的数据量，并利用集群的并行处理能力快速完成计算任务。新型城轨列车大数据管理系统通常使用键值存储模型作为其数据存储方式，具体地，它将每条数据记录简单地表示为一个二元组<键，值>，其中“键”是该条记录的唯一标识符，而“值”则可以存储各种单一或复合的数据对象。键值存储的好处是支持快速的顺序读写，并且具有良好的可扩展性。辅助索引是数据库领域中一种常见的用于加速数据查询的方法。在对数据中的...
【技术保护点】
1.一种面向新型城轨列车大数据的高伸缩分布式索引方法，其特征在于：包含以下步骤：/n1)针对新型城轨列车大数据采用服务器集群进行存储构建数据库，将服务器集群中的节点相互连接，一个服务器为一个节点，形成一个图状拓扑结构的服务器集群；根据新型城轨列车大数据构建辅键的整个取值空间，然后将辅键的整个取值空间划分给若干辅键索引范围，并根据服务器集群节点的互连关系，为每台服务器分配一个辅键索引范围作为索引区间；/n具体包含以下具体步骤：/n1.1)将新型城轨列车大数据中需要建立索引的键值对中的值的属性名作为辅键，以所有值中的属性值取值空间作为辅键的整个取值空间，将辅键的整个取值空间划分...
【技术特征摘要】
1.一种面向新型城轨列车大数据的高伸缩分布式索引方法，其特征在于：包含以下步骤：
1)针对新型城轨列车大数据采用服务器集群进行存储构建数据库，将服务器集群中的节点相互连接，一个服务器为一个节点，形成一个图状拓扑结构的服务器集群；根据新型城轨列车大数据构建辅键的整个取值空间，然后将辅键的整个取值空间划分给若干辅键索引范围，并根据服务器集群节点的互连关系，为每台服务器分配一个辅键索引范围作为索引区间；
具体包含以下具体步骤：
1.1)将新型城轨列车大数据中需要建立索引的键值对中的值的属性名作为辅键，以所有值中的属性值取值空间作为辅键的整个取值空间，将辅键的整个取值空间划分为若干不相交的小区间，每个小区间作为一个辅键索引范围；
1.2)然后构建一颗二叉树，二叉树的节点数量和辅键索引范围的数量相同，并将各个辅键索引范围分配给二叉树的各个节点，使得二叉树从左往右的节点的辅键索引范围依次增大；
1.3)将步骤1.2)中构建的二叉树映射到服务器集群上，使得二叉树上的每个节点对应服务器集群中的一台服务器，每台服务器使用对应节点的辅键索引范围作为服务器的索引区间；
1.4)根据二叉树中节点的互连关系，在节点对应的服务器之间建立相同互连关系的传输链接，并且在二叉树的同一层节点的服务器之间也建立传输链接，形成一个图状拓扑结构的服务器集群；
2)将新型城轨列车大数据的键值类型数据进行分片，并分布式地存储到服务器集群的各台服务器上，每台服务器对其本地的数据分片建立分片索引；
3)每台服务器从本地的分片索引中选取中间节点，并建立外链索引发布到服务器集群的确定服务器上；
3.1)每台服务器从其本地的分片索引中选取索引结点，对选取的每个索引结点建立一条外链索引<IP地址，索引结点信息>，IP地址为当前服务器对应的网络地址，索引结点信息为该索引结点的详细信息，包括当前服务器的辅键索引范围和该索引结点在分片索引中的存储位置；
3.2)对于步骤3.1)中建立的每条外链索引，在服务器集群中寻找一台服务器，以该台服务器节点为根节点的子树下所包含的所有节点的辅键索引...
【专利技术属性】
技术研发人员：陈刚，刘晋，潘硕，李辉，张哲槟，江大伟，陈珂，吴晓凡，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。