一种数据存储和查询的方法和装置制造方法及图纸

本发明专利技术实施例提供一种数据存储和查询的方法和装置，依据预设的副本实例类型创建各个副本；注册创建副本的数据服务器的注册信息；接收原始数据，依据注册信息，将原始数据发送至数据服务器；接收原始数据，并将原始数据写入副本中；接收查询命令，解析查询命令，获得查询命令的特征，依据特征，在副本中选择与特征对应的副本执行查询命令，并反馈查询结果。通过本发明专利技术实施例提供的方法和装置，可以针对不同的查询特征，采用不同的副本存储原始数据；不需要维护多个存储集群，简化了运维操作；在查询过程中，动态分析查询语句的特征，依据查询语句的特征，选择相应的副本执行查询命令；从而针对查询语句提供最优的检索性能，提高了查询的效率。

【技术实现步骤摘要】

本专利技术涉及车联网
，特别是涉及一种数据存储和查询的方法和装置。
技术介绍
车联网是物联网领域的一个典型应用，其主要基于SOA(Service-Oriented Architecture，面向服务的体系结构)架构的应用定制服务。涉车信息资源是国家战略资源，其应用将对我国国民经济活动和社会管理服务产生重大影响，对构建中国物联网，发挥基础性支撑作用。在车联网系统中，如何对涉车数据进行管理是必须解决的关键问题。车联网数据存储及复杂查询系统作为车联网后台的数据处理子系统，管理整个涉车信息资源，为上层云平台的各种应用提供查询服务和为数据挖掘分析提供支持。车联网的原始数据可以按照不同的特点划分为两个集合。集合一主要是动态数据，主要包括车辆的行驶信息，该集合数据是不断动态增加的，一般不涉及删除和修改操作，因此，动态数据的数据量较为庞大(TB级)；集合二主要是静态数据，包含基站、车辆等的相关信息，该静态数据和动态数据相比，只存在极少的修改，因此，静态数据的数据量相对较小。目前，管理原始数据的方法是，首先在物理数据集中存储一份原始数据，然后再建立多维度索引，面向多样性分析。这种方案的优点是：只保持一份原始数据，则根据需求随时建立索引。但对于动态数据这样的大规模数据则无法适应，因为数据库的索引对于动态数据存储和查询上先天不足，会产生索引碎片、拖慢写入性能、索引过大、无法载入内存等问题。因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何存储原始数据，并且快速查询原始数据。
技术实现思路
本专利技术实施例提供一种数据存储和查询的方法和装置，用以解决现有技术中查询大规模动态原始数据效率较低的技术问题。为了解决上述问题，本专利技术实施例公开了一种数据存储和查询的方法，包括：依据预设的副本实例类型，创建各个副本；注册创建所述副本的数据服务器的注册信息；接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器；所述数据服务器接收所述原始数据，并将所述原始数据写入所述副本中；接收查询命令，解析所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果。优选地，所述预设的副本实例类型包括：精确查询副本实例、时序范围查询副本实例和离线批量查询副本实例；则所述依据预设的副本实例类型，创建各个副本，包括：依据所述精确查询副本实例，创建key value副本；依据所述时序范围查询副本实例，创建sorted table副本；依据所述离线批量查询副本实例，创建file文件存储副本。优选地，所述注册信息包括：数据服务器的地址和数据服务器的表结构信息；则所述接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器，包括：接收所述原始数据，依据所述数据服务器的地址和所述数据服务器的表结构信息，将所述原始数据发送至所述数据服务器。优选地，所述数据服务器接收所述原始数据，并将所述原始数据写入所述副本中，包括：所述数据服务器依据所述数据服务器的表结构信息，获取与所述数据服务器的表结构信息对应的副本位置；所述数据服务器依据所述副本位置，将所述原始数据并行写入所述副本
中。优选地，所述接收查询命令，解析所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果，包括：接收查询命令，并解析所述查询命令，获得所述查询命令的谓词；分析所述查询命令的谓词的类型，若所述谓词属于精确查询类型，则选择key value副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于范围查询类型，则选择sorted table副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于离线批量查询类型，则选择file文件存储副本执行所述查询命令，并反馈所述查询结果。优选地，在所述依据预设的副本实例类型，创建相应的副本实例之后，还包括：将各个所述副本保存在不同的磁盘上。为了解决上述问题，本专利技术实施例还公开了一种数据存储和查询的装置，包括：副本创建模块，用于依据预设的副本实例类型，创建各个副本；注册信息模块，用于注册创建所述副本的数据服务器的注册信息；原始数据接收模块，用于接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器；原始数据写入模块，设置于所述数据服务器中，用于接收所述原始数据，并将所述原始数据写入所述副本中；查询命令接收模块，用于接收查询命令，解析所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果。优选地，所述预设的副本实例类型包括：精确查询副本实例、时序范围查询副本实例和离线批量查询副本实例；则所述副本创建模块具体用于，依据所述精确查询副本实例，创建key value副本；依据所述时序范围查询副本实例，创建sorted table副本；依据所述离线批量查询副本实例，创建file文件存储副本。优选地，所述注册信息包括：数据服务器的地址和数据服务器的表结构信息；则所述原始数据接收模块，具体用于接收所述原始数据，依据所述数据服务器的地址和所述数据服务器的表结构信息，将所述原始数据发送至所述数据服务器。优选地，所述原始数据写入模块，包括：副本位置获取单元，用于依据所述数据服务器的表结构信息，获取与所述数据服务器的表结构信息对应的副本位置；原始数据写入单元，用于依据所述副本位置，将所述原始数据并行写入所述副本中。优选地，所述查询命令的特征为查询命令的谓词；所述查询命令接收模块包括：谓词获取单元，用于接收查询命令，并解析所述查询命令，获得所述查询命令的谓词；谓词类型分析单元，用于分析所述查询命令的谓词的类型，若所述谓词属于精确查询类型，则选择key value副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于范围查询类型，则选择sorted table副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于离线批量查询类型，则选择file文件存储副本执行所述查询命令，并反馈所述查询结果。优选地，所述装置还包括：副本保存模块，用于将各个所述副本保存在不同的磁盘上。本专利技术实施例提供的一种数据存储和查询的方法和装置，可以针对不同的查询特征，采用不同的副本存储原始数据；不需要维护多个存储集群，简化了运维操作；在查询过程中，动态分析查询语句的特征，依据查询语句的特征，选择相应的副本执行查询命令；从而针对查询语句提供最优的检索性能，提高了查询的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的一种数据存储和查询的方法的流程示意图；图2是本专利技术实施例二提供的一种数据存储和查询的装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例本文档来自技高网...

【技术保护点】
一种数据存储和查询的方法，其特征在于，包括：依据预设的副本实例类型，创建各个副本；注册创建所述副本的数据服务器的注册信息；接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器；所述数据服务器接收所述原始数据，并将所述原始数据写入所述副本中；接收查询命令，解析所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果。

【技术特征摘要】
1.一种数据存储和查询的方法，其特征在于，包括：依据预设的副本实例类型，创建各个副本；注册创建所述副本的数据服务器的注册信息；接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器；所述数据服务器接收所述原始数据，并将所述原始数据写入所述副本中；接收查询命令，解析所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果。2.根据权利要求1所述的方法，其特征在于，所述预设的副本实例类型包括：精确查询副本实例、时序范围查询副本实例和离线批量查询副本实例；则所述依据预设的副本实例类型，创建各个副本，包括：依据所述精确查询副本实例，创建key value副本；依据所述时序范围查询副本实例，创建sorted table副本；依据所述离线批量查询副本实例，创建file文件存储副本。3.根据权利要求1所述的方法，其特征在于，所述注册信息包括：数据服务器的地址和数据服务器的表结构信息；则所述接收原始数据，依据所述注册信息，将所述原始数据发送至所述数据服务器，包括：接收所述原始数据，依据所述数据服务器的地址和所述数据服务器的表结构信息，将所述原始数据发送至所述数据服务器。4.根据权利要求3所述的方法，其特征在于，所述数据服务器接收所述原始数据，并将所述原始数据写入所述副本中，包括：所述数据服务器依据所述数据服务器的表结构信息，获取与所述数据服务器的表结构信息对应的副本位置；所述数据服务器依据所述副本位置，将所述原始数据并行写入所述副本中。5.根据权利要求1所述的方法，其特征在于，所述接收查询命令，解析
\t所述查询命令，获得所述查询命令的特征，依据所述特征，在所述副本中选择与所述特征对应的副本执行所述查询命令，并反馈查询结果，包括：接收查询命令，并解析所述查询命令，获得所述查询命令的谓词；分析所述查询命令的谓词的类型，若所述谓词属于精确查询类型，则选择key value副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于范围查询类型，则选择sorted table副本执行所述查询命令，并反馈所述查询结果；若所述查询命令的谓词属于离线批量查询类型，则选择file文件存储副本执行所述查询命令，并反馈所述查询结果。6.根据权利要求1所述的方法，其特征在于，在所述依据预设的副本实例类型，创建相应的副本实例之后，还包...

【专利技术属性】
技术研发人员：康华，陈轶飞，杜熙，
申请(专利权)人：乐视致新电子科技天津有限公司，
类型：发明
国别省市：天津;12