一种高效提取车联网高阶数据的方法及系统技术方案

本发明专利技术公开了一种高效提取车联网高阶数据的方法及系统，方法为确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；速获取索引，快速返回所需的高阶统计数据。将所有大量的线性低阶数据进行结构化处理，减少了数据冗余，同时半清洗数据，节约了管理成本；可利用现有成熟的开源分布式搜素引擎服务器，节约成本，解决短期技术瓶颈；高缓存数据与分布式搜索引擎的数据备份双保险。

An efficient method and system for extracting high-order data from the Internet of vehicles

【技术实现步骤摘要】
一种高效提取车联网高阶数据的方法及系统
本专利技术涉及车联网
，尤其涉及一种高效提取车联网高阶数据的方法及系统。
技术介绍
在开发车联网相关项目中，数据库每天实时更新了大量的基于车辆行程的低阶原始数据，存在检索复杂结构化数据(高阶数据)过慢和调用外部API并处理数据过慢或者超时的问题。现有技术大致分为两种：第一种：不进行高阶处理，直接在原始低阶数据上处理检索出所需数据进行统计，实时添加入数据库，获取最终数据的速度也不慢，但是会有过多的零散数据库，命名规范不统一、数据存在不少冗余、增加了开发成本也增加了管理成本，权限控制也不够自由。第二种：在生成结构化数据之后，使用缓存数据库做一个缓冲操作，让请求先访问到缓存数据库而不是直接访问数据库，缓存数据库中没有的数据再请求访问数据库，同样可以做到快速索引，但是缺点为缓存数据库服务宕机之后数据库中的修改会导致缓存数据库中数据存在漏数据或者同步出错的情况，并且如果用户请求了低频数据，就会重现耗时过久的问题，初次之外缓存数据库会存在数据量过大消息延迟问题，依然会造成数据流转过多单耗时过久的问题。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种高效提取车联网高阶数据的方法及系统，提出整理低阶原始数据形成结构化数据，再利用高缓存同步守护程序与非关系型数据库实时同步到分布式全文搜索引擎，建立新的用于处理大数据和大数据统计量的映射和索引，来实现高阶统计数据的快速读取，以达到解决单条大尺寸数据回调过慢或者超时的问题。r>为实现上述目的，本专利技术提供了一种高效提取车联网高阶数据的方法，步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；步骤四：快速获取索引，快速返回所需的高阶统计数据。进一步地，所述步骤四快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。进一步地，所述结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。一种高效提取车联网高阶数据的系统，包括：高缓存同步守护模块，用于将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；映射和索引创建模块，用于在分布式全文搜索引擎中创建新的映射和索引；索引获取模块，用于快速获取索引，快速返回所需的高阶统计数据。进一步地，所述索引获取模块快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。进一步地，所述高缓存同步守护模块中，结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。本专利技术的有益效果是：1)将所有大量的线性低阶数据进行结构化处理，减少了数据冗余，同时半清洗数据，节约了管理成本；2)可利用现有成熟的开源分布式搜素引擎服务器，节约成本，解决短期技术瓶颈；3)高缓存数据与分布式搜索引擎的数据备份双保险。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的方法流程图。图2是本专利技术的系统原理框图。具体实施方式如图1所示，本专利技术提供一种高效提取车联网高阶数据的方法，步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；步骤四：快速获取索引，快速返回所需的高阶统计数据。本实施例中，所述步骤四快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。本实施例中，所述结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。如图2所示，本专利技术提供一种高效提取车联网高阶数据的系统，包括：高缓存同步守护模块，用于将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；映射和索引创建模块，用于在分布式全文搜索引擎中创建新的映射和索引；索引获取模块，用于快速获取索引，快速返回所需的高阶统计数据。本实施例中，所述索引获取模块快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。本实施例中，所述高缓存同步守护模块中，结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。本专利技术基于分布式非关系型数据库和分布式全文搜索引擎，快速实现处理分析统计大量冗余低阶数据到高阶数据，安全稳定地解决创业公司前期的技术瓶颈并节约了成本。具有以下有益效果：1)将所有大量的线性低阶数据进行结构化处理，减少了数据冗余，同时半清洗数据，节约了管理成本；2)可利用现有成熟的开源分布式搜素引擎服务器，节约成本，解决短期技术瓶颈；3)高缓存数据与分布式搜索引擎的数据备份双保险。以上详细描述了本专利技术的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本专利技术的构思做出诸多修改和变化。因此，凡本
中技术人员依本专利技术的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。本文档来自技高网...

【技术保护点】
1.一种高效提取车联网高阶数据的方法，其特征在于：/n步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；/n步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；/n步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；/n步骤四：快速获取索引，快速返回所需的高阶统计数据。/n

【技术特征摘要】
1.一种高效提取车联网高阶数据的方法，其特征在于：
步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；
步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；
步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；
步骤四：快速获取索引，快速返回所需的高阶统计数据。


2.如权利要求1所述的一种高效提取车联网高阶数据的方法，其特征在于：所述步骤四快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。


3.如权利要求1所述的一种高效提取车联网高阶数据的方法，其特征在于：所述结构化数据库从多个原始低阶数据...

【专利技术属性】
技术研发人员：程清远，周泽成，糜长军，黄顺，马思铖，周梅，
申请(专利权)人：江苏货斯基网络科技有限公司，
类型：发明
国别省市：江苏;32