一种高效提取车联网高阶数据的方法及系统技术方案

本发明专利技术公开了一种高效提取车联网高阶数据的方法及系统，方法为确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；速获取索引，快速返回所需的高阶统计数据。将所有大量的线性低阶数据进行结构化处理，减少了数据冗余，同时半清洗数据，节约了管理成本；可利用现有成熟的开源分布式搜素引擎服务器，节约成本，解决短期技术瓶颈；高缓存数据与分布式搜索引擎的数据备份双保险。

An efficient method and system for extracting high-order data from the Internet of vehicles

【技术实现步骤摘要】
一种高效提取车联网高阶数据的方法及系统
本专利技术涉及车联网
，尤其涉及一种高效提取车联网高阶数据的方法及系统。
技术介绍
在开发车联网相关项目中，数据库每天实时更新了大量的基于车辆行程的低阶原始数据，存在检索复杂结构化数据(高阶数据)过慢和调用外部API并处理数据过慢或者超时的问题。现有技术大致分为两种：第一种：不进行高阶处理，直接在原始低阶数据上处理检索出所需数据进行统计，实时添加入数据库，获取最终数据的速度也不慢，但是会有过多的零散数据库，命名规范不统一、数据存在不少冗余、增加了开发成本也增加了管理成本，权限控制也不够自由。第二种：在生成结构化数据之后，使用缓存数据库做一个缓冲操作，让请求先访问到缓存数据库而不是直接访问数据库，缓存数据库中没有的数据再请求访问数据库，同样可以做到快速索引，但是缺点为缓存数据库服务宕机之后数据库中的修改会导致缓存数据库中数据存在漏数据或者同步出错的情况，并且如果用户请求了低频数据，就会重现耗时过久的问题，初次之外缓存数据库会存在数据量过大消息延迟问题，依然会造成数据流转过多单耗时过久的本文档来自技高网...

【技术保护点】
1.一种高效提取车联网高阶数据的方法，其特征在于：/n步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；/n步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；/n步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；/n步骤四：快速获取索引，快速返回所需的高阶统计数据。/n

【技术特征摘要】
1.一种高效提取车联网高阶数据的方法，其特征在于：
步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；
步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；
步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；
步骤四：快速获取索引，快速返回所需的高阶统计数据。


2.如权利要求1所述的一种高效提取车联网高阶数据的方法，其特征在于：所述步骤四快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。


3.如权利要求1所述的一种高效提取车联网高阶数据的方法，其特征在于：所述结构化数据库从多个原始低阶数据...

【专利技术属性】
技术研发人员：程清远，周泽成，糜长军，黄顺，马思铖，周梅，
申请(专利权)人：江苏货斯基网络科技有限公司，
类型：发明
国别省市：江苏;32