本申请涉及大数据技术领域，特别涉及一种数据维表的生成方法、装置、服务器及存储介质，方法包括以下步骤：创建自动配置项目，并引入远程过程调用依赖、地理索引和组件事务监视器依赖；提供基于位置的服务LBS服务接口，利用服务LBS服务接口接收调用请求，根据调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析消费数据得到车辆的定位数据和唯一标识；利用位置数据查询拓扑树，得到车辆的位置编码数据，利用唯一标识查询数据库，得到车辆的车辆信息，根据编码数据和车辆信息生成数据维表，并同步数据维表至数据库。由此，解决了相关技术中数据维表生成过程中存在外部访问压力过大，数据延迟较长，可扩展性较差等问题。可扩展性较差等问题。可扩展性较差等问题。
【技术实现步骤摘要】
数据维表的生成方法、装置、服务器及存储介质
[0001]本申请涉及大数据
，特别涉及一种数据维表的生成方法、装置、服务器及存储介质。
技术介绍
[0002]在车联网大数据分析的实际生产中，往往需要以原始数据流作为基础，然后关联大量的外部基础表来补充一些属性，在Flink流式计算中，这些维表数据存在定时更新，需要根据业务进行关联，根据业务对维表数据关联的时效性要求，存在以下相关技术：
[0003](1)实时查询维表：一般会导致线程阻塞、Task等待数据返回，影响整体任务的吞吐量。
[0004](2)预加载全量数据：由于是将维表数据缓存在内存中，对计算节点的内存消耗很高，所以不能适用于数量很大的维度表。
[0005](3)LRU缓存：这种方式存在一定的数据延迟，并且需要额外设置每条数据的失效时间，由于热点数据经常被使用，故一直存在缓存中，因此一旦维表发生变更是无法感知数据变化的。
[0006](4)一种基于缓存的大数据处理维表存算系统及其方法：提供一种基于缓存的大数据处理维表存算方法，主要包括维表数据写入和维表关联计算，其中，维表数据写入可从批或流式数据源获取数据，将数据清洗转换后存入Redis缓存服务，维表关联计算应用于数据信息补全，从批或流式数据源获取业务数据，根据索引Key在Redis缓存中读取相应的扩展数据，以完成业务数据缺失字段的补齐，但缓存会存在关联数据过大而导致的内存溢出问题，且Redis本身对单Key大小有限制。
技术实现思路
[0007]本申请提供一种数据维表的生成方法、装置、服务器及存储介质，以解决相关技术中数据维表生成过程中存在外部访问压力过大，数据延迟较长，可扩展性较差等问题。
[0008]本申请第一方面实施例提供一种数据维表的生成方法，所述方法应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述方法包括以下步骤：创建自动配置项目，并引入远程过程调用依赖、地理索引和组件事务监视器依赖，其中，利用所述自动配置项目配置数据至所述拓扑树和所述数据库，利用所述远程过程调用依赖实现序列化和网络通信，利用所述地理索引查找车辆目标范围内的服务场所，利用所述组件事务监视器依赖供拓扑服务中的算法，对应计算空间位置关系和最小直径；提供基于位置的服务LBS(Location Based Services，基于位置的服务)服务接口，其中，利用所述服务LBS服务接口接收调用请求，根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识，利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信息，根据所述编码数据和所述车辆信息生成数据维表，并同步所述数据维表至所述
数据库。
[0009]可选地，在本申请的一个实施例中，所述利用所述自动配置项目配置数据至所述拓扑树和所述数据库，包括：利用所述自动配置项目对当前类路径下的类自动添加条件注解；根据所述条件注解将所述位置编码数据存入所述拓扑树、以及所述车辆信息存储所述数据库。
[0010]可选地，在本申请的一个实施例中，所述序列化采用二进制流，所述网络通信采用Socket通信机制。
[0011]可选地，在本申请的一个实施例中，数据维表的生成方法还包括：引入环形缓冲区，利用所述环形缓冲区将车辆历史轨迹的分析结果写入所述数据库，其中，所述环形缓冲区是嵌入式系统中的一种数据结构，利用指针去访问该缓冲区的最后一个内存位置的后一位置时回到环形缓冲区的起点。
[0012]本申请第二方面实施例提供一种数据维表的生成方法，所述方法应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述方法包括以下步骤：识别基于位置的服务LBS服务接口的调用请求；根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识；利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信息，根据所述编码数据和所述车辆信息生成数据维表，并同步所述数据维表至所述数据库。
[0013]可选地，在本申请的一个实施例中，在识别基于位置的服务LBS服务接口的调用请求之前，还包括：创建自动配置项目，利用所述自动配置项目配置数据至所述拓扑树和所述数据库；引入远程过程调用依赖，利用所述远程过程调用依赖实现序列化和网络通信；引入地理索引，利用所述地理索引查找车辆目标范围内的服务场所；引入组件事务监视器依赖，利用所述组件事务监视器依赖供拓扑服务中的算法，对应计算空间位置关系和最小直径。
[0014]本申请第三方面实施例提供一种数据维表的生成装置，所述装置应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述装置包括：创建模块，用于创建自动配置项目，并引入远程过程调用依赖、地理索引和组件事务监视器依赖，其中，利用所述自动配置项目配置数据至所述拓扑树和所述数据库，利用所述远程过程调用依赖实现序列化和网络通信，利用所述地理索引查找车辆目标范围内的服务场所，利用所述组件事务监视器依赖供拓扑服务中的算法，对应计算空间位置关系和最小直径；提供模块，用于提供基于位置的服务LBS服务接口，其中，利用所述服务LBS服务接口接收调用请求，根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识，利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信息，根据所述编码数据和所述车辆信息生成数据维表，并同步所述数据维表至所述数据库。
[0015]可选地，在本申请的一个实施例中，所述创建模块进一步用于：利用所述自动配置项目对当前类路径下的类自动添加条件注解；根据所述条件注解将所述位置编码数据存入所述拓扑树、以及所述车辆信息存储所述数据库。
[0016]可选地，在本申请的一个实施例中，所述序列化采用二进制流，所述网络通信采用Socket通信机制。
[0017]可选地，在本申请的一个实施例中，数据维表的生成装置还包括：写入模块，用于引入环形缓冲区，利用所述环形缓冲区将车辆历史轨迹的分析结果写入所述数据库，其中，所述环形缓冲区是嵌入式系统中的一种数据结构，利用指针去访问该缓冲区的最后一个内存位置的后一位置时回到环形缓冲区的起点。
[0018]本申请第四方面实施例提供一种数据维表的生成装置，所述装置应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述装置包括：识别模块，用于识别基于位置的服务LBS服务接口的调用请求；获取模块，用于根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识；生成模块，用于利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据维表的生成方法，其特征在于，所述方法应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述方法包括以下步骤：创建自动配置项目，并引入远程过程调用依赖、地理索引和组件事务监视器依赖，其中，利用所述自动配置项目配置数据至所述拓扑树和所述数据库，利用所述远程过程调用依赖实现序列化和网络通信，利用所述地理索引查找车辆目标范围内的服务场所，利用所述组件事务监视器依赖供拓扑服务中的算法，对应计算空间位置关系和最小直径；提供基于位置的服务LBS服务接口，其中，利用所述服务LBS服务接口接收调用请求，根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识，利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信息，根据所述编码数据和所述车辆信息生成数据维表，并同步所述数据维表至所述数据库。2.根据权利要求1所述的方法，其特征在于，所述利用所述自动配置项目配置数据至所述拓扑树和所述数据库，包括：利用所述自动配置项目对当前类路径下的类自动添加条件注解；根据所述条件注解将所述位置编码数据存入所述拓扑树、以及所述车辆信息存储所述数据库。3.根据权利要求2所述的方法，其特征在于，所述序列化采用二进制流，所述网络通信采用Socket通信机制。4.根据权利要求2所述的方法，其特征在于，还包括：引入环形缓冲区，利用所述环形缓冲区将车辆历史轨迹的分析结果写入所述数据库，其中，所述环形缓冲区是嵌入式系统中的一种数据结构，利用指针去访问该缓冲区的最后一个内存位置的后一位置时回到环形缓冲区的起点。5.一种数据维表的生成方法，其特征在于，所述方法应用于服务器，所述服务器包括设置于内存中拓扑树和基于内存的数据库，其中，所述方法包括以下步骤：识别基于位置的服务LBS服务接口的调用请求；根据所述调用请求获取分布式发布订阅消息系统Kafka的消费数据，解析所述消费数据得到车辆的定位数据和唯一标识；利用所述位置数据查询所述拓扑树，得到所述车辆的位置编码数据，利用所述唯一标识查询所述数据库，得到所述车辆的车辆信息，根据所述编码数据和所述车辆信息生成数据维表，并同步所述数据维表至所述数据库。6.根据权利要求5所述的方法，其特征在于，在识别基于位置的服务LBS服务接口的调用请求之前，还包括：创建自动配置项目，利用所述自动配置...
【专利技术属性】
技术研发人员：侍星亮，
申请(专利权)人：芜湖雄狮汽车科技有限公司奇瑞汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。