一种基于微服务架构的车联网大数据分析系统技术方案

一种基于微服务架构的车联网大数据分析系统，使用微服务架构的分布式服务治理平台，对车端上报的数据进行采集、转换计算存储、检索分析并进行页面展示。整个数据流使用分布式服务治理的基础设施进行统一的配置管理和服务监控，根据需要对微服务弹性扩容；使用消息中间件对数据采集服务和转换计算存储服务进行模块解耦，提高了数据流的吞吐量；转换计算存储服务根据车辆数据不同的业务特点将数据写入缓存、关系数据库或全文检索服务器；通过对写入Elasticsearch全文检索服务器的海量数据按照数据采集时间进行切片，从而完成车联网大数据的存储和快速查询统计，使得本方案具备扩展性好、易于监控、便于管理、吞吐量大、查询迅速的特点。迅速的特点。迅速的特点。

【技术实现步骤摘要】
一种基于微服务架构的车联网大数据分析系统


[0001]本专利技术涉及的是车联网和大数据领域,特别涉及一种基于微服务架构的车联网大数据分析系统。

技术介绍

[0002]随着互联网信息技术的发展，微服务架构已成为取代SOA架构的企业级流行架构，它可以将大规模的软件系统按照功能模块进行拆分，每个模块高内聚低耦合，模块与模块之间通过REST风格的协议进行数据通信。每个微服务的模块可以独立开发维护和部署而不影响其他模块单元，微服务架构拥有分布式服务治理的一整套方案对服务的状态和配置进行统一的管理。
[0003]伴随着智慧交通和自动驾驶技术的不断发展，车联网系统在提升车辆智能驾驶水平和社会交通的智能化管理方面具有着越来越重要的作用。然而，车联网系统也存在数据接入实时性不高、数据量较大、分析效率低下等瓶颈问题需要解决。传统的车联网系统数据采集、转换、存储、计算、分析的各个环节往往是独立发布和运行的，每个环节各自为政、形成信息孤岛，没有一个全局统一的服务治理、监控、配置的方案，导致整个数据流的处理效率十分低下，而且不易管控。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于微服务架构的车联网大数据分析系统。
[0005]为了解决上述技术问题，本申请实施例公开了如下技术方案：
[0006]一种基于微服务架构的车联网大数据分析系统，包括：服务注册中心、配置管理中心、服务网关、服务监控中心、负载均衡器和断路器，其中，
[0007]服务注册中心，用于负责微服务的线发布、下线注销和微服务存活状态的心跳检测；
[0008]配置管理中心，用于集中保存所有微服务的配置参数，发布并动态刷新最新的配置到微服务实例中生效；
[0009]服务网关，用于负责各个微服务模块的集中路由转发，将前端请求从网关路由到对应的微服务中完成服务调用，同时服务网关还需要完成对各个微服务的鉴权，只有通过鉴权服务调用才能成功；
[0010]服务监控中心，用于实时监听服务的调用链路，可视化展示服务的健康状况和调用频率，并能展示服务之间的依赖关系；
[0011]负载均衡器，用于在多个微服务提供方中选择一个服务进行调用，防止请求始终调用某一个服务引发服务宕机，当调用服务超时时，会自动触发重试机制发起新的调用；
[0012]断路器，用于服务调用失败时，达到超时时间自动将服务调用快速断开，防止调用长时间无法返回引起连锁反应导致大量的网络堵塞。
[0013]进一步地，该系统包含的微服务包括车辆数据采集微服务，数据转换、计算、存储微服务和数据检索与分析微服务。
[0014]进一步地，该系统的车辆数据采集微服务，用于通过MQTT协议接入车端实时上报的数据，封装成json格式后投递到kafka消息队列，以供后续服务使用。
[0015]进一步地，该系统的数据转换、计算、存储微服务，用于利用从消息代理消费车端采集到的数据，进行数据转换或计算，并将处理完成后的数据批量写入缓存数据库、关系数据库或全文检索服务器。
[0016]进一步地，该系统的数据检索与分析微服务，用于对保存在缓存数据库、关系数据库和全文检索服务器的数据进行查询统计，缓存数据库可提供最新的实时状态数据查询、关系数据库可提供数据量较小结构化查询，对于全文本字段检索、经纬度检索、数据量较大的查询统计由全文检索服务器提供。
[0017]进一步地，可使用微服务的弹性扩容机制对车辆数据采集、存储写入的吞吐量进行动态调节，使用微服务的集中式配置管理对整个数据流做统一的配置和动态刷新，使用微服务的服务监控机制对数据流中各个服务的健康状态进行实时监控，提高服务的容错性和高可用性。
[0018]进一步地，车辆数据采集微服务和数据转换、计算、存储微服务之间通过消息代理进行解耦，解决数据采集速度与存储写入速度差距较大的矛盾，使数据采集和数据存储微服务异步处理数据，提高了整个数据流的处理效率和吞吐量。
[0019]进一步地，缓存数据库用于保存数据量不大但读写频率高、实时性要求高的数据；关系数据库用于保存数据量适中的普通业务数据；全文检索服务器用于保存数据量较大并且会随时间持续增长的数据，微服务在存储数据时，要根据不同的业务特点写入不同的存储介质。
[0020]进一步地，写入全文检索服务器索引的数据，需要根据数据采集时间分发到不同的索引中，每个索引只保存一段时间内的数据，从而完成对索引容量的线性扩展，保存持续增长的车辆大数据。
[0021]本专利技术实施例提供的上述技术方案的有益效果至少包括：
[0022]本专利技术公开的一种基于微服务架构的车联网大数据分析系统，包括：服务注册中心、配置管理中心、服务网关、服务监控中心、负载均衡器和断路器，其中，服务注册中心，用于负责微服务的上线发布、下线注销和微服务存活状态的心跳检测；配置管理中心，用于集中保存所有微服务的配置参数，发布并动态刷新最新的配置到微服务实例中生效；服务网关，用于负责各个微服务模块的集中路由转发，将前端请求从网关路由到对应的微服务中完成服务调用，同时服务网关还需要完成对各个微服务的鉴权，只有通过鉴权服务调用才能成功；服务监控中心，用于实时监听服务的调用链路，可视化展示服务的健康状况和调用频率，并能展示服务之间的依赖关系；负载均衡器，用于在多个微服务提供方中选择一个服务进行调用，防止请求始终调用某一个服务引发服务宕机，当调用服务超时时，会自动触发重试机制发起新的调用；断路器，用于服务调用失败时，达到超时时间自动将服务调用快速断开，防止调用长时间无法返回引起连锁反应导致大量的网络堵塞。
[0023]本专利技术提供的车联网技术方案与现有技术相比，具有以下优点：
[0024]1.把车辆数据的采集、转换计算与存储、分析作为一个统一的整体挂接到微服务
架构之上，进行统一的配置管理、监控，提升了数据流的处理效率和可靠性；
[0025]2.车端数据采集以后，经过了转换和计算，按业务用途将数据写入不同的存储介质：对于读写频繁、需要实时查询的业务数据，需要写入到redis缓存中；对于数据量不是太大的常规业务数据，则直接写入关系数据库进行管理；对于数据量很大并且随时间线性增长的数据，则按照采集时间分发到不同的Elasticsearch的索引中，查询时可选定多个索引作为检索范围；
[0026]3.利用微服务弹性伸缩容易和服务容错性好的特点，方便添加或减少服务实例，对数据流的吞吐量可以按照需要灵活控制；
[0027]4.消息中间件kafka的使用可以对数据采集服务和数据存储服务进行解耦，全文检索服务器的使用可以大大加快查询统计的性能。
[0028]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0029]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0030本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微服务架构的车联网大数据分析系统，其特征在于，包括：服务注册中心、配置管理中心、服务网关、服务监控中心、负载均衡器和断路器，其中，服务注册中心，用于负责微服务的上线发布、下线注销和微服务存活状态的心跳检测；配置管理中心，用于集中保存所有微服务的配置参数，发布并动态刷新最新的配置到微服务实例中生效；服务网关，用于负责各个微服务模块的集中路由转发，将前端请求从网关路由到对应的微服务中完成服务调用，同时服务网关还需要完成对各个微服务的鉴权，只有通过鉴权服务调用才能成功；服务监控中心，用于实时监听服务的调用链路，可视化展示服务的健康状况和调用频率，并能展示服务之间的依赖关系；负载均衡器，用于在多个微服务提供方中选择一个服务进行调用，防止请求始终调用某一个服务引发服务宕机，当调用服务超时时，会自动触发重试机制发起新的调用；断路器，用于服务调用失败时，达到超时时间自动将服务调用快速断开，防止调用长时间无法返回引起连锁反应导致大量的网络堵塞。2.如权利要求1所述的一种基于微服务架构的车联网大数据分析系统，其特征在于，该系统包含的微服务包括车辆数据采集微服务，数据转换、计算、存储微服务和数据检索与分析微服务。3.如权利要求2所述的一种基于微服务架构的车联网大数据分析系统，其特征在于，该系统的车辆数据采集微服务，用于通过MQTT协议接入车端实时上报的数据，封装成json格式后投递到kafka消息队列，以供后续服务使用。4.如权利要求2所述的一种基于微服务架构的车联网大数据分析系统，其特征在于，该系统的数据转换、计算、存储微服务，用于利用从消息代理消费车端采集到的数据，进行数据转换或计算，并将处理完成后的数据批量写入缓存数据库、关系数据库或全文检索服务...

【专利技术属性】
技术研发人员：王深湛，万龙，刘赤，高旸，陈付，
申请(专利权)人：南斗六星系统集成有限公司，
类型：发明
国别省市：