【技术实现步骤摘要】
本专利技术涉及一种基于kafka实现数据秒级传至管理部门网络的方法，主要用于车辆精准定位及调度指挥，属于电子信息。
技术介绍
1、现有技术的问题：当前互联网数据接入管理部门网内，一般有两种方式，暨通过vpn设置白名单的方式或通过管理部门网络边界进行定时数据批量写入的方式。
2、vpn设置白名单的方式，由管理部门网络提供vpn白名单，互联网端通过vpn与管理部门网络网数据库进行连接，数据由互联网直接写入至管理部门网络数据库中，因vpn存在不稳定、链路异常等问题，数据写入时经常出现数据无法正常进入管理部门网络的情况，存在数据延迟较高（一般数据延迟5-15秒及以上），且存在数据丢失的情况，无法满足管理部门网络内调度指挥等业务使用。
3、通过管理部门网络边界进行定时数据批量写入的方式，该模式由互联网端进行数据采集，按照管理部门网络边界要求进行定时数据传输（一般数据每5-15分钟进行批量传输），该模式较vpn白名单模式减少数据丢失情况，但因数据定时传输，受策略影响，数据延迟情况有所增加，延迟时间一般在5-15分钟，无法满足管理部门网络内调度指挥等业务使用。
技术实现思路
1、鉴于当前传统传输模式数据延迟较大，无法实现数据实时进入管理部门网络内，无法满足管理部门网络内调度指挥等业务使用，本专利技术提供了一种基于kafka实现数据秒级传至管理部门网络的方法。
2、kafka是基于zookeeper协调的分布式信息传输方式，具有高吞吐量低延迟的特性，并具备持久性
3、本专利技术采用的技术方案是：一种基于kafka实现数据秒级传至管理部门网络的方法，本方法基于车辆厘米级定位设备、管理部门网络边界外服务器和管理部门网络边界内服务器实现，步骤如下：步骤一，针对车辆厘米级定位设备发出的车辆位置信息数据类型，分别在管理部门网络边界外服务器和管理部门网络边界内服务器建立对应的kafka消息队列及对应主题，管理部门网络边界外服务器为数据发布者，管理部门网络边界内服务器为数据订阅者；
4、步骤二，车辆厘米级定位设备发出的车辆位置信息数据，通过互联网传输至管理部门网络边界外服务器，形成kafka消息队列；
5、步骤三，管理部门网络边界外服务器的kafka消息队列作为数据发布者，利用kafka技术，针对车辆厘米级定位设备的信息数据主题类型，在边界外的kafka消息队列，将车辆厘米级定位设备发出的车辆位置信息数据进行发布，发布成功后，该数据不再管理部门网络边界外服务器进行留存；
6、步骤四，车辆厘米级定位设备发出的车辆位置信息数据发布成功后，通过管理部门网络边界，将数据传输至管理部门网络边界内服务器；
7、步骤五，管理部门网络边界内服务器作为数据订阅者，利用kafka技术，针对车辆厘米级定位设备发出的车辆位置信息数据主题类型，在管理部门网络边界内服务器的kafka消息队列接收数据，进行数据存储。
8、所述的基于kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤一所述车辆厘米级定位设备发出的车辆位置信息数据类型，分别在管理部门网络边界外服务器和管理部门网络边界内服务器建立对应的kafka消息队列及对应主题的方法为，根据不同数据类型，分别在管理部门网络边界外服务器、管理部门网络边界内服务器创建主题，并根据数据类型进行主题命名，首先对主题和相关的kafka消息队列配置进行校验，然后进行数据分配，最终将不同数据类型的数据分配至不同分区节点主题中。
9、步骤一所述管理部门网络边界外服务器为数据发布者，管理部门网络边界内服务器为数据订阅者的建立方法为，管理部门网络边界外服务器作为数据发布者，将车辆厘米级定位设备发出的车辆位置信息数据发送至kafka的消息队列中，kafka的节点包含一个或多个broker，车辆厘米级定位设备发出的车辆位置信息数据存储在broker中的主题中，不同数据类型的车辆厘米级定位设备发出的车辆位置信息数据存储在不同的主题中，通过主题进行数据分类；管理部门网络边界内服务器为数据订阅者，不同数据类型进行不同主题订阅，通过订阅的主题接收车辆厘米级定位设备发出的车辆位置信息数据。
10、步骤三所述在边界外的kafka消息队列，将车辆厘米级定位设备发出的车辆位置信息数据进行发布，发布成功后，该数据不再管理部门网络边界外服务器进行留存的建立方法为，车辆厘米级定位设备发出的车辆位置信息数据传输至管理部门网络边界外服务器，管理部门网络边界外服务器通过不同数据类型，建立不同主题并生成对应的kafka消息队列，车辆厘米级定位设备发出的车辆位置信息数据以秒级频率传输至对应kafka消息队列中，数据进入kafka消息队列后，边界外服务器数据库将该数据进行删除。
11、步骤四所述车辆厘米级定位设备发出的车辆位置信息数据发布成功后，通过管理部门网络边界，将数据传输至管理部门网络边界内服务器的建立方法为，在管理部门网络边界创建数据传输通道，将管理部门网络边界外服务器kafka主题设置为数据接入白名单，并设置数据指定传输路径，绑定管理部门网络边界内服务器ip及端口，实现数据定向传输。
12、本专利技术产生的有益效果是：本专利技术较传统管理部门网络vpn白名单的方式或通过管理部门网络边界进行定时数据批量写入的方式，解决了互联网数据进入管理部门网络的数据延迟问题，实现了互联网数据秒级传输至管理部门网络内，在数据的稳定性、并发性、完整性具有很好的效果。并且，本专利技术通过利用kafka技术，在数据类型上，通过车辆位置信息数据类型建立数据主题及传输队列，可将数据进行分类存储管理，避免数据混淆；在业务应用上，数据支持数千个客户端或设备进行同时读写，极大提升数据处理能力，保证了数据的高并发；在数据完整性上，网络存在异常情况时，可保证数据完整保存，待网络环境正常时，数据可正常推送至管理部门网络内。
本文档来自技高网...【技术保护点】
1.一种基于Kafka实现数据秒级传至管理部门网络的方法，其特征在于，本方法基于车辆厘米级定位设备、管理部门网络边界外服务器和管理部门网络边界内服务器实现，步骤如下：
2.根据权利要求1所述的基于Kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤一所述车辆厘米级定位设备发出的车辆位置信息数据类型，分别在管理部门网络边界外服务器和管理部门网络边界内服务器建立对应的Kafka消息队列及对应主题的方法为，根据不同数据类型，分别在管理部门网络边界外服务器、管理部门网络边界内服务器创建主题，并根据数据类型进行主题命名，首先对主题和相关的Kafka消息队列配置进行校验，然后进行数据分配，最终将不同数据类型的数据分配至不同分区节点主题中。
3.根据权利要求1所述的基于Kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤一所述管理部门网络边界外服务器为数据发布者，管理部门网络边界内服务器为数据订阅者的建立方法为，管理部门网络边界外服务器作为数据发布者，将车辆厘米级定位设备发出的车辆位置信息数据发送至Kafka的消息队列中，Kafka的节点包含一个或多
4.根据权利要求1所述的基于Kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤三所述在边界外的Kafka消息队列，将车辆厘米级定位设备发出的车辆位置信息数据进行发布，发布成功后，该数据不再管理部门网络边界外服务器进行留存的建立方法为，车辆厘米级定位设备发出的车辆位置信息数据传输至管理部门网络边界外服务器，管理部门网络边界外服务器通过不同数据类型，建立不同主题并生成对应的Kafka消息队列，车辆厘米级定位设备发出的车辆位置信息数据以秒级频率传输至对应Kafka消息队列中，数据进入Kafka消息队列后，边界外服务器数据库将该数据进行删除。
5.根据权利要求1所述的基于Kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤四所述车辆厘米级定位设备发出的车辆位置信息数据发布成功后，通过管理部门网络边界，将数据传输至管理部门网络边界内服务器的建立方法为，在管理部门网络边界创建数据传输通道，将管理部门网络边界外服务器Kafka主题设置为数据接入白名单，并设置数据指定传输路径，绑定管理部门网络边界内服务器IP及端口，实现数据定向传输。
...【技术特征摘要】
1.一种基于kafka实现数据秒级传至管理部门网络的方法，其特征在于，本方法基于车辆厘米级定位设备、管理部门网络边界外服务器和管理部门网络边界内服务器实现，步骤如下：
2.根据权利要求1所述的基于kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤一所述车辆厘米级定位设备发出的车辆位置信息数据类型，分别在管理部门网络边界外服务器和管理部门网络边界内服务器建立对应的kafka消息队列及对应主题的方法为，根据不同数据类型，分别在管理部门网络边界外服务器、管理部门网络边界内服务器创建主题，并根据数据类型进行主题命名，首先对主题和相关的kafka消息队列配置进行校验，然后进行数据分配，最终将不同数据类型的数据分配至不同分区节点主题中。
3.根据权利要求1所述的基于kafka实现数据秒级传至管理部门网络的方法，其特征在于：步骤一所述管理部门网络边界外服务器为数据发布者，管理部门网络边界内服务器为数据订阅者的建立方法为，管理部门网络边界外服务器作为数据发布者，将车辆厘米级定位设备发出的车辆位置信息数据发送至kafka的消息队列中，kafka的节点包含一个或多个broker，车辆厘米级定位设备发出的车辆位置信息数据存储在broker中的主题中，不同数据类型的车辆厘米级定位设备发出的车辆位置信息数据存储在不...
【专利技术属性】
技术研发人员：刘川，翁玉波，官京，赵天宇，刘博超，董叙成，杨雅静，唐锴，张永港，
申请(专利权)人：天津市中环系统工程有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。