基于Kafka组件的数据传输方法及系统技术方案

本发明专利技术公开了一种基于Kafka组件的数据传输方法及系统，涉及通信技术领域。该方法包括：数据采集装置获取待传输的原始数据；数据处理装置提取原始数据的关键信息；Producer组件根据原始数据的类型，将原始数据和关键信息发送至对应类型的Broker组件的不同主题中缓存；用户终端使用Consumer组件从Broker组件的对应主题中获取关键信息，根据关键信息判断是否获取原始数据。本发明专利技术适用于大量数据的高效高质量传输，可以满足大规模数据传输时的实时性要求，而关键信息提取相当于对原始数据的高效简化，满足数据质量要求，数据传输链路的缩短也增加了系统的稳定性。增加了系统的稳定性。增加了系统的稳定性。

【技术实现步骤摘要】
基于Kafka组件的数据传输方法及系统


[0001]本专利技术涉及通信
，尤其涉及一种基于Kafka组件的数据传输方法及系统。

技术介绍

[0002]随着大数据量的实验环境和更高性能的传感器的发展，大量的数据需要进行处理和传输。
[0003]传统的数据传输系统分为两种，实时数据传输和非实时数据传输。其中，传统实时数据传输系统当接收数据量超过处理能力时堆积缓存来暂存数据，容易造成丢包或者内存溢出，影响系统的正常功能；非实时传输系统由于数据延迟，许多数据应用无法支撑，无法充分将数据利用。
[0004]因此，现有的数据传输方法不能满足大批量数据的稳定传输。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于Kafka组件的数据传输方法及系统。
[0006]本专利技术解决上述技术问题的技术方案如下：
[0007]一种基于Kafka组件的数据传输方法，所述Kafka组件包括：Producer组件、Broker组件和Consumer组件，所述Broker组件包括每种类型数据的至少一个主题，所述数据传输方法包括：
[0008]数据采集装置获取待传输的原始数据；
[0009]数据处理装置提取所述原始数据的关键信息；
[0010]所述Producer组件根据所述原始数据的类型，将所述原始数据和所述关键信息发送至对应类型的Broker组件的不同主题中缓存；
[0011]用户终端使用所述Consumer组件从Broker组件的对应主题中获取所述关键信息，根据所述关键信息判断是否获取所述原始数据。
[0012]本专利技术解决上述技术问题的另一种技术方案如下：
[0013]一种基于Kafka组件的数据传输系统，所述Kafka组件包括：Producer组件、Broker组件和Consumer组件，所述Broker组件包括每种类型数据的至少一个主题，所述数据传输系统包括：
[0014]数据采集装置，用于获取待传输的原始数据；
[0015]数据处理装置，用于提取所述原始数据的关键信息；
[0016]所述Producer组件用于根据所述原始数据的类型，将所述原始数据和所述关键信息发送至对应类型的Broker组件的不同主题中缓存；
[0017]用户终端，用于使用所述Consumer组件从Broker组件的对应主题中获取所述关键信息，根据所述关键信息判断是否获取所述原始数据。
[0018]本专利技术的有益效果是：本专利技术提供的数据传输方法及系统，适用于大量数据的高
效高质量传输，通过提取数据的关键信息，相当于对原始数据的高效简化，能满足数据质量要求，再根据数据类型将数据分类存入Kafka Broker的不同主题，由于Kafka具备高吞吐量的特性，可以满足每秒百万级别消息的生产和消费，优于传统数据库，而Broker又可以持久化数据，没有内存压力，因此可作为实时性能极强的数据存储中心，缓存数据，各应用部门可以根据业务要求按类别取用，Kafka的高吞吐量性能可以满足大规模数据传输是的实时性要求，而关键信息提取相当于对原始数据的高效简化，满足数据质量要求，数据传输链路的缩短也增加了系统的稳定性。
[0019]本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。
附图说明
[0020]图1为本专利技术数据传输方法的实施例提供的流程示意图；
[0021]图2为本专利技术数据传输系统的实施例提供的结构框架示意图。
具体实施方式
[0022]以下结合附图对本专利技术的原理和特征进行描述，所举实施例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0023]Kafka是一种分布式发布
‑
订阅消息系统，使用Scala语言编写，之后成为Apache项目的一部分。Kafka消息系统主要由生产者Producer、代理者Broker和消费者Consumer组成。生产者Producer负责产生消息发送给代理者Broker，代理者Broker对消息做暂时存储，之后转发给消费者Consumer，消费者Consumer接收并处理消息。
[0024]基于此，本申请提出了一种基于Kafka组件的数据传输方法，下面进一步说明。
[0025]如图1所示，为本专利技术数据传输方法的实施例提供的流程，该数据传输方法基于Kafka组件实现，Kafka组件包括：Producer组件、Broker组件和Consumer组件，Broker组件包括每种类型数据的至少一个主题，数据传输方法包括：
[0026]S1，数据采集装置获取待传输的原始数据；
[0027]需要说明的是，原始数据可以为需要存储的来自传感器、试验设备、监控设备等装置或仪器的数据，数据采集装置需要确定发送接收端的IP和端口，通过网络收集特定的信息。
[0028]例如，以图像监控设备采集的车辆监控信息为例，原始数据可以包括：图像监控设备本身的状态信息，如温度和使用率等，车辆的类型，如机动或非机动等、车辆的基本信息，如车牌号和车辆高度等，车辆的运动信息，如速度和方向等，车辆的外观信息，如颜色直方图、深度学习提取特征和光流信息等，车辆的位置信息，如区域内坐标位置。
[0029]可选地，数据采集装置可以通过硬件或软件的方式实现，如果是硬件实现，可以将处理器芯片、无线通信单元和通信接口封装成一个独立的采集装置，处理器芯片执行数据的接收和处理功能，通过通信接口和数据线与传感器、试验设备、监控设备等装置或仪器的通信接口连接，从而获取传感器、试验设备、监控设备等装置或仪器的数据，也可以通过无线通信单元以WIFI、4G/5G、NFC或Zigbee等无线通信方法与传感器、试验设备、监控设备等装置或仪器建立无线通信链路，进而获取数据。如果是软件实现，可以在传感器、试验设备、
监控设备等装置或仪器的处理器中写入相应的程序，将获取的数据直接发送给数据处理装置。
[0030]例如，数据采集装置监听一个特定端口(8888)，发送方在具备权限的条件下向该端口发送数据，软件收到的数据即为原始数据。
[0031]应理解，为便于后续处理，原始数据格式必须为服务器端已知，并能明确区分类型。
[0032]S2，数据处理装置提取原始数据的关键信息；
[0033]需要说明的是，关键信息指的是预先设定的数据的属性信息，优选地，可以包括唯一性标识和一些必要的属性信息，例如，关键信息可以包括数据的ID，发送方，发送时间，接收时间和内容大小等。同时根据关键信息给该数据分配指定的类型，以备在后续步骤中推送至Kafka组件。
[0034]可选地，数据处理装置接收到原始数据后，可以解析后提取以下信息：原始数据的类型(信息1/信息2/...)，标识(使用原始数据中的ID信息或根据时间+类型编制ID)，发送时间和接收时间(****/**/**，时分秒)，长度为256字节，其中，根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka组件的数据传输方法，所述Kafka组件包括：Producer组件、Broker组件和Consumer组件，其特征在于，所述Broker组件包括每种类型数据的至少一个主题，所述数据传输方法包括：数据采集装置获取待传输的原始数据；数据处理装置提取所述原始数据的关键信息；所述Producer组件根据所述原始数据的类型，将所述原始数据和所述关键信息发送至对应类型的Broker组件的不同主题中缓存；用户终端使用所述Consumer组件从Broker组件的对应主题中获取所述关键信息，根据所述关键信息判断是否获取所述原始数据。2.根据权利要求1所述的基于Kafka组件的数据传输方法，其特征在于，Producer组件根据所述原始数据的类型，将所述原始数据和所述关键信息发送至对应类型的Broker组件的不同主题中缓存，具体包括：Producer组件根据所述原始数据的类型，将所述原始数据和所述关键信息发送至对应类型的Broker组件的4个主题中缓存，所述4个主题分别为：本地关键信息主题、本地原始数据主题、远端关键信息主题和远端原始数据主题，其中，所述本地关键信息主题和所述远端关键信息主题存储的内容相同，所述本地关键信息主题用于存储面向本地的所述关键信息，所述远端关键信息主题用于存储面向远端的所述关键信息；所述本地原始数据主题和所述远端原始数据主题存储的内容相同，所述本地原始数据主题用于存储面向本地的所述原始数据，所述远端原始数据主题用于存储面向远端的所述原始数据。3.根据权利要求2所述的基于Kafka组件的数据传输方法，其特征在于，用户终端使用所述Consumer组件从Broker组件的对应主题中获取所述关键信息，根据所述关键信息判断是否获取所述原始数据，具体包括：当所述用户终端为本地端时，本地程序使用所述Consumer组件从所述Broker组件的所述本地关键信息主题中取出关键信息存入本地数据库；当所述用户终端为远端时，远端程序使用所述Consumer组件从所述Broker组件的所述远端关键信息主题中取出关键信息存入远端数据中心。4.根据权利要求3所述的基于Kafka组件的数据传输方法，其特征在于，当所述用户终端为本地端时，还包括：当业务逻辑发生变化时，所述本地程序使用所述Consumer组件从所述Broker组件的所述本地原始数据主题中取出原始数据进行解析。5.根据权利要求3所述的基于Kafka组件的数据传输方法，其特征在于，当所述用户终端为远端时，还包括：当需要查询看新的数据字段时，所述远端程序使用所述Consumer组件...

【专利技术属性】
技术研发人员：崔迪，段晓杰，张磊，
申请(专利权)人：北京无线电测量研究所，
类型：发明
国别省市：