一种高并发数据对接转发的方法及系统技术方案

一种高并发数据对接转发的方法，包括：大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据；大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅；当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。本发明专利技术通过对前端设备收集到的海量数据进行统一处理接收，系统接收到数据先进行整理、归类并存入到中间件kafka，然后从缓存队列中取出并转发至上级大数据平台。采用了接收与转发分离的系统组成方式，增加了数据缓存中间件，保证了数据不会因为故障而丢失。增加了系统的可靠性和稳定性，同时，应用从Kafka集群订阅消息，也不再存在单点故障问题。

【技术实现步骤摘要】
一种高并发数据对接转发的方法及系统
本专利技术属于大数据
，特别是一种高并发数据对接转发的方法及系统。
技术介绍
大数据表示无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术不仅需要掌握海量的数据信息，而且还需要将这些数据进行专业化的处理。各种前端设备采集回来的数据量是相当巨大的。如何对这些海量数据稳定实时动态收集并处理转发至大数据平台，对数据进行处理筛查，对接已经存在的基础平台数据，提高处理的效率和稳定性，成了目前亟待解决的问题。
技术实现思路
鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种高并发数据对接转发的方法和系统。一种高并发数据对接转发的方法，包括：S100.大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据；S200.大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅；S300.当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。进一步地，S100中，大数据接收系统由数据接收单元通过集群的部署方式组成。进一步地，S100中，大数据接收系统接收不同前端设备的数据，数据类型包括人员、人脸、机动车辆、非机动车辆。进一步地，S200具体方法为：S201.大数据接收系统进行数据接收，将私有数据解析存储并临时存储；S202.对接收到的数据进行完整性与有效性的判断。S203.对数据进行清洗与治理；将数据转换为标签字段,并根据获取到的数据的实际取值限定对应标签字段的字段范围取值；对新创建或已存在的数据字典选择标签字段,以形成数据标准，根据数据标准进行分类；S204.将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅。进一步地，S300中，具体方法为：数据转发系统从kafka中订阅人员、人脸、机动车辆以及非机动车辆等数据，组装成标准的json文本数据然后发送到大数据平台。进一步地，数据转发系统由数据转发单元通过集群的部署方式组成。进一步地，数据转发单元具有监控进程，当检测到故障或崩溃时，能重启修复。进一步地，大数据接收系统可以通过扩展数据单元的数量来得到提升数据接收处理能力。进一步地，大数据接收系统有多个数据接口，对于不同数据，不同接口分别调用不同的处理流程，完成数据接收并返回成功的响应信息。本专利技术还公开了一种高并发数据对接转发的系统，包括：前端采集设备、数据接收单元、Kafka中间件、数据转发单元、大数据平台，其中：前端采集设备，用于采集的海量数据，并通过NGINX服务器发送给数据接收单元；数据接收单元，对前端数据采集的数据进行分类清洗并存储到kafka中间件；kafka中间件，在kafka中间件不同队列中储存不同类型的标准数据，并将储存的数据供数据转发系统订阅；数据转发单元，接收大数据平台发送的用户的订阅请求，从Kafka中间件中获取订阅请求对应的数据，并将获取到的数据发送给大数据平台；大数据平台，与数据转发单元交互，接收用户的订阅请求，并将用户的订阅请求发送给数据转发单元；接收数据转发单元发送的订阅请求对应的数据，并展示给用户。本专利技术的有益效果是：本专利技术通过对前端设备收集到的海量数据进行统一处理接收，系统接收到数据先进行整理、归类并存入到中间件kafka，然后从缓存队列中取出并转发至上级大数据平台。由于采用了接收与转发分离的系统组成方式，增加了数据缓存中间件，保证了数据不会因为故障而丢失。本专利技术极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群订阅消息,也不再存在单点故障问题。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例1中，一种高并发数据对接转发的方法流程图；图2为本专利技术实施例1中，数据接系统接收系统与前端数据系统连接图；图3为本专利技术实施例1中，前端采集设备采集数据处理流程图；图4为本专利技术实施例1中，数据转发系统订阅转发架构图；图5为本专利技术实施例2中，一种高并发数据对接转发系统结构图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。实施例1本实施例公开了一种高并发数据对接转发的方法，如图1，包括:S100.大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据。具体的，如图2，大数据接收系统由数据接收单元通过集群的部署方式组成，大数据接收系统可以通过扩展数据单元的数量来得到提升数据接收处理能力，大数据接收系统接收不同前端设备的数据，数据类型包括人员、人脸、机动车辆、非机动车辆。在一些优选实施例中，大数据接收系统有多个数据接口，对于不同数据，不同接口分别调用不同的处理流程，完成数据接收并返回成功的响应信息。S200.大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅。具体的，如图3，S200具体方法为：S201.大数据接收系统进行数据接收，将私有数据解析存储并临时存储；S202.对接收到的数据进行完整性与有效性的判断；S203.对数据进行清洗与治理；将数据转换为标签字段,并根据获取到的数据的实际取值限定对应标签字段的字段范围取值；对新创建或已存在的数据字典选择标签字段,以形成数据标准，根据数据标准进行分类；S204.将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅。在一些优选实施例中，接收前端采集数据在某一时刻会存在数据量突增的情况，为了减小数据接收单元的负载，本专利技术采用kafka中间件将数据接收和发送大数据平台的功能分开，防止数据接收系统未将前端采集的数据及时发送至大数据平台，产生数据丢失的现象。本专利技术为了避免数据在发送至大数据平台前数据丢失临时存储到kafka中间件，同时也可以起到平滑发送数据网络和增强数据接收系统接收前端数据能力的作用。S300.当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。如图4，具体方法为：数据转发系统从kafka本文档来自技高网...

【技术保护点】
1.一种高并发数据对接转发的方法，其特征在于，包括：/nS100.大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据；/nS200.大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅；/nS300.当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。/n

【技术特征摘要】
1.一种高并发数据对接转发的方法，其特征在于，包括：
S100.大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据；
S200.大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅；
S300.当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。


2.如权利要求1的一种高并发数据对接转发的方法，其特征在于，S100中，大数据接收系统由数据接收单元通过集群的部署方式组成。


3.如权利要求1的一种高并发数据对接转发的方法，其特征在于，S100中，大数据接收系统接收不同前端设备的数据，数据类型包括人员、人脸、机动车辆、非机动车辆。


4.如权利要求1的一种高并发数据对接转发的方法，其特征在于，S200具体方法为：
S201.大数据接收系统进行数据接收，将私有数据解析存储并临时存储；
S202.对接收到的数据进行完整性与有效性的判断；
S203.对数据进行清洗与治理；将数据转换为标签字段,并根据获取到的数据的实际取值限定对应标签字段的字段范围取值；对新创建或已存在的数据字典选择标签字段,以形成数据标准，根据数据标准进行分类；
S204.将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅。


5.如权利要求1的一种高并发数据对接转发的方法，其特征在于，S300中，具体方法为：数据转发系统从kafka中订阅人员、人脸、机动车辆以及非机动车辆等数据...

【专利技术属性】
技术研发人员：徐胜，肖光华，
申请(专利权)人：武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：湖北;42