全量数据的接入方法、装置以及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种全量数据的接入方法、装置以及计算机可读存储介质，所述方法包括：获取管理平台创建的待处理数据的数据处理任务；确定所述数据处理任务对应的服务类型，以使所述任务调度服务组件根据所述服务类型调用对应的连接器；根据所述数据处理任务和所述连接器对所述待处理数据进行传输。本发明专利技术节省了内存资源。存资源。存资源。

【技术实现步骤摘要】
全量数据的接入方法、装置以及计算机可读存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种全量数据的接入方法、装置以及计算机可读存储介质。

技术介绍

[0002]在智慧城市/社区项目建设中，连接平台作为数据管道，向下负责连接感知层的各种感知数据源，接收和处理各种感知数据，向上负责连接应用层的各种业务平台，将经过处理的感知事件分发给上层业务平台，供业务平台分析使用。这里所涉及的感知事件，包括：人脸、机动车、非机动车、人体、门禁、物联或者告警等，通常感知事件包含各种结构化属性，比如设备编号、设备名称、遥测数据和事件发生时间等，也包含一些非结构化属性，比如人脸事件中的人脸图片数据，因此可以将感知事件称之为“全量数据”。
[0003]如图1所示，现有方案中的微服务架构主要分三层，一层为通用中间件层，通用中间件层包括关系型数据库、消息中间件和文件存储中间件等通用中间件，通用中间件层负责业务数据的存储和分发，将业务功能和业务数据解耦；一层为业务组件层，业务组件层主要包括接入服务、转换服务、接出服务、API(Application Programming Interface，应用程序编程接口)网关服务等微服务业务组件，各业务组件都是独立运行的进程，从通用中间件层输入或者输出业务数据；一层为服务治理层，服务治理层包括Nginx、Zabbix和Nacos等通用中间件，负责业务组件的服务治理和通用中间件的运维监控。这种架构模型存在明显的缺点，例如引入大量的通用中间件，使得整个平台的架构比较复杂，存在大量针对通用中间件的适配开发工作量；基于Spring框架开发的各业务微服务组件，需要消耗大量的内存资源，业务组件的配置和部署运维也比较复杂。
[0004]在不同的实际项目中，连接平台需要接入的设备规模差异比较大，既有十万、百万级的，也有几十、几百级的。因此，如何针对不同的应用场景，选择适合的架构模型至关重要，而现有的架构模型中，业务流程环节多，内存资源消耗极大。

技术实现思路

[0005]本专利技术的主要目的在于提供一种全量数据的接入方法、装置以及计算机可读存储介质，旨在解决数据处理消耗内存大的问题。
[0006]为实现上述目的，本专利技术提供的一种全量数据的接入方法，应用于连接平台，所述连接平台包括任务调度服务组件和Kafka开源分布式消息中间件，所述连接平台与管理平台连接；所述全量数据的接入方法包括以下步骤：
[0007]获取管理平台创建的待处理数据的数据处理任务；
[0008]确定所述数据处理任务对应的服务类型，以使所述任务调度服务组件根据所述服务类型调用对应的连接器；
[0009]根据所述数据处理任务和所述连接器对所述待处理数据进行传输。
[0010]在一实施例中，所述根据所述数据处理任务和所述连接器对所述待处理数据进行
传输的步骤包括：
[0011]根据所述数据处理任务确定所述待处理数据的接入地址和目标地址；
[0012]调用所述连接器根据所述接入地址和所述目标地址对所述待处理数据进行传输。
[0013]在一实施例中，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：
[0014]当所述服务类型为数据接入任务时，根据所述数据接入任务确定外部数据源的连接地址为接入地址，和所述Kafka的第一主题为目标地址。
[0015]在一实施例中，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：
[0016]当所述服务类型为数据接出任务时，根据所述数据接出任务确定所述Kafka的第二主题为接入地址，和目标应用的地址为所述目标地址。
[0017]在一实施例中，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：
[0018]当所述服务类型为数据转换任务时，根据所述数据转换任务确定所述Kafka的第三主题为所述接入地址，和所述Kafka的第四主题为所述目标地址。
[0019]在一实施例中，执行所述根据所述数据处理任务和所述连接器对所述待处理数据进行传输的步骤同时，还执行：
[0020]若接收所述连接器对应的查询操作，则确定所述查询操作对应的连接器实例，并确定所述连接器实例的工作状态；
[0021]若所述工作状态异常，则发出告警提示。
[0022]在一实施例中，执行所述根据所述数据处理任务和所述连接器对所述待处理数据进行传输的步骤同时，还执行：
[0023]若接收到所述连接器对应的删除操作，则确定所述删除操作对应的连接器实例，并删除所述连接器实例。
[0024]在一实施例中，执行所述根据所述数据处理任务和所述连接器对所述待处理数据进行传输的步骤同时，还执行：
[0025]若接收到所述连接器的修改操作，则确定所述修改操作对应的正在运行的连接器实例；
[0026]删除正在运行的所述连接器实例，并创建所述修改操作对应的连接器实例。
[0027]为实现上述目的，本专利技术还提供一种全量数据的接入装置，所述全量数据的接入装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的全量数据的接入程序，所述全量数据的接入程序被所述处理器执行时实现如上所述的全量数据的接入方法的各个步骤。
[0028]为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有全量数据的接入程序，所述全量数据的接入程序被处理器执行时实现如上所述的全量数据的接入方法的各个步骤。
[0029]本专利技术提供的一种全量数据的接入方法、装置以及计算机可读存储介质，获取管理平台创建的待处理数据的数据处理任务；确定数据处理任务对应的服务类型，以使任务调度服务组件根据服务类型调用对应的连接器；根据数据处理任务和连接器对待处理数据
进行传输。通过任务调度服务组件根据服务类型对数据处理任务进行分别处理，实现了待处理数据的传输和存储，加快了数据处理速度的同时，还节省了内存资源。
附图说明
[0030]图1为现有方案中的服务架构的结构示意图；
[0031]图2为本专利技术实施例涉及的全量数据的接入装置的硬件结构示意图；
[0032]图3为本专利技术全量数据的接入方法的第一实施例的流程示意图；
[0033]图4为本专利技术全量数据的接入方法的服务架构的结构示意图；
[0034]图5为本专利技术全量数据的接入方法的第二实施例中步骤S30的细化流程示意图。
[0035]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0036]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0037]本专利技术实施例的主要解决方案是：获取管理平台创建的待处理数据的数据处理任务；确定数据处理任务对应的服务类型，以使任务调度服务组件根据服务类型调用对应的连接器；根据数据处理任务和连接器对待处理数据进行传输。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全量数据的接入方法，其特征在于，应用于连接平台，所述连接平台包括任务调度服务组件和Kafka开源分布式消息中间件，所述连接平台与管理平台连接；所述全量数据的接入方法包括：获取管理平台创建的待处理数据的数据处理任务；确定所述数据处理任务对应的服务类型，以使所述任务调度服务组件根据所述服务类型调用对应的连接器；根据所述数据处理任务和所述连接器对所述待处理数据进行传输。2.如权利要求1所述的全量数据的接入方法，其特征在于，所述根据所述数据处理任务和所述连接器对所述待处理数据进行传输的步骤包括：根据所述数据处理任务确定所述待处理数据的接入地址和目标地址；调用所述连接器根据所述接入地址和所述目标地址对所述待处理数据进行传输。3.如权利要求2所述的全量数据的接入方法，其特征在于，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：当所述服务类型为数据接入任务时，根据所述数据接入任务确定外部数据源的连接地址为接入地址，和所述Kafka的第一主题为目标地址。4.如权利要求2所述的全量数据的接入方法，其特征在于，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：当所述服务类型为数据接出任务时，根据所述数据接出任务确定所述Kafka的第二主题为接入地址，和目标应用的地址为所述目标地址。5.如权利要求2所述的全量数据的接入方法，其特征在于，所述根据所述数据处理任务确定所述待处理数据的接入地址和目标地址的步骤包括：当所述服务类型为数据转换任务时，根据所述数据转换任务确定所述Kafka的第三主题为所述接...

【专利技术属性】
技术研发人员：侯腾蛟，赵湛军，王晓红，
申请(专利权)人：上海迥灵信息技术有限公司，
类型：发明
国别省市：