一种数据流处理方法、系统和计算机可读存储介质技术方案

本发明专利技术提供一种数据流处理方法、系统和计算机可读存储介质，所述方法包括：接收用户提交的逻辑拓扑文件和镜像文件，根据所述逻辑拓扑文件中的拓扑结构键值对应关系映射生成部署配置文件；调用所述部署配置文件，并根据所述部署配置文件进行服务自动部署，以微服务架构的形式构建服务流程；通过所述微服务架构对数据流进行处理，并输出处理结果信息；从而实现微服务架构下轻量级的数据流处理部署，并突破了现有流处理框架部署复杂、占用资源的难题；本发明专利技术引入微服务的理念，移除现有框架的束缚，可将数据流需要进行的操作进行分解，各处理单元划分为一个微服务，各服务可以更加关注数据流的处理，资源利用率较高。

A data stream processing method, system and computer readable storage medium

【技术实现步骤摘要】
一种数据流处理方法、系统和计算机可读存储介质
本专利技术涉及计算机
，尤其涉及一种数据流处理方法、系统和计算机可读存储介质。
技术介绍
随着互联网大数据的兴起，加速了大数据处理技术的发展。不同数据对处理技术有不同的要求。流处理系统可以用来处理火灾报警、燃气泄露报警等数据实时性要求比较高的系统。数据实时采集完整的数据为系统提供一个数据源，要求响应快、延迟低、系统可靠。实时计算部分不再采用原来的从数据库查询而是从采集来的数据进行计算，计算完成后迅速反馈给用户。流处理系统具有快速、高效、容错率高等特性能够将数据信息准确无误的进行处理。以下为现有常用的两种流处理框架：Storm分布式实时计算框架在大数据流式处理的各种平台技术中以实时性好、高性能著称，兼备高可扩展性、稳定性和可靠性等特点受到业界的广泛关注使用。Storm作为流数据处理引擎，采用轮询算法进行任务调度，基于内存进行快速运算，很适用于实时流处理，而Hadoop用于批处理，缺少实时性。Storm保证每个消息都会得到处理，而且响应速度快，广泛应用于强实时的数据分析、在线机器学习、分布本文档来自技高网...

【技术保护点】
1.一种数据流处理方法，其特征在于，包括：/n接收用户提交的逻辑拓扑文件和镜像文件，并将所述镜像文件进行存储处理；/n根据所述逻辑拓扑文件中的拓扑结构键值对应关系映射生成部署配置文件；/n调用所述部署配置文件，并根据所述部署配置文件进行服务自动部署，以微服务架构的形式构建服务流程；/n通过所述微服务架构对数据流进行处理，并输出处理结果信息。/n

【技术特征摘要】
1.一种数据流处理方法，其特征在于，包括：
接收用户提交的逻辑拓扑文件和镜像文件，并将所述镜像文件进行存储处理；
根据所述逻辑拓扑文件中的拓扑结构键值对应关系映射生成部署配置文件；
调用所述部署配置文件，并根据所述部署配置文件进行服务自动部署，以微服务架构的形式构建服务流程；
通过所述微服务架构对数据流进行处理，并输出处理结果信息。


2.根据权利要求1所述的一种数据流处理方法，其特征在于，还包括：
将用户提交的镜像文件进行本地存储；
接收用户创建数据流处理指令；
从本地调取所述数据流处理指令对应的镜像文件；
根据所述镜像文件的拓扑结构键值对应关系进行服务自动部署。


3.根据权利要求1所述的一种数据流处理方法，其特征在于，还包括：
接收删除数据流处理指令；
删除微服务架构中对应名称的服务。


4.根据权利要求1所述的一种数据流处理方法，其特征在于，在根据所述部署配置文件进行服务自动部署之后，还包括：
提取微服务架构中各服务的相关信息，将服务部署信息和资源占用信息实时反馈给用户。


5.根据权利要求1所述的一种数据流处理方法，其特征在于，所述逻辑拓扑文件包括：各服务节点的连接关系、各服务读取与发送数据的端口号。


6.根据权利要求1所述的一种数据流处理方法，其特征在于，在根据所述部署配置文件进行服务自动部署之...

【专利技术属性】
技术研发人员：韩昊，曹素芝，闫蕾，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：北京;11