一种云计算环境中的个人健康流数据处理系统及方法技术方案

本发明专利技术公开了一种云计算环境中的个人健康流数据处理系统及方法，系统包括智能客户端、后台服务器、Kafka数据中间系统、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统；本发明专利技术详细研究了慢病实时数据流处理与存储系统的整体架构，然后按照慢病实时数据在系统中的流转过程，依次设计和实现了自定义流处理、数据通道、数据存储和数据展示的方法。本发明专利技术提供了一种在云计算环境下，高性能、交互性强的数据处理系统及方法，并具有一定的通用性。

【技术实现步骤摘要】
一种云计算环境中的个人健康流数据处理系统及方法
本专利属于计算机
，涉及一种数据处理系统及办法，具体涉及一种云计算环境中的个人健康流数据处理系统及方法。
技术介绍
随着大数据时代的到来与IOT领域的兴起，慢病健康领域与生俱来的数据量大(Volume)，数据变化快(Velocity)，数据种类多(Variety)的特点显得更为突出，与此同时人们开始更加关心个人的健康，希望能更好的实时关注自己的健康状况。当下流行的数据处理引擎更多的是面向开发人员和数据分析人员，比如在健康监控方面，开发人员可能会提供几种类型的监控方案给用户，然而没有相关领域知识的个人用户，在希望能够自定义自己关心的健康状态时确无从下手。因此，在健康数据处理这一垂直领域，设计一种实时流数据处理引擎，并提供强交互性和用户友好的操作方式十分有必要。除此之外，这种数据处理引擎还应该很好的与云计算环境结合，满足数据平台多租户的功能需求。
技术实现思路
针对现有技术存在的不足，本专利技术提供了一种在云计算环境下，高性能、交互性强的数据处理系统及方法，并具有一定的通用性。本专利技术的系统所采用的技术方案为：一种云计算环境中的个人健康流数据处理系统，其特征在于：包括智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统；所述智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统均通过网络连接通信。本专利技术的方法所采用的技术方案为：一种云计算环境中的个人健康流数据处理方法，其特征在于，包括以下步骤：步骤1：用户通过智能客户端提交自己的监控需求；步骤2：智能客户端将用户的需求信息转化为JSON信息，并向后台服务器发起Ajax请求，作为流数据处理业务；步骤3：后台服务器将包括监控需求、用户信息的上下文信息以HTTPpost请求的方式发送给方案处理转化服务器；步骤4：方案处理转化服务器解析请求获取监控需求后，生成逻辑和物理执行计划，并以可执行文件和配置文件的形式进行本地存储；步骤5：将可执行文件和容器配置文件上传到共享文件系统服务器；步骤6：返回共享文件系统服务器中的文件路径给后台服务器；步骤7：后台服务器以HTTP调用的方式向云环境服务器请求创建集群镜像；步骤8：云环境服务器以HTTP形式向云环境集群发布集群镜像创建命令；步骤9：云环境集群接收到请求，从共享文件系统服务器拉取可执行文件；步骤10：云环境集群将可执行文件打包成镜像；步骤11：云环境集群把打包的镜像上传到云环境私有仓库；步骤12：云环境私有仓库将镜像存储信息返回给云环境集群；步骤13：云环境集群把镜像信息返回给云环境服务器；步骤14：云环境服务器把相关的镜像信息存储到云环境数据库中，并将相关信息返回给后台服务器；步骤15：后台服务器确定镜像创建成功后，向云环境服务器发送部署对应集群服务的请求；步骤16：云环境服务器接收到请求后，以HTTP形式向云环境集群发布部署命令；步骤17：云环境集群接收到命令后，向云环境私有仓库请求获取对应镜像；步骤18：当镜像拉取完毕后，集群以镜像为基础，部署对应服务，将对应服务业务信息返回给云环境服务器；步骤19：云环境服务器将服务信息存储到云环境数据库，并且把相关信息返回给后台服务器；步骤20：后台服务器最后根据部署好的云环境服务产生的分析结果，生成可视化的视图，反馈给用户。作为优选，步骤3中，后台服务器根据流数据处理业务需求定义，生成相应的处理逻辑，具体实现包括以下子步骤：步骤3.1：定义连接类型、条件和对象；步骤3.2：定义窗口类型、长度和间隔；步骤3.3：定义增幅增比；步骤3.4：定义聚集项和聚集类型；步骤3.5：定义过滤条件；步骤3.6：定义选择投影。作为优选，步骤4中，方案处理转化服务器获取流数据处理业务的JSON描述，首先根据对用户定义的流数据处理业务相关的语义约束，在该处进行数据校验后，筛选出流数据处理业务的基础信息和算子定义，并将用户定义的算子转换为抽象语法树结构；方案处理转化服务器接收流数据处理业务描述，经过验证转化、语义分析、生成物理计划，生成Kafka数据中间系统stream程序，提供流数据查询服务。作为优选，所述流数据查询服务，以Kafka数据中间系统中的流数据为全局的数据总线进行实时查询，在流数据查询中，定义数据查询流程和数据访问标准，从而来定义各种满足用户需求的数据操作，包括实时监控报警、自定义查询；具体实现包括以下子步骤：步骤4.1：方案处理转化服务器接受后台服务器发来的HTTPPost请求，请求内容为JSON格式，包含用户定义的方案以及用户Id在内的上下文信息；步骤4.2：解析post请求体中的JSON串，获得其中的方案定义及其上下文；步骤4.3：方案处理转化服务器将以抽象语法树数据结构表示用户自定义的方案，方便后续逻辑计划生成和语义分析时进行的工作；步骤4.4：进行校验工作，检查用户定义的方案是否合法，即符合语法规则，同时语义是否合理，即符合语义规则；若是，则执行下述步骤4.6；若否，则执行下述步骤4.5；步骤4.5：将具体的错误信息返回给用户，返回后，用户在原基础上进行修改或重新定义，并回转执行步骤4.1；步骤4.6：方案通过检验，方案处理转化服务器将进一步对抽象语法树进行语义分析，由于上述的抽象语法树，每个节点都集成了Node类，实现了accept方法，这时使用一个Visitor去遍历抽象语法树的每一个节点，获得每个节点所代表的算子及其具体的定义；步骤4.7：完成语义分析后，进行基于启发式规则的优化；步骤4.8：优化后，得到整个流数据处理的操作树，即逻辑计划；步骤4.9：得到操作树以后，关联从Kafka数据中间系统中获取的元数据信息，生成物理执行计划，查询需要部署后用户触发；步骤4.10：使用java代码模板引擎，将得到的逻辑计划和代码模板结合，得到流处理的核心源文件，这时得到的是在内存中的源代码文件；步骤4.11：在java运行时获取相关依赖，对内存中源文件进行打包生成Class文件，同样还是存储在内存中，最后在运行时进行打包生成Jar可执行文件。作为优选，步骤8中，云环境服务器以HTTP形式向云环境集群发布镜像创建命令，创建云环境服务，云环境集群进而调度资源执行；在创建云环境服务之前，需要进行云环境部署，云环境部署是启用云镜像的一个必要前提，具体步骤包括：步骤8.1：创建一个对云环境的直接管理请求，把服务部署需要的镜像信息传递给云环境集群，镜像信息包括镜像名称、镜像版本号、镜像实例数；步骤8.2：云环境集群根据相关镜像信息到云环境私有仓库中拉去存储的镜像文件；步骤8.3：以负载均衡的形式在云环境集群上启动镜像实例；步骤8.4：镜像服务部署完毕，云环境服务器把服务的基本信息返回给后台服务器；步骤8.5：后台服务器接收这些数据后，会把这些数据存储到云环境数据库中。作为优选，步骤20中，后台服务器最后根据部署好的云环境服务，对服务进行监控和管理；具体实现包括以下子步骤：步骤20.1：为用户服务设置HTTPGET、TCP形本文档来自技高网...

【技术保护点】
1.一种云计算环境中的个人健康流数据处理系统，其特征在于：包括智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统；所述智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统均通过网络连接通信。

【技术特征摘要】
1.一种云计算环境中的个人健康流数据处理系统，其特征在于：包括智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统；所述智能客户端、Kafka数据中间系统、后台服务器、方案处理转化服务器、云环境服务器、共享文件系统服务器、云环境数据库、云环境集群、云环境私有仓库、时序数据存储系统均通过网络连接通信。2.一种云计算环境中的个人健康流数据处理方法，其特征在于，包括以下步骤：步骤1：用户通过智能客户端提交自己的监控需求；步骤2：智能客户端将用户的需求信息转化为JSON信息，并向后台服务器发起Ajax请求，作为流数据处理业务；步骤3：后台服务器将包括监控需求、用户信息的上下文信息以HTTPpost请求的方式发送给方案处理转化服务器；步骤4：方案处理转化服务器解析请求获取监控需求后，生成逻辑和物理执行计划，并以可执行文件和配置文件的形式进行本地存储；步骤5：将可执行文件和容器配置文件上传到共享文件系统服务器；步骤6：返回共享文件系统服务器中的文件路径给后台服务器；步骤7：后台服务器以HTTP调用的方式向云环境服务器请求创建集群镜像；步骤8：云环境服务器以HTTP形式向云环境集群发布集群镜像创建命令；步骤9：云环境集群接收到请求，从共享文件系统服务器拉取可执行文件；步骤10：云环境集群将可执行文件打包成镜像；步骤11：云环境集群把打包的镜像上传到云环境私有仓库；步骤12：云环境私有仓库将镜像存储信息返回给云环境集群；步骤13：云环境集群把镜像信息返回给云环境服务器；步骤14：云环境服务器把相关的镜像信息存储到云环境数据库中，并将相关信息返回给后台服务器；步骤15：后台服务器确定镜像创建成功后，向云环境服务器发送部署对应集群服务的请求；步骤16：云环境服务器接收到请求后，以HTTP形式向云环境集群发布部署命令；步骤17：云环境集群接收到命令后，向云环境私有仓库请求获取对应镜像；步骤18：当镜像拉取完毕后，集群以镜像为基础，部署对应服务，将对应服务业务信息返回给云环境服务器；步骤19：云环境服务器将服务信息存储到云环境数据库，并且把相关信息返回给后台服务器；步骤20：后台服务器最后根据部署好的云环境服务产生的分析结果，生成可视化的视图，反馈给用户。3.根据权利要求2所述的云计算环境中的个人健康流数据处理方法，其特征在于：步骤3中，后台服务器根据流数据处理业务需求定义，生成相应的处理逻辑，具体实现包括以下子步骤：步骤3.1：定义连接类型、条件和对象；步骤3.2：定义窗口类型、长度和间隔；步骤3.3：定义增幅增比；步骤3.4：定义聚集项和聚集类型；步骤3.5：定义过滤条件；步骤3.6：定义选择投影。4.根据权利要求2所述的云计算环境中的个人健康流数据处理方法，其特征在于：步骤4中，方案处理转化服务器获取流数据处理业务的JSON描述，首先根据对用户定义的流数据处理业务相关的语义约束，在该处进行数据校验后，筛选出流数据处理业务的基础信息和算子定义，并将用户定义的算子转换为抽象语法树结构；方案处理转化服务器接收流数据处理业务描述，经过验证转化、语义分析、生成物理计划，生成Kafka数据中间系统stream程序，提供流数据查询服务。5.根据权利要求4所述的云计算环境中的个人健康流数据处理方法，其特征在于：所述流数据查询服务，以Kafka数据中间系统中的流数据为全局的数据总线进行实时查询，在流数据查询中，定义数据查询...

【专利技术属性】
技术研发人员：桂浩，何承达，杜佶峻，黄章昊，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42