一种云平台全自动计算方法及装置制造方法及图纸

本申请公开了一种云平台全自动计算方法及装置，计算方法包括步骤：获取计算数据源，数据采集客户端进行流量采集，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；获取计算规则，用户完成信息输入操作，将信息提交到Redis缓存；后台服务器计算程序从Redis中获取必要的参数，映射成表结构，对SQL语句进行语法解析，结合映射表结构拆解成不同的执行动作，得到计算规则；计算结果，读取计算数据源按照计算规则进行计算，得到结果。本发明专利技术减少了程序复用的开发工作，短时间内获取流式数据的结果。

A full automatic calculation method and device for cloud platform

The invention discloses a cloud platform automatic calculation method and device, calculation method comprises the following steps: obtaining data source, data acquisition client traffic flow collection, the collected data is transmitted to the Kafka synchronous distributed publish subscribe message unit, Kafka distributed publish subscribe message sub the traffic data preservation unit for the calculation of the data source; obtain the calculation rules, users complete the information input operation, submit the information to the Redis cache; server program to obtain the necessary parameters from the Redis, mapping table structure, syntax parsing of SQL statements, combined with the mapping table structure dismantling into different actions, the calculated results, the rules; read calculated in accordance with the rules of calculation in terms of data source, the results obtained. The invention reduces the development of the program reuse and obtains the result of the flow data in a short time.

【技术实现步骤摘要】
一种云平台全自动计算方法及装置
本专利技术涉及云计算
，具体地说，是涉及一种云平台全自动计算方法及装置。
技术介绍
结构化查询语言(StructuredQueryLanguage)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。现有技术中存在日志的自动分析，一般采用RSysLog实时上传日志数据，平台按照标准的Nginx格式日志进行解析，然后事实进行数据的分析计算，展现给用户一个直观的服务器运行情况。RSysLog是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog是syslog的升级版，它将多种来源输入输出转换结果到目的地，可以处理100万条信息，特本文档来自技高网...

【技术保护点】
一种云平台全自动计算方法，其特征在于，包括步骤：获取计算数据源：连接Kafka分布式发布订阅消息子单元，数据采集客户端进行流量采集，按照该数据采集客户端的配置方式进行配置，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储；HDFS对所述流量数据进行永久保存，Kafka分布式发布订阅消息子单元保存...

【技术特征摘要】
1.一种云平台全自动计算方法，其特征在于，包括步骤：获取计算数据源：连接Kafka分布式发布订阅消息子单元，数据采集客户端进行流量采集，按照该数据采集客户端的配置方式进行配置，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储；HDFS对所述流量数据进行永久保存，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；获取计算规则：用户完成信息输入操作，填写流量中字段的名字、字段的类型、填写结果的保存方式以及执行的SQL语句，将所述信息提交到Redis缓存，提交任务；后台服务器启动计算程序，计算程序从Redis中获取必要的参数，包括字段名字和字段类型，按照字段名字和字段类型，映射成表结构，再获取SQL语句，对SQL语句进行语法解析，结合所述映射表结构拆解成不同的执行动作，得到计算规则；计算结果：读取Kafka分布式发布订阅消息子单元中的流量数据按照所述计算规则进行计算，得到结果。2.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述填写结果的保存方式，进一步为，按照用户的设定将计算结果保存在HDFS中或保存在Redis中。3.根据权利要求2所述的云平台全自动计算方法，其特征在于，还包括步骤：将计算结果按照用户选定的结果保存方式进行保存。4.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述对SQL语句进行语法解析，进一步为，通过Calcite对SQL语句进行功能拆分。5.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述将采集的数据标准格式化，进一步为，数据的输出编码方式为UTF-8编码，数据标准格式包含九个字段，每个字段之间以逗号分割，所述九个字段为：C、L、T、N、S、M、P、V和O，当字段为T、N、S、M、P时对应的字段值，若含字母，则用小写字母进行书写。6.一种云平台全自动计算装置，其特征在于，包括计算数据源获取单元、计算规则获取单元和计算结果确定单元，其中，所述计算数...

【专利技术属性】
技术研发人员：朱雷雷，张泽琳，曹东，
申请(专利权)人：北纬通信科技南京有限责任公司，
类型：发明
国别省市：江苏,32