一种大数据量监测数据分析方法及系统技术方案

本发明专利技术提供了一种大数据量监测数据分析方法及系统，所述方法获取数据参数，提交对所述数据参数进行分析请求，并将分析请求发送至容器编排平台的应用程序编程接口服务器；根据所述容器编排平台中各个节点的资源情况和调度策略，选择在合适的节点上容器化创建数据分析任务，其中，所述容器编排平台会考虑节点的CPU，以确保资源的利用，不同的分析请求将被分配到不同的节点上执行；启动所述数据分析任务相应的容器，所述容器内运行数据分析代码，以获取所述数据分析任务对应列式数据库中的监测数据并对所述监测数据进行遍历分析；将对所述监测数据遍历分析后的结果进行储存，并删除所述数据分析任务，高了数据分析的实时性和准确性。

【技术实现步骤摘要】

本专利技术属于数据处理，具体地涉及一种大数据量监测数据分析方法及系统。

技术介绍

1、在大数据量监测数据分析领域，现有技术主要依赖于两大类系统：传统的关系型数据库管理系统(rdbms)和基于hadoop、spark等的大数据处理工具。提供了事务处理能力和数据完整性保证，通过分布式文件系统hdfs和mapreduce编程模型，实现了对大数据的存储和计算。

2、传统的rdbms以其强大的事务处理能力和数据完整性保证而著称，但在面对大数据量分析时，其性能往往成为瓶颈。由于rdbms通常采用行式存储，数据在磁盘上的存储和读取效率较低，尤其是在进行复杂的数据分析查询时，性能下降尤为明显。此外，rdbms的扩展性也相对有限，难以满足大数据量场景下的高并发、高吞吐需求。

3、而hadoop、spark等大数据处理工具虽然能够处理海量数据，但它们在实时性方面表现欠佳。这些工具通常需要进行批处理，数据处理的延迟较高，无法满足实时监测数据分析的实时性要求。同时，这些工具的使用门槛也相对较高，需要用户具备一定的编程和数据处理能力。p>

本文档来自技高网...

【技术保护点】

1.一种大数据量监测数据分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述启动所述数据分析任务相应的容器的步骤包括：

3.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述以获取所述数据分析任务的监测数据的步骤包括：

4.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述获取数据参数的步骤之前，所述方法还包括：

5.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述获取数据参数的步骤包括：

6.根据权利要求1所述的大数据量监测数据分析方法，...

【技术特征摘要】

1.一种大数据量监测数据分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述启动所述数据分析任务相应的容器的步骤包括：

3.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述以获取所述数据分析任务的监测数据的步骤包括：

4.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述获取数据参数的步骤之前，所述方法还包括：

5.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述获取数据参数的步骤包括：

6.根据权利要求1所述的大数据量监测数据分析方法，其特征在于，所述数据分析任务包括任务...

【专利技术属性】
技术研发人员：高志远，刘歆毅，
申请(专利权)人：江西飞尚科技有限公司，
类型：发明
国别省市：