【技术实现步骤摘要】
一站式高性能实时大数据处理方法、系统、装置及介质
[0001]本专利技术涉及大数据处理
，特别是涉及一种一站式高性能实时大数据处理方法、系统、装置及介质。
技术介绍
[0002]大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术，根据数据处理的时效性，大数据处理系统可分为批式大数据和流式大数据两类，其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
[0003]现有的大数据处理系统可以分为两类：批处理大数据系统与流处理大数据系统，但目前市场上所使用的两种大数据处理系统在使用过程中仍存在不足，其处理方式单一，性能和实时性较弱，无法所复杂的数据提供精确的处理，处理精确度和效果差。
技术实现思路
[0004]为解决以上现有技术问题，本专利技术提供一种一站式高性能实时大数据处理方法及系统，解决了现有的大数据处理系统存在的处理方式单一，使用范围小，处理性能和实时性较弱，处理精确度和效果差的问题。
[0005]本专利技术第一方面提供一种一站式高性能实时大数据
【技术保护点】
【技术特征摘要】
1.一种一站式高性能实时大数据处理方法，其特征在于，包括：获取目标数据，并建立第一数据库，将所述目标数据集中存储于所述第一数据库中；对所述第一数据库中的所有数据进行预处理，并根据数据来源及数据属性，对预处理后的所有数据进行分类存储，得到静态数据及系统数据；根据预设的数据处理列表，对所述静态数据及所述系统数据匹配适应的处理算法；其中，所述处理算法包括：批处理算法及流处理算法；通过所述处理算法对所述静态数据及所述系统数据进行计算，实现数据处理。2.如权利要求1所述的一种一站式高性能实时大数据处理方法，其特征在于，所述获取目标数据，包括：接入人工录入的目标数据，通过网络爬虫获取目标数据，同步物联网设备的运行数据及查询并获取本地目标数据。3.如权利要求1所述的一种一站式高性能实时大数据处理方法，其特征在于，所述对所述第一数据库中的所有数据进行预处理，具体地：对所述第一数据库中的所有数据进行抽取、清洗、转换处理。4.如权利要求1所述的一种一站式高性能实时大数据处理方法，其特征在于，所述对所述静态数据及所述系统数据匹配适应的处理算法包括：对所述静态数据匹配批处理算法；对所述系统数据匹配流处理算法。5.一种一站式高性能实时大数据处理系统，其特征在于，包括：数据获取及存储模块，用于获取目标数据，并建立第一数据库，将所述目标数据集中存储于所述第一数据库中；数据处理及分类模块，用于对所述第一数据库中的所有数据进行预处理，并根据数据来源及数据属性...
【专利技术属性】
技术研发人员：李世明，余志文，卢建刚，徐展强，戴月，赵瑞锋，
申请(专利权)人：广东电网有限责任公司电力调度控制中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。