一种数据决策平台及使用方法技术

本发明专利技术涉及一种数据决策平台及使用方法，属于计算机信息技术领域，包括一种数据决策平台包括：数据源模块，用以对数据源进行调度查询与修改；数据存储模块，用以对数据源进行存储；数据处理模块，用以对数据存储模块中存储的数据进行处理；任务调度模块，用于实现大规模任务调度、流程调度；BI分析模块，用以对数据存储模块中的数据进行展示。进一步的，所述数据源模块包括数据采集组件和数据管理组件，所述数据采集组件用以对数据进行采集；所述数据管理组件用以对数据源进行类别管理和关键信息预览。息预览。

【技术实现步骤摘要】
一种数据决策平台及使用方法


[0001]本专利技术涉及一种数据决策平台及使用方法，属于计算机信息


技术介绍

[0002]日常生产的过程中，需要对各种数据进行统计与归纳，并将整理好的数据进行分析，决策者根据分析出来的数据作为基础进行思考，但是常见的归纳数据庞杂且无法直观的利用图标实时的展示出各项对比结果，需要大量的人工来对数据进行对比得出结果。导致效率低下，影响决策的时效性，且人力成本较高。

技术实现思路

[0003]本专利技术为解决分析数据杂乱无法直观的利用图表实时展示出来便于工作人员分析的问题，进而提出一种数据决策平台及使用方法
[0004]本专利技术为解决上述问题采取的技术方案是：本专利技术包括一种数据决策平台包括：
[0005]数据源模块，用以对数据源进行调度查询与修改；
[0006]数据存储模块，用以对数据源进行存储；
[0007]数据处理模块，用以对数据存储模块中存储的数据进行处理；
[0008]任务调度模块，用于实现大规模任务调度、流程调度；
[0009]BI分析模块，用以对数据存储模块中的数据进行展示。
[0010]进一步的，所述数据源模块包括数据采集组件和数据管理组件，所述数据采集组件用以对数据进行采集；所述数据管理组件用以对数据源进行类别管理和关键信息预览。
[0011]进一步的，所述数据存储模块包括关系型数据存储组件、内存数据存储组件、检索分析数据存储组件和MPP分布式数据存储组件，所述关系型数据存储组件支持分布式事务保证数据一致性，支持单列索引、复合索引、哈希索引、增量索引等数据库索引方式；所述内存数据存储组件内存式分布式数据库，实现数据在缓存中的高速运算，兼容mysql协议；所述检索分析数据存储组件用于实时、多维、交互式的查询、统计、分析数据库系统，支持PB级全文检索引擎，提供聚类分析等方法；所述MPP分布式数据存储组件用于GP数据库深度改造和封装MPP数据库的数据管理。
[0012]进一步的，所述数据处理模块包括流处理组件、批处理组件、图处理组件、算法库组件和交互查询组件，所述流处理组件用于对存储的数据进行流处理；所述批处理组件用于对存储的数据进行批处理；所述图处理组件用于存储的数据进行图处理；所述算法库组件用于兼容多种算法；所述交互查询组件用于提供交互查询服务。
[0013]进一步的，所述任务调度模块包括Dodox组件和DolphinScheduler组件，所述Dodox组件用于任务调度数据源；所述DolphinScheduler组件用于解决数据处理流程中错综复杂的依赖关系。
[0014]进一步的，所述BI分析模块包括可视化分析组件、展示编排组件和多场景支持组件，所述可视化分析组件用于数据的可视化图形分析与结果展示；所述展示编排组件用于
对数据可视化图像展示的编排；所述多场景支持组件用于支持可视化数据在不同设备上展示。
[0015]进一步的，所述一种数据决策平台及使用方法的步骤为：
[0016]步骤一、搭建数据存储模块，将数据处理模块与数据存储模块连接；
[0017]步骤二、将数据源模块与数据处理模块分别与数据存储模块连接；
[0018]步骤三、工作人员通过数据源模块将数据源存储在数据存储模块内；
[0019]步骤四、利用BI分析模块将其分别与数据存储模块和展示器材连接，使数据能够可视化展示在目标器材上。
[0020]本专利技术的有益效果是：通过系统数据资源池获取数据，对数据进行必要的逻辑处理后，通过设计器对大屏页面的设计，结合图形组件与数据集的绑定，通过可视化的手段展示数据集或分析结果。
具体实施方式
[0021]具体实施方式一：本实施方式所述一种数据决策平台包括：
[0022]数据源模块，用以对数据源进行调度查询与修改；
[0023]数据存储模块，用以对数据源进行存储；
[0024]数据处理模块，用以对数据存储模块中存储的数据进行处理；
[0025]任务调度模块，用于实现大规模任务调度、流程调度；
[0026]BI分析模块，用以对数据存储模块中的数据进行展示。
[0027]所述数据源模块支持用户选择权限内用于呈现的数据，提供图像化可拖拽界面；能够根据数据更新情况实时更新；临时选择资源池中的数据进行展示(包含查询检索出的数据)；从系统日志中抽取相关信息进行展示。
[0028]所述数据存储模块包含企业级的多种数据库，事务性数据库、分布式MPP数据库、内存数据库以及搜索数据库。
[0029]所述数据处理模块支持媒体文件转码和流媒体数据处理；支持图片、音频、视频、文档等数据之间的格式转换；支持面向视频流媒体数据的处理和应用。采用Spark分布式处理，实现SQL离线分析、实时分析、离线计算、实时计算。
[0030]所述任务调度模块支持实现大规模任务调度、流程调度，为ETL抽取、数据分析、定时任务提供调度服务。
[0031]所述平台的消息中间件基于Kafka标准的分布式消息发布和订阅服务，实现大规模数据集成和数据缓存，包括以下几类：
[0032]Kafka：是一个分布式的、分区的、多副本的实时消息发布
‑
订阅系统。提供可扩展、高吞吐、低延迟、高可靠的消息分发服务。
[0033]RocketMQ：是一款分布式消息中间件,可解决海量消息堆积的需求。
[0034]具体实施方式二：所述数据源模块包括数据采集组件和数据管理组件，所述数据采集组件用以对数据进行采集；所述数据管理组件用以对数据源进行类别管理和关键信息预览。数据采集组件提供统一的导入和管理数据源方式，解决由不同数据源差异性所带来的问题。支持各种主流数据库等结构化数据源、非结构化数据源、日志信息、实时数据流等多种数据类型。数据采集组件包含文件上传、整套直连数据源的方式，直连数据源支持以下
几类数据库：
[0035]关系型数据库：Stork、Mysql、Oracle、Postgres；
[0036]半关系型数据库：Vernox；
[0037]分布式数据库:Teryx、ArgoDB。
[0038]具体实施方式三：所述数据存储模块包括关系型数据存储组件、内存数据存储组件、检索分析数据存储组件和MPP分布式数据存储组件，所述关系型数据存储组件支持分布式事务保证数据一致性，支持单列索引、复合索引、哈希索引、增量索引等数据库索引方式；所述内存数据存储组件内存式分布式数据库，实现数据在缓存中的高速运算，兼容mysql协议；所述检索分析数据存储组件用于实时、多维、交互式的查询、统计、分析数据库系统，支持PB级全文检索引擎，提供聚类分析等方法；所述MPP分布式数据存储组件用于GP数据库深度改造和封装MPP数据库的数据管理。
[0039]所述关系型数据存储组件基于PG数据库深度改造和封装的关系型数据库，支持高并发、多线程的复杂业务处理场景，提供便捷统一的数据库管理、使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据决策平台及使用方法，其特征在于：所述一种数据决策平台包括：数据源模块，用以对数据源进行调度查询与修改；数据存储模块，用以对数据源进行存储；数据处理模块，用以对数据存储模块中存储的数据进行处理；任务调度模块，用于实现大规模任务调度、流程调度；BI分析模块，用以对数据存储模块中的数据进行展示。2.根据权利要求1所述的一种数据决策平台，其特征在于：所述数据源模块包括数据采集组件和数据管理组件，所述数据采集组件用以对数据进行采集；所述数据管理组件用以对数据源进行类别管理和关键信息预览。3.根据权利要求1所述的一种数据决策平台，其特征在于：所述数据存储模块包括关系型数据存储组件、内存数据存储组件、检索分析数据存储组件和MPP分布式数据存储组件，所述关系型数据存储组件支持分布式事务保证数据一致性，支持单列索引、复合索引、哈希索引、增量索引等数据库索引方式；所述内存数据存储组件内存式分布式数据库，实现数据在缓存中的高速运算，兼容mysql协议；所述检索分析数据存储组件用于实时、多维、交互式的查询、统计、分析数据库系统，支持PB级全文检索引擎，提供聚类分析等方法；所述MPP分布式数据存储组件用于GP数据库深度改造和封装MPP数据库的数据管理。4.根据权利要求1所述的一种数据决策平台法，其特征在于：所述数据处理模块包括流处理组件、批处理组件、图处理组件、算法库组件和交互查询组件，所述流处理组件用于对存储的数据进行流处理；所述批处理组件用于对存储的数据进行批处理；所述图处理组件用于存储的数据进行图处理；所述算法库组件用于兼容多种算法；所述...

【专利技术属性】
技术研发人员：谢广民，汲俊曦，张微微，皇甫显华，王雪艳，赵梓行，李莫，涂武强，曹洁，刘健，
申请(专利权)人：思灵机器人科技哈尔滨有限公司，
类型：发明
国别省市：