一种基于ELA大数据驾驶舱技术的系统技术方案

本发明专利技术涉及一种基于ELA大数据驾驶舱技术的系统，系统数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块；第一Logstash服务器用于抓取Web服务器产生的实时日志数据；Redis缓存模块用于将Logstash服务器抓取的实时数据临时存储，以备后续计算之用；第二Logstash服务器用于将Redis缓存模块中已经存储的实时数据传送至ElasticSearch服务器；ElasticSearch服务器用于提供搜索功能并将实时分析、统计结果数据存储到数据库存储模块。本发明专利技术为用户行为分析、用户画像等类型业务大数据计算、数据呈现提供了一种有效解决方案，有效解决了传统数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题。

A system based on ELA large data cockpit Technology

【技术实现步骤摘要】
一种基于ELA大数据驾驶舱技术的系统
本专利技术属于商务智能实时数据分析
，涉及一种大数据驾驶舱技术的系统，尤其涉及一种基于ELA大数据驾驶舱技术的系统。
技术介绍
当今社会是一个信息暴增，数据横飞的世界，随着近些年来大数据热潮的到来，数据的整理、归纳与分析成了人们关注的热点。数据分析是一个专门的学科，它是信息、数据挖掘、数据管理、信息论、认知学、人机交互、图形学、图像处理等多种学科相互交融衍生出的一种分析方法。它的主要优势在于，它既能够充分利用计算机的高计算、高记忆、高存储性能对多维复杂数据集进行存储、计算和处理，将数据转换、映射成图形、图像进行分析，并能从原始数据、挖掘模型、分析结果等多个层面进行可视化展示，开展动态的渐进式人机交互分析，使用户能够依靠肉眼进行数据选择，在数据中发现潜藏的信息并及时做出相对应的行为调整。当人们认识到数据分析的重要性后，市面上也就随应而出了很多数据分析系统。目前这些系统的数据分析、决策报表生成一般都是采用是BI(BusinessIntelligence)和BO(BusinessObject)这两项技术；BI也就是人们常说的商务智能，顾名思义，它是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值，商务智能主要包括数据挖掘，ETL等技术；BO其实就是商务智能系统下的配套功能，为商务智能系统的报表、查询和分析、绩效管理以及数据集成提供了基础技术构架。其主要是数据呈现技术，包括水晶报表、webReport等。但是，BI技术主要还是针对传统数据库，如oracle,mysql等，数据量有限，不能满足互联网超大量数据访问的存储和分析计算，因此，在承接第一手用户数据时不能用数据仓库；而BO技术虽然可以做很漂亮的报表，但开放性不够，使用不够灵活，不能随时随地依据市场数据编辑分析、决策信息，决策滞后。因此，现有的数据分析系统基本都存在着数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题。这大大影响了用户的试用体验，也使用户的可分析的内容出现了局限性。以上几个问题一直是商务智能实时数据分析
急需解决的技术难题。
技术实现思路
为了解决
技术介绍
中所存在的技术问题，本专利技术提出了一种基于ELA大数据驾驶舱技术的系统，有效的解决了数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题，使用户能够方便快捷的获取数据，并且用户通过本系统生成的报表不依赖后台服务逻辑，可灵活呈现。本专利技术的技术解决方案是：一种基于ELA大数据驾驶舱技术的系统，其特殊之处在于：数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块；上述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据；上述第一Logstash服务器用于抓取Web服务器提供的实时数据；上述Redis缓存模块用于将Logstash服务器抓取的实时数据进行暂存；上述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时数据传送至ElasticSearch服务器；上述ElasticSearch服务器用于提供搜索功能并将实时数据存储到数据库存储模块；上述数据库存储模块用于向数据分析与处理模块提供基础分析数据；上述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块；上述数据显示模块用于向用户显示由高阶决策数据组成图形或图表。上述ElasticSearch服务器的对外接口为REST式接口。上述数据分析与处理模块包括依次设置的数据清洗模块、数据转化模块和数据装载模块；上述基础分析数据经过数据清洗模块、数据转化模块和数据装载模块依次处理后形成高阶决策数据。上述数据分析与处理模块还包括设置在数据装载模块后端的highCharts图表库模块。上述highCharts图表库模块是基于AngularJS框架下搭建的图表库。上述数据分析与处理模块通过highCharts图表库模块将处理后得到的高阶决策数据转换2D或3D图形。上述数据库存储模块是基于mysql数据管理系统下的存储模块。上述数据显示模块包括若干用于显示图形或文字的自定义显示模块。上述用于形成每个自定义显示模块所显示的图形或文字的实时数据不同。1.本专利技术的优点是：鉴于关系型数据仓库存储容量有限和读取效率低，本专利技术采用logstash+redis+elasticSearch,通过logstash获取web服务日志，主要使用了logstash读取log日志效率高的特点，log数据暂存到redis缓存数据库，主要是使用redis来将数据传递过程解耦，形成流式计算，最后数据存放到elasticSearch，elasticSearch是key-value结构的内存数据库，存储容量大，使用lucene作为搜素引擎，数据查询效率高，同时它还提供了很简单友好的REST接口，可以方便快捷的获取数据。2.对于BO实现过程僵化，本专利技术采用AngularJS+highCharts技术，让静态报表变成依据市场变化可实时调整决策策略的智慧驾驶舱，具体来说，AngularJS可提供决策或运营人员在报表上编辑策略的功能，编辑完后所见即所得，highCharts是目前对3D支持比较好的图形空间，同时，使得报表不依赖后台服务逻辑，可灵活呈现。3.本专利技术为用户行为分析、用户画像等类型业务大数据计算、数据呈现提供了一种有效解决方案，有效解决了传统数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题。附图说明图1为本专利技术系统结构框架图；图2为本专利技术系统操作流程图；图3为本专利技术数据分析与处理模块结构示意图；其中，1-Web服务器、2-第一Logstash服务器、3-Redis缓存服务、4-第二Logstash服务器、5-ElasticSearch服务器、6-数据库存储模块、7-数据分析与处理模块、8-数据显示模块。具体实施方式下面我们结合说明书附图介绍本专利技术的一个较佳实施例，举例证明本专利技术可以实施，可以向本领域中的技术人员完整介绍本专利技术，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例，本文的附图和说明本质上是举例说明而不是限制本专利技术。如图1-3所示，一种基于ELA大数据驾驶舱技术的系统，数据流流通路径上依次设置有Web服务器1、第一Logstash服务器2、Redis缓存模块3、第二Logstash服务器4、ElasticSearch服务器5、数据库存储模块6、数据分析与处理模块7及数据显示模块8；Web服务器1用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据；第一Logstash服务器2用于抓取Web服务器1提供的实时数据；Redis缓存模块3用于将Logstash服务器2抓取的实时数据进行暂存；第二Logstash服务器4用于将Redis缓存模块3中已经暂存的实时数据传送至ElasticSearch服务器5；ElasticSearch服务器5用于提供搜索功能并将实时数据存储到数据库存储模块6；数据库存储模块6用于向数本文档来自技高网...

【技术保护点】
一种基于ELA大数据驾驶舱技术的系统，其特征在于：数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块；所述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据；所述第一Logstash服务器用于抓取Web服务器提供的实时log数据；所述Redis缓存模块用于将第一Logstash服务器抓取的实时log数据进行暂存；所述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时log数据传送至ElasticSearch服务器；所述ElasticSearch服务器用于提供搜索功能并将实时log数据存储到数据库存储模块；所述数据库存储模块用于向数据分析与处理模块提供基础分析数据；所述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块；所述数据显示模块用于向用户显示由高阶决策数据组成的图形或图表。

【技术特征摘要】
1.一种基于ELA大数据驾驶舱技术的系统，其特征在于：数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块；所述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据；所述第一Logstash服务器用于抓取Web服务器提供的实时log数据；所述Redis缓存模块用于将第一Logstash服务器抓取的实时log数据进行暂存；所述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时log数据传送至ElasticSearch服务器；所述ElasticSearch服务器用于提供搜索功能并将实时log数据存储到数据库存储模块；所述数据库存储模块用于向数据分析与处理模块提供基础分析数据；所述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块；所述数据显示模块用于向用户显示由高阶决策数据组成的图形或图表。2.根据权利要求1所述的一种基于ELA大数据驾驶舱技术的系统，其特征在于：所述ElasticSearch服务器的对外接口为REST式接口。3.根据权利要求1或2所述的一种基于ELA大数据驾驶舱...

【专利技术属性】
技术研发人员：杨毅，汪成志，
申请(专利权)人：深圳智慧园区信息技术有限公司，
类型：发明
国别省市：广东,44