电力大数据快速检索引擎制造技术

技术编号:16969682 阅读:37 留言:0更新日期:2018-01-07 06:36
本发明专利技术公开了一种电力大数据快速检索引擎,其包括企业应用、二次开放接口、大数据检索引擎核心、操作系统和云服务器资源。通过电力大数据检索引擎,可根据应用的查询特点,将数据自动分区索引,充分发挥现代PC多核服务器、大内存的优势,创新的柔性多引擎机制,提供开放的二次开发接口。系统支持列存储,实现特定数据列的高效访问,提高特定数据列的分类统计和排序的速度。引擎中既有单节点的检索缓存,又有合并后的整体检索缓存,多层次多粒度的设计,大大提高了缓存的命中率,减轻高并发下的检索节点压力,从而大幅度提高系统在高并发情况下的数据检索能力。

【技术实现步骤摘要】
电力大数据快速检索引擎
本专利技术涉及一种检索引擎,尤其是一种电力大数据快速检索引擎。
技术介绍
大数据是指无法在当前条件下使用常规的工具对数据内容进行检索和管理的数据集。目前大数据知识发现的研究主要集中在划分、聚类、检索、增量(批量、在线或平行)学习这些方面。电力大数据是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节,是跨单位、跨专业、跨业务数据分析与挖掘,以及数据可视化。电力大数据由结构化数据和非结构化构成,随着智能电网建设和物联网的应用,非结构化数据呈现出快速增长的势头,其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性,一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多(Variety)、四是价值大(Value)、五是精确性高(Veracity)。近年来大数据检索已经取得了发展,但目前对电力大数据检索问题处理的研究比较少。大数据管理的核心是大数据检索引擎,或者说融合检索引擎技术的大数据管理系统。检索引擎是大数据高效管理和智能分析的基础。电力大数据检索的时候用户通常希望能快速的从所有资本文档来自技高网...
电力大数据快速检索引擎

【技术保护点】
一种电力大数据快速检索引擎,其特征在于:包括企业应用(1),其包括面向电力企业业务应用,具体为企业搜索、数据挖掘引擎、垂直搜索、舆情管理和内容管理;二次开放接口(2),用于企业应用(1)与大数据检索引擎核心(3)的连接,该二次开放接口(2)提供各种主流接口,具体包括HTTP接口、C接口、JAVA接口、.NET接口;所述大数据检索引擎核心(3),其包括搜索节点(301)、Hadoop(302)和HDFS(303),搜索节点(301)包括调度模块和数据字典,通过搜索引擎适配器,接入通用检索引擎、专业检索引擎、图像检索引擎,支持柔性多引擎技术,大数据管理系统使用多引擎机制,定义一个标准的引擎接口;对...

【技术特征摘要】
1.一种电力大数据快速检索引擎,其特征在于:包括企业应用(1),其包括面向电力企业业务应用,具体为企业搜索、数据挖掘引擎、垂直搜索、舆情管理和内容管理;二次开放接口(2),用于企业应用(1)与大数据检索引擎核心(3)的连接,该二次开放接口(2)提供各种主流接口,具体包括HTTP接口、C接口、JAVA接口、.NET接口;所述大数据检索引擎核心(3),其包括搜索节点(301)、Hadoop(302)和HDFS(303),搜索节点(301)包括调度模块和数据字典,通过搜索引擎适配器,接入通用检索引擎、专业检索引擎、图像检索引擎,支持柔性多引擎技术,大数据管理系统使用多引擎机制,定义一个标准的引擎接口;对于不同的应用需求可以使用不同的引擎来对外提供服务,用户还可以构建自己的引擎来扩展系统的数据处理能力,支持异...

【专利技术属性】
技术研发人员:杨庆双刘建宇徐志丹赵宏振李振雷常月廷刘金华曹北建张金禄
申请(专利权)人:国网天津市电力公司国家电网公司
类型:发明
国别省市:天津,12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1