The present invention provides a large data intelligent processing system, which consists of a large data platform for storing large data that has been collected; a large data preprocessing module for preprocessing the collected large data; the preprocessing is used to implement load balancing, resource virtualization and distributed data storage. Storage management; intelligent analysis module, which is used to analyze the large data according to the received instructions, and use the data provided by the large data preprocessing module to carry out the event causal analysis; to obtain the application service requests of the user; to determine the processing algorithm of the application service request, and to make use of the requirements. The high dimensional vector of the event causal analysis obtained by the service request corresponding to the service request and the representation learning module is processed with the neural network for the high dimensional vector. The invention provides intelligent processing system for large data, and solves the problem of poor real-time performance, high efficiency and poor interactivity of traditional data processing methods.
【技术实现步骤摘要】
一种大数据智能化处理系统
本专利技术涉及电子
,尤其涉及一种大数据智能化处理系统。
技术介绍
随着社会工业化、信息化水平的不断提高,如今数据已取代计算成为信息计算的中心,云计算、大数据正在成为一种趋势和潮流,包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V:Volume(大量),数据量持续快速增加;Velocity(高速),数据I/O速度更快;Variety(多样),数据类型和来源多样化;Value(价值),其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息,这是利用好大数据,进而更好地服务于社会发展的要求。因此,数据挖掘方法应运而生。数据挖掘是作为一门学科诞生于20世纪80年代,从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。在大数据应用领域,往往可以根据用户的各种行为特征将用户群体划分成若干类,以便于针对用户群的特征进行精准式、个性化的服务。聚类是对用户群体进行划分一种方式。聚类是将数据对象分成类的过程,使同一个类中的对象具有很高的相似度,而使不同类中的对象高度相异。相异度通常使用距离来进行度量。但是,聚类操作中针对用户行为特征对用户群体进行划分的效果在很大程度上依赖于基础数据的质量,现有的基于聚类算法的用户群体划分往往不能够很好的反映用户的行为特征,存在聚类不准确的问题,难以利用聚类结果对用户群进行精准式、个性化的服务。
技术实现思路
本专利技术的目的在于提供一种大数据智能化处理系统 ...
【技术保护点】
1.一种大数据智能化处理系统,其特征在于,所述系统包括:大数据平台,用于存放接收已采集的大数据;大数据预处理模块,用于对所述已采集的大数据进行预处理;所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理;智能分析模块,用于根据接收到的指令进行所述大数据的分析,并综合利用大数据预处理模块提供的数据,进行事件因果分析;智能处理模块,用于获取用户的应用服务请求;确定所述应用服务请求对应的处理算法,以及利用所述应用服务请求对应的处理算法和所述表征学习模块得到的所述事件因果分析的高维向量,采用神经网络对所述高维向量进行处理。
【技术特征摘要】
1.一种大数据智能化处理系统,其特征在于,所述系统包括:大数据平台,用于存放接收已采集的大数据;大数据预处理模块,用于对所述已采集的大数据进行预处理;所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理;智能分析模块,用于根据接收到的指令进行所述大数据的分析,并综合利用大数据预处理模块提供的数据,进行事件因果分析;智能处理模块,用于获取用户的应用服务请求;确定所述应用服务请求对应的处理算法,以及利用所述应用服务请求对应的处理算法和所述表征学习模块得到的所述事件因果分析的高维向量,采用神经网络对所述高维向量进行处理。2.根据权利要求1所述的一种大数据的智能处理系统,其特征在于,所述大数据平台操作界面至少包括以下功能中的一种或多种:具有可视化图表、分析报告、内容检索和消息推送/订阅。3.根据权利要求1所述的一种大数据的智能处...
【专利技术属性】
技术研发人员:郑英,
申请(专利权)人:广东聚晨知识产权代理有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。