一种基于云计算的信息处理方法及系统技术方案

本发明专利技术属于信息处理技术领域，公开了一种基于云计算的信息处理方法及系统，所述基于云计算的信息处理系统包括：信息采集模块、信息预处理模块、中央控制模块、服务请求提交模块、信息处理模块、优化调节模块、大数据挖掘模块、Hive数据查询模块、数据存储模块、更新显示模块。本发明专利技术创新性的研究着重从语法和语义异构，兼顾系统异构和结构异构，真正意义上实现企业异构数据集成共享和交换。同时本发明专利技术还能够增强基于云计算的信息处理系统对恶意代码的检测和防御能力，并且通过对各个节点的负载情况的预测，全面获取所述基于云计算的信息处理系统的当前负载情况，提升可用资源的利用率，降低基于云计算的信息处理系统的功耗。

【技术实现步骤摘要】
一种基于云计算的信息处理方法及系统
本专利技术属于信息处理
，尤其涉及一种基于云计算的信息处理方法及系统。
技术介绍
目前，云计算是近年来快速发展的一项重要技术，其基于网络提供的服务进行计算，并将计算的资源时间以服务方式提供给客户端，其间用户可接入云计算平台，按照其计算需求进行资源获取。因此，云计算技术是分布式处理、并行处理、网格计算后的计算模式。然而，随着网络通信量和信息处理量的日益增加，要求云计算具有大量并发访问能力，并且将云计算平台的负载合理分配到其包含的节点上，避免各个节点的处理能力成为云计算的发展瓶颈，是迫切解决的问题。现有通过负载均衡进行解决的方案安全性能低，容易遭受恶意攻击和破坏行为，缺少有效的针对恶意代码的检测和防御能力，且缺少对于各个节点负载情况的预测，对可用资源的利用率不够准确。因此，亟需一种新的基于云计算的信息处理方法。通过上述分析，现有技术存在的问题及缺陷为：现有通过负载均衡进行解决的方案安全性能低，容易遭受恶意攻击和破坏行为，缺少有效的针对恶意代码的检测和防御能力，且缺少对于各个节点负载情况的预测，对可用本文档来自技高网...

【技术保护点】
1.一种基于云计算的信息处理方法，其特征在于，所述基于云计算的信息处理方法，包括以下步骤：/n步骤一，信息采集模块利用数据采集设备获取待处理的信息数据，并且信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块；/n步骤二，中央控制模块利用中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；用户在客户端通过服务请求提交模块利用请求提交程序向所述基于云计算的信息处理系统提交服务请求；/n步骤三，通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；优化调节模块利用...

【技术特征摘要】
1.一种基于云计算的信息处理方法，其特征在于，所述基于云计算的信息处理方法，包括以下步骤：
步骤一，信息采集模块利用数据采集设备获取待处理的信息数据，并且信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块；
步骤二，中央控制模块利用中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；用户在客户端通过服务请求提交模块利用请求提交程序向所述基于云计算的信息处理系统提交服务请求；
步骤三，通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；优化调节模块利用优化调节程序利用解析调度器对获取的需要动态调节负载的需求进行优化调节；
步骤四，通过大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据；通过Hive数据查询模块利用SQL接口实现数据的查询功能，并为Hbase数据仓库的各种存储表建立索引关系；
步骤五，通过数据存储模块利用Hbase数据仓库存储获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，并进行数据分类，建立存储表索引关系；
步骤六，通过更新显示模块利用显示设备对获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系的实时数据进行更新显示；
步骤一中，所述通过信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，包括：
通过信息预处理模块统一异构数据标准格式的表现形式以及编写异构数据采集中间件，获取待处理的异构数据；
利用数据预处理程序将获取的异构数据按照不同模式、不同主题属性子进行聚类，通过聚类的形式形成可供分类的主题属性子以及模式；
通过数据网关根据分类约束对聚类形成的可供分类的主题属性子以及模式进行模式重组，选择一种带约束的模式对聚类形成的主题数据进行分类；
所述通过信息预处理模块统一异构数据标准格式的表现形式，包括：
建立主题树模型；
通过主题树模型将结构化、半结构化以及非结构化的异构数据映射至最终的统一标准格式XMLscheme；
消除和屏蔽异构数据结构模式上的差异，统一异构数据集成的格式；
步骤三中，所述通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，包括：
通过信息处理模块利用解析调度器解析所述服务请求，获得服务请求类型和所需要的节点资源数量，并将解析结果发送至负载均衡器；
通过负载均衡器接收解析调度器发送的解析结果，基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测；
信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，并将检测和分析结果提交至中央处理器。


2.如权利要求1所述的基于云计算的信息处理方法，其特征在于，所述基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测，包括：
负载均衡器从基于云计算的信息处理系统的各个节点的负载的数据集中提取采样序列，并进行预处理；
创建N维时间序列作为学习样本，用信息处理系统的各个节点的负载的训练样本并基于设定的参数进行进行学习；
建立负载预测模型，通过负载预测模型对节点负载进行预测。


3.如权利要求1所述的基于云计算的信息处理方法，其特征在于，所述信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，包括：
负载均衡器检测和分析分流后数据的安全属性；检测到异常事件后，查询黑名单和白名单并根据代码特征库和行为模式库分析；
如果识别为风险，则按照预定规则处理并发出警告；否则将分流后数据散列计算加密后向各节点查询，若查询成功则按照规则处理。


4.如权利要求1所述的基于云计算的信息处理方法，其特征在于，步骤四中，所述大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据的具体过程为：
将处理后的数据，建立相应的数据集合；确定数据集合中的数据的来源和特征；
根据确定的数据来源和特征，选取所需的数据并整合成用于数据挖掘的数据集；
对整合成的数据集进行关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析。


5.如权利要求1所述的基于云计算的信息处理方法，其特征在于，步骤五中，所述数据存储模块对数据进行分类的过程为：
根据待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，建立相应的样本数据；
利用贝叶斯网络分类...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：万文兰，
类型：发明
国别省市：广东;44