一种大数据处理方法及系统技术方案

本发明专利技术提供一种大数据处理方法及系统，采集客户端基于应用程序产生的应用数据；接收应用数据，并将应用数据导入决策树结构中，进行层层决策分析；根据决策分析结果将应用数据分配到对应的服务节点中；同时，还向客户端反馈与决策分析结果相关的回执信息。用以通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。

【技术实现步骤摘要】
一种大数据处理方法及系统
本专利技术涉及大数据
，特别涉及一种大数据处理方法及系统。
技术介绍
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80％的数据都是非结构化数据，这些数据每年都按指数增长60％。大数据是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。其中，基于大数据对应用程序进行处理的过程中，一般是对应用数据进行单独处理，其单独处理，一般是基于某个训练模型进行单独一次处理，其处理效率低，且处理效果不显著。因此，本专利技术提出了一种大数据处理方法及系统。
技术实现思路
本专利技术提供一种大数据处理方法及系统，用以通过决策树结构，对应用数据进行层层决策，提高其决策效率，进而提高决策效果的显著性。本专利技术提供一种大数据处理方法，包括：采集客户端基于应用程序产生的应用数据；接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；根据决策分析结果将所述应用数据分配到对应的服务节点中；同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。在一种可能实现的方式中，采集客户端基于应用程序产生的应用数据的步骤包括：记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。在一种可能实现的方式中，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；S＝A1β1B1+A2β2B2+A3β3B3；其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支。在一种可能实现的方式中，确定每个集合待导入所述决策树结构的树分支之后，还包括：根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支。在一种可能实现的方式中，将所述应用数据导入决策树结构中，进行层层决策分析的过程中，包括：基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加检索；基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数据；基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所述异常数据数据的源文件；查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据，并将所述无效数据进行删除；同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。在一种可能实现的方式中，基于所述修复决策层进行修复的过程中，还包括：确定所述修复决策层对所述剩余数据的修复能耗值，且确定所述修复决策层在修复线程的线程消耗值；根据所述修复能耗值和线程消耗值，确定所述修复决策层的当前资源环境的磨损程度；当所述磨损程度大于预设程度时，进行报警警示，同时，对所述修复决策层进行优化处理。在一种可能实现的方式中，对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支的过程中，还包括：确定所述集合中集合数据的数据种类；计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集合数据对应的空间占比ki的综合占比zi；其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支节点的冷访问概率，其中，所述决策分支中包括n个分支节点；基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支；建立所述第一分支的当前分支节点与其他分支节点之间的通信连接；提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当前分支节点与其他分支节点的互通值Hj；其中，表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子；g(t)表示优化序列在t时刻的优化函数；表示第j个当前分支节点在t时刻的通信广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n；根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支；根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定对所述集合的决策方案；其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案；同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输到对应的服务节点中。本专利技术提供一种大数据处理系统，包括：客户端，用于采集基于应用程序产生的应用数据；服务器，用于接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析，并根据决策分析结果将所述应用数据分配到对应的服务节点中；同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。在一种可能实现的方式中，所述客户端包括：记录单本文档来自技高网...

【技术保护点】
1.一种大数据处理方法，其特征在于，包括：/n采集客户端基于应用程序产生的应用数据；/n接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；/n根据决策分析结果将所述应用数据分配到对应的服务节点中；/n同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。/n

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：
采集客户端基于应用程序产生的应用数据；
接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析；
根据决策分析结果将所述应用数据分配到对应的服务节点中；
同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。


2.如权利要求1所述的方法，其特征在于，采集客户端基于应用程序产生的应用数据的步骤包括：
记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息；
对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合以及所述应用程序被动运行的被动日志集合；
当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合；
采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第二集合，并进行传输；
其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。


3.如权利要求1所述的方法，其特征在于，将所述应用数据导入决策树结构进行层层决策分析之前，还包括：
计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性A1；
同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2；
同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3；
对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个集合基于根节点的决策结果S；
S＝A1β1B1+A2β2B2+A3β3B3；
其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3表示所述中间节点与所述根节点和叶子节点的关联值；
根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支。


4.如权利要求3所述的方法，其特征在于，确定每个集合待导入所述决策树结构的树分支之后，还包括：
根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应的导出信息，所述导出信息中包括：导出结果和导出时间；
对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策分支。


5.如权利要求1所述的方法，其特征在于，将所述应用数据导入决策树结构中，进行层层决策分析的过程中，包括：
基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加检索；
基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数据；
基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所述异常数据数据的源文件；
查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据，并将所述无效数据进行删除；
同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。


6....

【专利技术属性】
技术研发人员：王建波，
申请(专利权)人：宁波亿核网络科技有限公司，
类型：发明
国别省市：浙江;33