一种流式数据计算方法技术

本申请提供了一种流式数据计算方法，所述方法包括：根据具有特定属性信息的Excel格式明细数据源，将数据源对应的标题名称存储到根结点中，将每个标题名称下的具体的指标字段存储到对应的子结点中；对根结点中存储的标题名称进行读取，得到标题名称中的多种类关键词；根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个指标字段之间的计算结果；遍历根结点对应的多种类关键词，以及依次遍历多个子结点对应的指标字段，生成目录列表；对多种类关键词和指标字段中文件进行编辑，将编辑的最新目录列表结构，存储在Excel中；响应用户下达的读取指令，获取目标列表的选定值，通过可视化服务终端进行显示。

【技术实现步骤摘要】
一种流式数据计算方法
本专利技术涉及计算机
，具体而言，涉及一种流式数据计算方法。
技术介绍
实时流式计算(RealTimeStreamingAnalyse)，近年来大数据领域的实时流计算得到广泛应用，实时流式计算的三个特征包括：无限数据、无界数据处理、低延迟，其中，无限数据是指一种不断增长的，基本上无限的数据集；无界数据处理是指一种持续的数据处理模式,能够通过处理引擎重复的去处理上面的无限数据，是能够突破有限数据处理引擎的瓶颈的；低延迟是指数据多少并没有明确的定义，数据的价值将随着时间的流逝降低，时效性将是需要持续解决的问题。流式数据主要应用于金融服务、网络监控、电信数据管理、Web应用、生产制造、传感检测等，在数据流模型中，由于单独数据是相关的元组，如网络测量、呼叫记录、网页访问等产生的数据，这些数据以大量、快速、时变的数据流形式持续达到，而现阶段数据流模型不能满足流式数据的实时计算的要求，同时，持久性数据流模型不具备可视化计算结果的显示的功能，不能针对性的对数据流进行实时分析和溯源。
技术实现思路
本专利技术的目的在于提供一种流式数据计算方法，通过可视化服务终端实现流式数据的实时计算及可视化显示。本专利技术是这样实现的：一种流式数据计算方法，该方法包括：按照用户所选择的处理策略标识符对应的数据处理策略，对文本数据进行处理，得到具有特定属性信息的Excel格式明细数据源，所述特定属性信息包括：标题名称和指标字段；将所述标题名称存储到根结点中，以及将每个所述标题名称下的具体的指标字段存储到对应的子结点中；响应用户所下达的选择指令，对所述根结点中存储的标题名称进行读取，得到所述标题名称中的多种类关键词；根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个所述属性值之间的计算结果；遍历所述根结点对应的多种类关键词，以及依次遍历多个所述子结点对应的指标字段，生成目录列表，所述子结点包括：左子结点和右子结点；针对所述目录列表，对所述多种类关键词和指标字段中文件进行编辑，将编辑的最新目录列表结构，以Excel格式存储；响应用户下达的读取指令，获取所述目标列表的选定值，通过树形结构的形式在可视化服务终端进行显示。在本专利技术较佳的技术方案中，按照用户所选择的处理策略标识符对应的数据处理策略，对文本数据进行处理，得到具有特定属性信息的Excel格式明细数据源，包括：响应用户选择的所述ETL工具的所述处理策略标识符，对所述文本数据执行所述处理策略标识符对应的数据处理策略，得到具有所述标题名称和所述指标字段的所述Excel格式明细数据源。在本专利技术较佳的技术方案中，将所述标题名称存储到根结点中，以及将每个所述标题名称下的具体的指标字段存储到对应的子结点中，包括：将所述根结点中的标题名称按层序位置，存放到一组地址连续的存储单元中内层；将所述子结点对应的指标字段按从左至右顺序依次存储在，以所述存储单元连接的外层，所述子结点包括左子节点和右子节点。在本专利技术较佳的技术方案中，响应用户所下达的选择指令，对所述根结点中存储的标题名称进行读取，得到所述标题名称中的多种类关键词，包括：随机选择所述标题名称中至少一种所述多种类关键词，生成标题名称的统计路径，所述多种类关键词包括：时间、属性名称、数据值、区域；将选择出的所述多种类关键词，通过地址建立内部关联，得到所述多种类关键词的多个属性值。在本专利技术较佳的技术方案中，根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个所述属性值之间的计算结果，包括：建立所述多种类关键词和所述属性值的地址关联，关联后根据用户下达的最新鼠标位置，移动所述属性值的地址；选择所述多种类关键词下的多个所述属性值，对所述属性值的地址进行组合关联；根据用户所选择的函数计算公式对多个组合后的所述属性值进行计算，得到所述指标字段之间的计算结果。在本专利技术较佳的技术方案中，遍历所述根结点对应的多种类关键词，以及依次遍历多个所述子结点对应的指标字段，生成目录列表，包括：按照层级树形结构，将遍历的根结点对应的多种类关键词，按照层级添加到消息列队中；针对每个子结点对应的所述属性值，验证所述属性值是否为文件，若是则添加到消息列队，生成目录列表中。在本专利技术较佳的技术方案中，针对所述目录列表，对所述多种类关键词和指标字段中的文件进行编辑操作，将编辑的最新目录列表结构，以Excel格式存储，包括：按照树形结构建立目录列表，对存储在目标类别中的多种类关键词和指标字段进行增加操作；将增加后的所述多种类关键词对应的根结点和指标字段对应的子结点新目录列表，存续到Excel格式的文件中。在本专利技术较佳的技术方案中，响应用户下达的读取指令，获取目录列表的选定值，通过树形结构的形式在可视化服务终端进行显示，包括：针对所述树形结构目录列表，可视化服务终端向前端访问页面推送计算结果的可视化成功消息；响应用户发出的读取指令，获取所述动态列表的宽度和高度选定值，在树形结构的可视化服务终端显示出来。在本专利技术较佳的技术方案中，一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求任一所述流式数据计算方法的步骤。在本专利技术较佳的技术方案中，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求任一所述流式数据计算的步骤。本专利技术的有益效果主要在于：本申请根据具有特定属性信息的Excel格式明细数据源，将数据源对应的标题名称存储到根结点中，以及将每个标题名称下的具体的指标字段存储到对应的子结点中；响应用户所下达的选择指令，对根结点中存储的标题名称进行读取，得到标题名称中的多种类关键词；根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个指标字段之间的计算结果；遍历根结点对应的多种类关键词，以及依次遍历多个子结点对应的指标字段，生成目录列表，子结点包括：左子结点和右子结点；针对目录列表，对多种类关键词和指标字段中文件进行编辑，将编辑的最新目录列表结构，存储在Excel格式中；响应用户下达的读取指令，获取目标列表的选定值，通过树形结构的形式在可视化服务终端进行显示；具体来说，读取Excel格式明细数据源对应的特定属性信息，属性信息可以是金融服务、网络监控、电信数据管理、Web应用、生产制造的行业数据，根据该行业数据流报表数据以Excel格式导入到可视化服务终端中，针对特定属性信息对应的多种类关键词，以及多种类关键词下的属性值，运用公式调用相应函数进行计算，得到多个属性值之间的计算结果，通过Excel格式存储，通过页面浏览的形式将层级树形结构的Excel格式的目录列表进行显示，该本文档来自技高网...

【技术保护点】
1.一种流式数据计算方法，其特征在于，所述方法包括：/n按照用户所选择的处理策略标识符对应的数据处理策略，对文本数据进行处理，得到具有特定属性信息的Excel格式明细数据源，所述特定属性信息包括：标题名称和指标字段；/n将所述标题名称存储到根结点中，以及将每个所述标题名称下的具体的指标字段存储到对应的子结点中；/n响应用户所下达的选择指令，对所述根结点中存储的标题名称进行读取，得到所述标题名称中的多种类关键词；/n根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个所述属性值之间的计算结果；/n遍历所述根结点对应的多种类关键词，以及依次遍历多个所述子结点对应的指标字段，生成目录列表，所述子结点包括：左子结点和右子结点；/n针对所述目录列表，对所述多种类关键词和指标字段中文件进行编辑，将编辑的最新目录列表结构，以Excel格式存储；/n响应用户下达的读取指令，获取所述目录列表的选定值，通过树形结构的形式在可视化服务终端进行显示。/n

【技术特征摘要】
1.一种流式数据计算方法，其特征在于，所述方法包括：
按照用户所选择的处理策略标识符对应的数据处理策略，对文本数据进行处理，得到具有特定属性信息的Excel格式明细数据源，所述特定属性信息包括：标题名称和指标字段；
将所述标题名称存储到根结点中，以及将每个所述标题名称下的具体的指标字段存储到对应的子结点中；
响应用户所下达的选择指令，对所述根结点中存储的标题名称进行读取，得到所述标题名称中的多种类关键词；
根据用户所选择的公式，将用户选择的多种类关键词下的多个属性值之间进行计算，得到多个所述属性值之间的计算结果；
遍历所述根结点对应的多种类关键词，以及依次遍历多个所述子结点对应的指标字段，生成目录列表，所述子结点包括：左子结点和右子结点；
针对所述目录列表，对所述多种类关键词和指标字段中文件进行编辑，将编辑的最新目录列表结构，以Excel格式存储；
响应用户下达的读取指令，获取所述目录列表的选定值，通过树形结构的形式在可视化服务终端进行显示。


2.根据权利要求1所述的流式数据计算方法，其特征在于，按照用户所选择的处理策略标识符对应的数据处理策略，对文本数据进行处理，得到具有特定属性信息的Excel格式明细数据源，包括：
响应用户选择的ETL工具的所述处理策略标识符，对所述文本数据执行所述处理策略标识符对应的数据处理策略，得到具有所述标题名称和所述指标字段的所述Excel格式明细数据源。


3.根据权利要求1所述的流式数据计算方法，其特征在于，将所述标题名称存储到根结点中，以及将每个所述标题名称下的具体的指标字段存储到对应的子结点中，包括：
将所述根结点中的标题名称按层序位置存放到一组地址连续的存储单元中内层；
将所述子结点对应的指标字段按从左至右顺序依次存储在，以所述存储单元连接的外层，所述子结点包括左子节点和右子节点。


4.根据权利要求3所述的流式数据计算方法，其特征在于，响应用户所下达的选择指令，对所述根结点中存储的标题名称进行读取，得到所述标题名称中的多种类关键词，包括：
随机选择所述标题名称中至少一种所述多种类关键词，生成标题名称的统计路径，所述多种类关键词包括：时间、属性名称、数据值、区域；
将选择出的所述多种类关键词，通过地址建立内部关联，得到所述多种类关键词的多个属性值。

【专利技术属性】
技术研发人员：姜林，张磊，陈丹丹，方清，王超，段奇，何渝君，舒忠玲，
申请(专利权)人：瀚云科技有限公司，
类型：发明
国别省市：江苏;32