本发明专利技术提供一种基于GPU(图形处理单元)的实时数据流高速匹配分析系统的设计，尤其是在利用GPU提高实时数据流高速匹配分析的效率方面做出了贡献。它至少包括以下部分：一套数据流接收装置，一套海量数据阶段化存储装置，一套完整的实时数据流高速匹配分析系统，以及一套移动智能终端；其中，数据流接收装置接收监测数据，并将数据存储到分布式的工作站中，海量数据阶段化存储装置负责把工作站上的数据分类规整并阶段化存储，之后当接收到查询实时数据匹配分析请求时，系统首先检查用户是否已授权，确认无误后将在实时数据流高速匹配分析系统中进行匹配分析处理，分析结果由无线通讯硬件负责，与相应的代理商协定后，发送到便携式终端。本发明专利技术能够有效地在便携装置上对海量数据流的监控及分析，分析效率较高，特别适合外出作业的工程人员。
【技术实现步骤摘要】
基于GPU的实时数据流高速匹配分析系统的设计本专利技术提供一种实时数据流高速匹配分析系统的设计，尤其是利用GPU提高实时 数据流匹配查询速度的设计。
技术介绍
实时数据流检测和存储成为了数据流检测业务的瓶颈，如何设计出一种全新的海 量数据阶段化存储装置，该装置的特点是可以将分布式工作站中的数据定期进行归类整 理，并将工作人员需要查询匹配的实时数据流快速调用。并且存储机制中过期的数据流存 储到独立的海量存储器中以备做长期数据挖掘推理分析的功能。实时数据流的监测手段不断更新和对结果数据精确度的不断需求，使得对实时数 据流与国家标准的准确、快速匹配分析成为了当前实时数据流监测业务需解决的问题。同 传统的数据结构相比，数据流具有实时、连续、无限量等特点，数据流的这些特殊性给信息 处理技术的研究与应用带来了新的机遇和挑战.数据流的特点决定了其主要查询匹配方 式为连续查询匹配。连续查询是指当一个查询确立之后将长时间的连续执行，随着新数据 的到达将不断地产生新的查询匹配结果。由于数据流是一系列离散状态的集合，如果采用 传统基于CPU计算的数据库查询匹配方式，很多查询条件下难以快速得到准确的查询匹配 结果，由于传统的数据流存储方式将海量数据流全部存入磁盘等存储介质，当执行查询匹 配命令时需要进行大量的I/O操作，其响应速度慢，难以适应实时查询匹配的要求。实际上 最新阶段的数据要比历史数据更加重要，所以在数据流匹配分析中人们关心的往往是最新 阶段的数据。
技术实现思路
本专利技术提供一种实时数据流高速匹配分析系统的设计，特别是基于GPU的实时数 据流高速匹配分析系统的设计，可用于便携式终端设备上对实时数据流进行高速匹配分 析。本系统主要包括数据流接收装置，海量数据阶段存储装置，一套完整的实时数据 流高速匹配分析系统，无线通讯设备，以及移动智能终端；实现过程是这样的，观测卫星将 观测结果作为数据流传给地面数据流接收站，台站将监测数据流传给数据流接收站，此两 种形式的数据流接收装置接收了监测数据流，并将数据流存储到分布各地的工作站，海量 数据阶段化存储装置负责把工作站上的数据分类规整并阶段化存储，之后当接收到移动智 能终端的匹配分析请求时，系统首先检查用户是否被授权，确认无误后将从实时数据流高 速匹配分析的系统中进行匹配分析处理，匹配分析结果由无线通讯设备负责与相应的代理 商协定后，发送到移动智能终端设备上。本专利技术能够有效地在便携装置上对实时数据流进 行匹配分析，匹配分析速度较快、准确率较高，特别适合外出作业的工程人员。附图说明图1为本专利技术所揭示的实时数据流高速匹配分析系统的示意图。图2为本专利技术所揭示的实时数据流高速匹配分析系统的查询框架图。图3为本专利技术所揭示的实时数据流高速匹配分析系统的查询流程图。图4为本专利技术所揭示的实时数据流高速匹配分析系统的结构内部示意图。具体实施例方式本专利技术所要解决的技术难点是怎样满足对实时数据匹配查询提供高速度、高精确 度的数据流匹配分析机制，以应对各种数据流业务信息的应用需求。如图1，提供实时数据流接收装置包括各种不同类别的监测装置、检测数据接收装 置、工作站等设备。监测装置有观测卫星、台站等，面向不同领域会有不同的监测设备；每一 个监测设备都有与之相对应的数据流接收装置，比如卫星检测数据接收站、台站数据接收 站等。这些装置为我们提供了最原始的实测数据，这些数据会根据指令存储到分布式的工 作站中，此时的数据并没有经过统一的数据预处理过程，由于数据量巨大，所以执行匹配分 析指令时将会占用用户大量的等待时间，不适合外出工作人员随时查询调用。改进的方法 采用海量数据阶段化存储装置和基于GPU的实时数据流高速匹配分析系统，对存储和计算 速度都是一次飞跃性的改进和优化。海量数据阶段化存储装置用来保存各工作站传送过来的数据流并阶段化的存储 在分布式数据库中。这其中包括对原始数据的预处理，数据分类，入库的操作。数据预处理 负责对传送的数据进行数据清洗、去噪声等操作，这一步的目的是减少数据冗余、数据不一 致性，避免读取无效的脏数据。数据分类是将原始数据按属性信息和格式差异分类，比如台 站数据和卫星监测数据是不同类别的数据，必须存储在不同的数据库中。数据分类完毕，接 下来就是对这些数据执行入库操作。基于GPU的实时数据流高速匹配分析系统主要包含中介器、匹配处理器。系统接 受终端的查询请求，从异构数据库中获取数据。查询结果必须通过无线通讯硬件和无线通 讯代理商的中转，才能返回到移动终端上。这里的无线通讯硬件实现将查询结果传递给代 理商，由代理商负责将电磁信号转为数字信号，发送给终端请求。如图2，本专利技术中的基于GPU的实时数据流高速匹配分析系统，主要由中介器、匹 配处理器组成。中介器接收用户的查询请求，由中介器负责和本地的异构数据源交互。系 统提供给用户一个全局模式，对海量数据阶段化存储装置的数据进行匹配查询。匹配处理 器执行查询请求，并把结果返回给中介器，中介器进行综合处理后把结果返回给用户。其中 中介器由集成管理器和查询处理器组成，集成管理器负责对分布局部数据的增加、删除等 管理操作，通过全局映射能够轻松管理每一个数据源，实现数据集成管理；同时负责局部数 据到全局数据的集成。匹配处理器负责接受用户的查询请求，并将查询结果返回。接续参看图3，是对数据流查询的系统处理流程图，主要包含以下步骤首先开启 终端(下面以手机为例)中的网页浏览器，打开相应的网站；接着执行查询操作；系统先检 查该用户是否是具有权限的，如果不是则回到登录界面；如果该用户具有权限，则进入实时 数据流高速匹配分析系统执行查询操作，系统将查询结果返回给终端，结束。接续参看图4，该图是图2中基于GPU的数据流匹配处理器的核心处理单元图。 此模块是系统的核心模块，是基于GPU进行高性能计算，分为数据流Uniform Scaling 处理、Normalization处理和数据流匹配处理三个步骤。在计算机内存中对数据流进行UniformScaling处理、Normalization处理并将转换过的数据流传送到GPU显存中，GPU的 显存使用baling Subsequence Matrix存储数据流并利用滑动窗口模型与标准化数据流 进行高速匹配分析，最后将查询结果汇总后，反馈给用户。，由于GPU的特点是针对大量同 类型数据的密集运算，所以对矩阵类型的数值计算操作的优势使得匹配数据流操作更为快 速，匹配精度更高。综上所述，本专利技术是基于GPU的实时数据流高速匹配分析系统的设计，通过各种 监测装置汇集数据流类型的监测数据，并经过数据预处理之后存储到海量数据阶段化存储 装置中，移动终端能够随时通过权限执行相应的实时数据流匹配请求。以上所述仅为举例性，而非为限制性。本说明书内容不应理解为对本专利技术的限制， 任何未脱离本专利技术的精神与范畴，均应包含于申请范围之内。权利要求1.基于GPU的实时数据流高速匹配分析系统的设计，其特征在于，应该包括有一套数据流接收装置，用来接收由监测所得的海量卫星监测数据和台站数据；一套海量数据阶段化存储装置，该装置与分布式的工作站相连接，负责定期将工作站 数据归类整理，并阶段化存储；一套实时数据流高速匹配分析系统，供接收移动智能终端的匹配分析请求，从本文档来自技高网...
【技术保护点】
基于ＧＰＵ的实时数据流高速匹配分析系统的设计，其特征在于，应该包括有：一套数据流接收装置，用来接收由监测所得的海量卫星监测数据和台站数据；一套海量数据阶段化存储装置，该装置与分布式的工作站相连接，负责定期将工作站数据归类整理，并阶段化存储；一套实时数据流高速匹配分析系统，供接收移动智能终端的匹配分析请求，从海量数据阶段化存储装置中与标准数据数值进行匹配，最后根据授权情况决定是否返回分析结果；一套无线通讯设备，实时数据流高速匹配分析系统产生的分析结果需要通过无线通讯器材传输到便携设备上，无线通讯硬件起到信号中转的作用；一套移动智能终端，可便携式设备。
【技术特征摘要】
【专利技术属性】
技术研发人员：黄冬梅，张弛，赵明，何世钧，何盛琪，冯国富，方的苟，侯泽东，方钱，廖娟，
申请(专利权)人：上海海洋大学，
类型：发明
国别省市：31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。