一种非规则流中高维数据流的GPU处理方法技术

本发明专利技术公开了一种非规则流中高维数据流的GPU处理方法，属于高维数据流的处理方法，采用基于GPU的数据流并行计算模型对数据源的非规则流中高维数据流进行并行计算处理，处理后传给客户端；CPU主机是逻辑判断和控制的核心，并负责串行计算；概要数据结构的全部或者部分转移到GPU设备的显存中；当客户端提出查询请求时，CPU主机负责调用GPU设备的内核程序，在GPU设备显存中的概要数据结构上执行查询算法内核，并将查询结果返回CPU主机，最后再由CPU主机将结果转换为可读的最终查询结果返回给客户端。本发明专利技术能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性，具有显著的速度优势，很好地满足了高维数据流的实时性需求。

【技术实现步骤摘要】

本专利技术涉及一种高维数据流的处理方法，具体地说是一种非规则流中高维数据流的GPU处理方法。
技术介绍
GPU(Graphic Processing Unit)，中文翻译为“图形处理器”。GPU是显卡的“心脏”，也就相当于CPU在电脑中的作用。GPU具有相当高的内存带宽，以及大量的执行单元，它可帮助CPU进行一些复杂的计算工作，使显卡减少了对CPU的依赖。传统上，GPU的应用被局限于处理图形渲染计算任务，无疑是对计算资源的极大浪费。随着GPU可编程性的不断提高，利用GPU完成通用计算的研究渐渐活跃起来。将GPU用于图形渲染以外领域的计算成为GPGPU（General-purpose computing on graphics processing units，基于GPU的通用计算）。GPGPU计算通常采用CPU+GPU异构模式，由CPU负责执行复杂逻辑处理和事务管理等不适合数据并行的计算，由GPU负责计算密集型的大规模数据并行计算。这种利用GPU强大处理能力和高带宽弥补CPU性能不足的计算方式在发掘计算机潜在的性能，在成本和性价比方面有显著优势。但是传统的GPGPU受硬件可编程和开发方式的制约，应用领域受到了限制，开发难度也很大。2007年，由NVIDIA推出的CUDA（Compute Unified Device Architecture，统一计算设备架构）， 这一编程接口弥补了传统GPGPU的不足。利用CUDA编程接口， 可以用C语言直接调用GPU资源， 而无需将其映射到图形API， 为GPU的非图形编程普及消除了障碍。CUDA模型将CPU作为主机（Host），GPU作为协处理器（co-processor）或设备(device).两者协同工作。CPU负责进行逻辑性强的事物处理和串行计算，GPU则专注于执行高度线程化的并行处理任务。CPU、GPU各自拥有相互独立的存储器地址空间：主机端内存和设备端显存。一旦确定了程序中的并行计算函数（kernel），就考虑把这部分计算交给GPU。现实生活中，高速网络故障诊断，零售业务中的交易数据流、在线拍卖、交易日志、Web 跟踪和个性化、医学监测、通信领域中的电话记录数据流、网络监测中的数据包流、环境温度的监测数据以及卫星传回的图像数据流等形成了一种与传统数据库中静态数据不同的数据形态。数据流中的数据到达是快速、时变、不可预测和无限的数据流形式，不可能完全存储原始数据。而且这些数据流产生的数据量在多个应用领域中快速增长，而且产生数据流的应用通常要求在线实时处理。如何及时有效地处理数据流，从中挖掘出有用的知识，将对多个应用领域产生重大意义。（数据流的定义）数据流实际上就是连续移动的元素队伍，其中的元素是由相关数据的集合组成。令t表示任一时间戳，at表示在该时间戳到达的数据，流数据可以表示成{…，at?1，at，at+1，…本文档来自技高网...

【技术保护点】
一种非规则流中高维数据流的GPU处理方法，其特征在于采用基于GPU的数据流并行计算模型对数据源的非规则流中高维数据流进行并行计算处理，处理后传给客户端；基于GPU的数据流并行计算模型包括CPU主机和GPU设备，CPU主机是逻辑判断和控制的核心，并负责串行计算；计算密集和数据密集的部分转移到GPU设备上计算，将概要数据结构的全部或者部分转移到GPU设备的显存中；CPU主机负责从流数据源端获取数据，对数据进行流速率调节，属性包装和数据过滤，进而进行缓冲，根据流速率调节后的情况，CPU主机调度将负责负载平衡和决定何时启动GPU设备；在GPU设备上，负责存储数据流的概要数据结构，并不断将数据流转换为概要数据结构，实时处理新流入的数据流，过期的数据流将在GPU设备的显存上直接抛弃；当客户端提出查询请求时，CPU主机负责调用GPU设备的内核程序，在GPU设备显存中的概要数据结构上执行查询算法内核，并将查询结果返回CPU主机，最后再由CPU主机将结果转换为可读的最终查询结果返回给客户端。

【技术特征摘要】
1.一种非规则流中高维数据流的GPU处理方法，其特征在于采用基于GPU的数据流并行计算模型对数据源的非规则流中高维数据流进行并行计算处理，处理后传给客户端；基于GPU的数据流并行计算模型包括CPU主机和GPU设备，CPU主机是逻辑判断和控制的核心，并负责串行计算；计算密集和数据密集的部分转移到GPU设备上计算，将概要数据结构的全部或者部分转移到GPU设备的显存中；
CPU主机负责从流数据源端获取数据，对数据进行流速率调节，属性包装和数据过滤，进而进行缓冲，根据流速率调节后的情况，CPU主机调度将负责负载平衡和决定何时启动GPU设备；
在GPU设备上，负责存储数据流的概要数据结构，并不断将数据流转换为概要数据结构，实时处理新流入的数据流，过期的数据流将在GPU设备的显存上直接抛弃；
当客户端提出查询请求时，CPU主机负责调用GPU设备的内核程序，在GPU设备显存中的概要数据结构上执行查询算法内核，并将查询结果返回CPU主机，最后再由CPU主机将结果转换为可读的最终查询结果返回给客户端。
2.根据权利要求1所述的一种非规则流中高维数据流的GPU处理方法，其特征在于基于GPU的数据流并行计算模型包括六层架构：
（1）、时序数据处理层：时序数据处理层中的数据是符合非规则流的一些约束的含高维属性的元组，该层的任务是由CPU主机进行处理的，对原数据流分三次处理：流速率调节、属性包装和数据过滤；
（2）数据映射层：对于图像相关的数据流，将CPU主机内的数组结构映射为GPU设备的纹理结构，事先建立对应表达式，通过数据属性和纹理数据属性建立映射关系，找出CPU主机和GPU设备内两类数据的一一对应关系；
（3）数据缓冲层：包含两级数据缓冲池，维护如下几类数据缓冲的存储：注册的查询计划缓冲、同步数据查询操作工作区缓冲、数据流历史概要缓冲、数据流缓冲；经过数据清理以及映射处理的缓冲窗口作为普通的子窗口更新到滑动窗口中；
（4）滑动窗口层：矩阵流以队列的方式实现，队列中存放数据流的高维属性，进入滑动窗口；更新矩阵流时，用新元组替换掉最旧的元组；
（5）概要数据抽取层：生成高维数据流的概要数据结构，存放概要数据的层次；对于高维数据流此层分...

【专利技术属性】
技术研发人员：卢晓伟，张广勇，周勇，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37