一种大规模并发数据流处理装置制造方法及图纸

本发明专利技术公开了一种大规模并发数据流处理装置，包括数据流采集模块、数据流单元缓冲模块和中央控制器，所述数据流采集模块输出端与数据流单元缓冲模块输入端电性连接，所述数据流单元缓冲模块输出端预输入端电性连接，所述中央控制器与‑数据流分拣模块电性连接，所述中央控制器与数据流读取模块电性连接，所述中央控制器与任务调度模块电性连接，所述中央控制器与总数据流存储模块电性连接，所述中央控制器与处理器电性连接。本发明专利技术，通过设置数据流分拣模块，可对数据流进行分拣，进而将同类数据存储在同类数据流存储模块内，经过任务调度模块，可对同类数据进行调度处理，能提高数据流的处理效率。

【技术实现步骤摘要】

本专利技术涉及数据流处理设备
，具体为一种大规模并发数据流处理装置。
技术介绍
目前，随着信息技术的飞速发展和互联网技术应用的普及，网络已经成为人们日常生活中重要的一部分。近年来，3G网络和物联网技术应用的逐步展开为人们的生活、工作带来了极大的方便。然而，这些新技术的核心应用关键之一就是大规模并发数据流处理问题。所谓数据流就是从一个节点发往另一个节点的具有某种特征的数据单元构成的连续不断的信息流，数据流的处理和分析问题要求处理节点具有一定的实时处理能力。人们可以通过缓冲处理、并行处理机制来解决实时处理问题。然而，现实应用中的数据流并非一个，在两个处理节点间的数据流可能是成千上万个，这就形成了大规模并发数据流的处理需求。如3G通信视频流的质量实时分析问题，在这个问题中，数据抓取节点从3G骨干网络上同时抓去上万门3G通话的IP包，并还原成上万个H.264视频流，而3G视频质量分析系统需要提取这些视频流在某一时刻的上万个静态画面，并进行模糊度计算、块效应计算等工作。大规模并发数据流的实时处理问题给业界带来了极大的挑战。如何构建廉价的高性能处理装置是一个具有挑战性的研究课题。以流处理器为代表的新型计算装置为解决这些困难带来了曙光。流处理器是GPU走向通用计算领域的总称，因其内部采用上百个Stream processor并行架构而得名，其可以有效支持SPMD并行操作，非常适合做大规模并发数据流的处理工作，且其性能十分出众。但是，由于同一个流处理器核心在同一时刻只能运行同一个核心程序，而同时到来的大规模并发数据流的成千上万个数
据流单元却不一定具有同一处理特征，因而无法满足流处理器进行高性能处理的数据特征要求，无法使流处理器发挥其最大能力，进而提高处理效率。
技术实现思路
为了解决上述存在的问题，本专利技术提供一种大规模并发数据流处理装置。本专利技术是通过以下技术方案实现：一种大规模并发数据流处理装置，包括数据流采集模块、数据流单元缓冲模块和中央控制器，所述数据流采集模块输出端与数据流单元缓冲模块输入端电性连接，所述数据流单元缓冲模块输出端预输入端电性连接，所述中央控制器与-数据流分拣模块电性连接，所述中央控制器与数据流读取模块电性连接，所述中央控制器与任务调度模块电性连接，所述中央控制器与总数据流存储模块电性连接，所述中央控制器与处理器电性连接。作为本专利技术的进一步优化方案：所述总数据流存储模块内部包括多个同类数据流存储模块。所述中央控制器采用单片机。与现有的技术相比，本专利技术的有益效果是：本专利技术通过设置数据流分拣模块，可对数据流进行分拣，进而将同类数据存储在同类数据流存储模块内，经过任务调度模块，可对同类数据进行调度处理，能提高数据流的处理效率。附图说明图1为本专利技术的结构示意图；图中：1-数据流采集模块；2-数据流单元缓冲模块；3-中央控制器；4-数据流分拣模块；5-数据流读取模块；6-任务调度模块；7-总数据流存储模块；71-同类数据流存储模块；8-处理器。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：如图1所示，一种大规模并发数据流处理装置，包括数据流采集模块1、数据流单元缓冲模块2和中央控制器3，数据流采集模块1输出端与数据流单元缓冲模块2输入端电性连接，数据流单元缓冲模块2输出端预输入端电性连接，中央控制器3与数据流分拣模块4电性连接，中央控制器3与数据流读取模块5电性连接，中央控制器3与任务调度模块6电性连接，中央控制器3与总数据流存储模块7电性连接，中央控制器3与处理器8电性连接，总数据流存储模块7内部包括多个同类数据流存储模块71，中央控制器3采用单片机。具体使用方式：本专利技术工作中，通过数据流采集模块1采集数据流，通过数据流单元缓冲模块2缓冲后，再通过数据流读取模块5读取，再通过数据流分拣模块4分拣，再存入总数据流存储模块7内部同类数据流存储模块71内，最后经任务调度模块6调度给处理器8处理。以上显示和描述了本专利技术的基本原理、主要特征和优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变化和改进都落入要求保护的本专利技术范围内。本专利技术要求保护范围由所附的权利要求书及其等效物界定。本文档来自技高网...

【技术保护点】
一种大规模并发数据流处理装置，包括数据流采集模块(1)、数据流单元缓冲模块(2)和中央控制器(3)，其特征在于：所述数据流采集模块(1)输出端与数据流单元缓冲模块(2)输入端电性连接，所述数据流单元缓冲模块(2)输出端预输入端电性连接，所述中央控制器(3)与数据流分拣模块(4)电性连接，所述中央控制器(3)与数据流读取模块(5)电性连接，所述中央控制器(3)与任务调度模块(6)电性连接，所述中央控制器(3)与总数据流存储模块(7)电性连接，所述中央控制器(3)与处理器(8)电性连接。

【技术特征摘要】
1.一种大规模并发数据流处理装置，包括数据流采集模块(1)、数据流单元缓冲模块(2)和中央控制器(3)，其特征在于：所述数据流采集模块(1)输出端与数据流单元缓冲模块(2)输入端电性连接，所述数据流单元缓冲模块(2)输出端预输入端电性连接，所述中央控制器(3)与数据流分拣模块(4)电性连接，所述中央控制器(3)与数据流读取模块(5)电性连接，所述中央控制器(...

【专利技术属性】
技术研发人员：赖真霖，文君，
申请(专利权)人：成都四象联创科技有限公司，
类型：发明
国别省市：四川;51