The invention discloses a real-time storage method for large data. In order to realize real-time and high-speed storage of large data, continuous data storage under the condition of small memory hardware can be realized by high-speed digital input and output card, continuous double buffer unit and high-speed hard disk. The method of the invention sets two consecutive buffer areas in the buffer unit of the microprocessor, and cyclically stores data in two consecutive buffer areas in turn. While one buffer area stores data, another buffer area stores data in the high-speed hard disk.
【技术实现步骤摘要】
一种大数据实时存储方法
本专利技术涉及一种大数据实时存储方法。
技术介绍
大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。海量存储的含义在于，其在数据存储中的容量增长是没有止境的。因此，用户需要不断地扩张存储空间。但是，存储容量的增长往往同存储性能并不成正比。这也就造成了数据存储上的误区和障碍。海量存储技术的概念已经不仅仅是单台的存储设备...
【技术保护点】
1.一种大数据实时存储方法，其特征在于：所述方法基于的硬件包括超高速数字输入输出卡、高速硬盘以及安装有操作系统的处理器；所述方法包括如下具体步骤：步骤1：初始化高速数字输入输出卡，并设置其工作模式；步骤2：设置连续多缓存模式，所述微处理器的缓冲单元中设置两个连续的缓冲区域；步骤3：根据采集端的触发器触发硬件系统进行工作，控制将数据首先存入所述两个连续的缓冲区域中的第一缓冲区域；步骤4：判断第一缓冲区域是否已满，若第一缓冲区域已满则控制将数据开始缓存到第二缓存区域，否则继续存储到所述第一缓冲区域；步骤5：在数据缓存到第二缓冲区域时，控制将所述第一缓冲区域中的数据存储到所述高速...
【技术特征摘要】
1.一种大数据实时存储方法，其特征在于：所述方法基于的硬件包括超高速数字输入输出卡、高速硬盘以及安装有操作系统的处理器；所述方法包括如下具体步骤：步骤1：初始化高速数字输入输出卡，并设置其工作模式；步骤2：设置连续多缓存模式，所述微处理器的缓冲单元中设置两个连续的缓冲区域；步骤3：根据采集端的触发器触发硬件系统进行工作，控制将数据首先存入所述两个连续的缓冲区域中的第一缓冲区域；步骤4：判断第一缓冲区域是否已满，若第一缓冲区域已满则控制将数据开始缓存到第二缓存区域，否则继续存储到所述第一缓冲区域；步骤5：在数据缓存到第二缓...
【专利技术属性】
技术研发人员：王立钧，吴勇，
申请(专利权)人：南京唯实科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。