一种针对海量数据高效缓存及管理的方法技术

本发明专利技术公开了一种针对海量数据高效缓存及管理的方法，首先生成空闲内存队列块；启动网络数据接收功能时，采用异步接收技术，从空闲内存队列块中获取空闲消息块，如果空闲消息队列为空，则有系统申请内存块，将内存块赋予异步接收函数；当网络数据已经接收完成时，操作系统将自动调用异步处理函数，这时内存块将是已经存储网络消息的数据块，将包含网络消息的数据块加入网络数据消息队列，并通知数据库存储模块存储消息数据；本发明专利技术采用异步数据处理开发技术，使操作系统接收的网络数据直接存储于预分配的内存块，避免了频繁动态申请内存块，极大的提高了系统资源利用率；同时本发明专利技术采用队列缓存机制，可以使系统能够应付突发大量数据的存储。

【技术实现步骤摘要】
一种针对海量数据高效缓存及管理的方法
本专利技术涉及数据处理
，具体是一种针对海量数据高效缓存及管理的方法。
技术介绍
目前采用双机备份的技术来保证数据采集的高可靠性，双机备份包括采集过程的备份以及后台数据的备份，当前后台数据库备份技术已经成熟，只需利用合理的数据库技术，就可以达到数据库引擎以及数据库存储的备份目的。双机备份系统具有高可靠性、高实时性和高信息吞吐量，其数据库管理系统为完成其基本功能，可以使用动态内存分配子系统来获取内存空间。而常用的系统调用malloc()和free()存在着效率不够高、可能产生内存碎片的问题，而由于内存空间受限，内存碎片的产生可能会导致内存空间不足，造成数据库操作失败，从而影响系统的可靠性和安全性，这对于安全关键的系统是不可接受的。另外，由于双机备份系统接收的数据处于高速海量网络数据，系统接收数据需要申请内存空间存储接收的网络数据，在高速环境下，频繁申请系统内存，一方面申请释放内存空间会消耗大量的内存资源，另一方面，也会造成系统存在大量的不可用空闲内存，这时尽管操作系统有内存管理机制合并内存块，但是不可避免也会消耗大量系统资源，极大地降低系统性能。
技术实现思路
本专利技术的目的在于提供一种针对海量数据高效缓存及管理的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种针对海量数据高效缓存及管理的方法，具体步骤如下：(1)首先生成空闲内存队列块；(2)启动网络数据接收功能时，采用异步接收技术，从空闲内存队列块中获取空闲消息块，如果空闲消息队列为空，则有系统申请内存块，将内存块赋予异步接收函数；(3)当网络数据已经接收完成时，操作系统将自动调用异步处理函数，这时内存块将是已经存储网络消息的数据块，将包含网络消息的数据块加入网络数据消息队列，并通知数据库存储模块存储消息数据；(4)数据库存储模块从网络数据消息队列头获取存储数据的消息块，将网络数据存储于数据块，当消息队列中数据量大于5个时，则每次将5个数据块构造一个存储过程，一次将5个数据同时存入数据库，以提高数据存储效率；(5)数据存储成功后，将插入成功的数据块内存插入空闲内存块队列。与现有技术相比，本专利技术的有益效果是：本专利技术通过申请内存使之成为空闲数据块，采用异步数据处理开发技术，使操作系统接收的网络数据直接存储于预分配的内存块，避免了频繁动态申请内存块，减少了大量的系统调用，极大的提高了系统资源利用率；同时本专利技术采用队列缓存机制，可以使系统能够应付突发大量数据的存储。附图说明图1为本专利技术的方法示意图。具体实施方式下面结合具体实施方式对本专利的技术方案作进一步详细地说明。请参阅图1，一种针对海量数据高效缓存及管理的方法，具体步骤如下：(1)首先生成空闲内存队列块；(2)启动网络数据接收功能时，采用异步接收技术，从空闲内存队列块中获取空闲消息块，如果空闲消息队列为空，则有系统申请内存块，将内存块赋予异步接收函数；(3)当网络数据已经接收完成时，操作系统将自动调用异步处理函数，这时内存块将是已经存储网络消息的数据块，将包含网络消息的数据块加入网络数据消息队列，并通知数据库存储模块存储消息数据；(4)数据库存储模块从网络数据消息队列头获取存储数据的消息块，将网络数据存储于数据块，当消息队列中数据量大于5个时，则每次将5个数据块构造一个存储过程，一次将5个数据同时存入数据库，以提高数据存储效率；(5)数据存储成功后，将插入成功的数据块内存插入空闲内存块队列。本专利技术通过申请内存使之成为空闲数据块，采用异步数据处理开发技术，使操作系统接收的网络数据直接存储于预分配的内存块，避免了频繁动态申请内存块，减少了大量的系统调用，极大的提高了系统资源利用率；同时本专利技术采用队列缓存机制，可以使系统能够应付突发大量数据的存储。上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。本文档来自技高网...

【技术保护点】
一种针对海量数据高效缓存及管理的方法，其特征在于，具体步骤如下：(1)首先生成空闲内存队列块；(2)启动网络数据接收功能时，采用异步接收技术，从空闲内存队列块中获取空闲消息块，如果空闲消息队列为空，则有系统申请内存块，将内存块赋予异步接收函数；(3)当网络数据已经接收完成时，操作系统将自动调用异步处理函数，这时内存块将是已经存储网络消息的数据块，将包含网络消息的数据块加入网络数据消息队列，并通知数据库存储模块存储消息数据；(4)数据库存储模块从网络数据消息队列头获取存储数据的消息块，将网络数据存储于数据块，当消息队列中数据量大于5个时，则每次将5个数据块构造一个存储过程，一次将5个数据同时存入数据库，以提高数据存储效率；(5)数据存储成功后，将插入成功的数据块内存插入空闲内存块队列。

【技术特征摘要】
1.一种针对海量数据高效缓存及管理的方法，其特征在于，具体步骤如下：(1)首先生成空闲内存队列块；(2)启动网络数据接收功能时，采用异步接收技术，从空闲内存队列块中获取空闲消息块，如果空闲消息队列为空，则有系统申请内存块，将内存块赋予异步接收函数；(3)当网络数据已经接收完成时，操作系统将自动调用异步处理函数，这时内存块将是已经存储网络消息的数据...

【专利技术属性】
技术研发人员：王文奇，王军民，杨波，
申请(专利权)人：湖南胜云光电科技有限公司，
类型：发明
国别省市：湖南,43