一种基于消息队列的海量数据弹性写入方法技术

本发明专利技术提供一种基于消息队列的海量数据弹性写入方法，包括：(1)信息收集者将需要写入的信息放入消息队列；(2)消息队列对信息进行缓存；(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。本发明专利技术在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算，在保证海量数据快速写入的同时能有效节约计算资源。

【技术实现步骤摘要】
一种基于消息队列的海量数据弹性写入方法
本专利技术属于软件工程
，涉及一种基于消息队列的海量数据弹性写入方法。
技术介绍
随着物联网、即时通信等技术的迅速发展，由机器产生的数据与通信记录已成为海量数据，实现大规模数据的高效写入显得日益迫切，因此，海量数据的弹性写入已成为当今社会研究的热点问题。多目标跟踪中存在大量的资源不足与资源过剩问题，增加了数据高效写入的复杂性，也使得实现更加困难。消息队列和批量写入是两种常用的海量数据写入方法，消息队列是一种确写入异步化方法，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。所以在一些场景中，合理使用消息队列，可有效抵御大量涌入的写入操作对系统造成的冲击。批量写入是一种批量化操作，它是基于将多次写入操作简化为一次，对系统的内存消耗较大，同时容易造成较大的写入延迟实时性较差。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种消息队列的海量数据弹性写入方法，在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算。本专利技术的技术方案如本文档来自技高网...

【技术保护点】
1.一种基于消息队列的海量数据弹性写入方法，其特征在于包括以下步骤：/n(1)信息收集者将需要写入的信息放入消息队列；/n(2)消息队列对信息进行缓存；/n(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；/n(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。/n

【技术特征摘要】
1.一种基于消息队列的海量数据弹性写入方法，其特征在于包括以下步骤：
(1)信息收集者将需要写入的信息放入消息队列；
(2)消息队列对信息进行缓存；
(3)监控...

【专利技术属性】
技术研发人员：滕一，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：北京;11