【技术实现步骤摘要】
Redis内存管理在采集系统的处理方法
本专利技术属于计算机领域，涉及Redis内存管理在采集系统的处理方法。
技术介绍
系统数据处理能力的瓶颈主要在于规约解析后的数据入库能力。传统处理模式多为分布式多线程数据采集(通信\规约解析)，单线程存储(入库)，造成存储阻塞。因此有必要通过线程和数据库连接池技术对现有技术进行改进。
技术实现思路
有鉴于此，本专利技术的目的是提供一种Redis内存管理在采集系统的处理方法。根据需要处理的数据量动态建立数据库连接，既保证了连接资源不浪费又保证大容量数据采集、计算入库及多用户并发访问的性能。本专利技术的目的是通过以下技术方案实现的：Redis内存管理在采集系统的处理方法，该方法为：在采集系统中增加分布式缓存服务器；进行数据缓存和指令缓存；所述分布式缓存服务器基于Redis内存管理，负责执行前置通讯档案数据同步缓存功能，将设备终端、采集点档案信息同步至缓存，将采集前置解析的报文数据预存在分布式缓存中，采用定时方式进行批量存储生产库。进一步，所述数据缓存包括数据入库缓存和计算数据缓存；其中，数据入库缓存为：在采集数据入库前利用内存数据库...
【技术保护点】
1.Redis内存管理在采集系统的处理方法，其特征在于：该方法为：在采集系统中增加分布式缓存服务器；进行数据缓存和指令缓存；所述分布式缓存服务器基于Redis内存管理，负责执行前置通讯档案数据同步缓存功能，将设备终端、采集点档案信息同步至缓存，将采集前置解析的报文数据预存在分布式缓存中，采用定时方式进行批量存储生产库。
【技术特征摘要】
1.Redis内存管理在采集系统的处理方法，其特征在于：该方法为：在采集系统中增加分布式缓存服务器；进行数据缓存和指令缓存；所述分布式缓存服务器基于Redis内存管理，负责执行前置通讯档案数据同步缓存功能，将设备终端、采集点档案信息同步至缓存，将采集前置解析的报文数据预存在分布式缓存中，采用定时方式进行批量存储生产库。2.根据权利要求1所述的Redis内存管理在采集系统的处理方法，其特征在于：所述数据缓存包括数据入库缓存和计算数据缓存；其中，数据入库缓存为：在采集数据入库前利用内存数据库进行缓存，缓存记录数达到阀值后用批处理的方式入库；为避免缓存记录数在较长时间内无法达到阀值而无法入库的问题，设置时间阀值；只要达到记录阀值或时间阀值，即开始批处理入库操作，用于避免逐条入库引起的巨大时间开销。计算数据缓存为：执行前置通讯档案数据同步缓存功能，同步终端设备、采集点档案信息；同时缓存采集数据和模型数据，便于进行分析、统计时快速加载。3.根据权利要求1所述的Redis内存管理在采集系统的处理方法，其特征在于：所述指令缓存包括存...
【专利技术属性】
技术研发人员：代湘蓉，王永军，杨爱冰，欧家祥，吴才远，安江，宋强，杨婧，林晓庆，付卿卿，余飞娅，唐贤敏，石云辉，陈泰屹，杨秀江，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州,52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。