【技术实现步骤摘要】
通用指标解析方法及装置
本专利技术涉及监控数据处理领域，尤指一种通用指标解析方法及装置。
技术介绍
现有技术中，大量的数据采集终端会产生海量的监控数据，所有监控数据均使用相同的报文结构汇聚到同一数据处理节点；该报文结构中的固定位置标识了监控数据类型，在另一位置包含监控数据的明细数据；在汇聚的数据处理节点必须具备海量数据的处理能力，并且根据数据类型和该类型的配置，进行不同的数据解析操作。同时，针对数量处理节点的处理效率而言，如采用较高的数据缓存技术，则存在响应时间无法保证的问题，如采用交底的数据缓存技术，又可能导致数据文件无法及时的以处理的问题，且待处理的指标任务并非一直保持线性变化，当前数据处理机制无法有效解决指标任务突增或突降的问题。再者，惯用的数据并发处理，通常是A进程取数据对数据加锁，更新数据标识，释放锁，进程B才能开始取数据。此种方式只能达到数据处理的并发，并未达到取数据的并发，一般用于数据处理过程极为复杂的情况。另外一种方式是取数据时不加锁，对重复数据处理后可以进行排重操作，这类方式用于数据...
【技术保护点】
1.一种通用指标解析方法，其特征在于，所述方法包含：/n检测指标原始信息表中未处理的指标任务在被多个解析服务进程缓存提取后的剩余数量；/n当所述剩余数量大于预定阈值时，将各所述解析服务进程的未处理指标任务的缓存提取条数增加预定数目，多个解析服务进程均按增加后的缓存提取条数于所述指标原始信息表中并行缓存提取未处理指标任务；/n根据所述指标任务的指标类型于预设配置库中获得对应的解析配置，通过所述解析配置解析所述指标任务获得明细数据；/n将所述明细数据存放于预定数据库表。/n
【技术特征摘要】
1.一种通用指标解析方法，其特征在于，所述方法包含：
检测指标原始信息表中未处理的指标任务在被多个解析服务进程缓存提取后的剩余数量；
当所述剩余数量大于预定阈值时，将各所述解析服务进程的未处理指标任务的缓存提取条数增加预定数目，多个解析服务进程均按增加后的缓存提取条数于所述指标原始信息表中并行缓存提取未处理指标任务；
根据所述指标任务的指标类型于预设配置库中获得对应的解析配置，通过所述解析配置解析所述指标任务获得明细数据；
将所述明细数据存放于预定数据库表。
2.根据权利要求1所述的通用指标解析方法，其特征在于，所述方法还包含：
当预定次数于所述剩余数量小于预定阈值时，将各所述解析服务进程的未处理指标任务的缓存提取条数减少预定数目，多个解析服务进程均按减少后的缓存提取条数于所述指标原始信息表中并行缓存提取未处理指标任务。
3.根据权利要求1或2中任一项所述的通用指标解析方法，其特征在于，所述方法还包含：所述解析服务进程通过相同的查询语句于所述指标原始信息表中缓存提取未处理的指标任务。
4.根据权利要求3所述的通用指标解析方法，其特征在于，所述方法还包含：根据当前的缓存提取条数与解析服务进程的并发总数之间的比值，所述解析服务进程于所述指标原始信息表中加锁对应比值数量的未处理的指标任务。
5.根据权利要求4所述的通用指标解析方法，其特征在于，所述解析服务进程通过相同的查询语句于所述指标原始信息表中缓存提取未处理的指标任务还包含：所述解析服务进程于所述指标原始信息表中缓存提取未处理的指标任务过程中，跳过已被加锁的未处理的指标任务。
6.根据权利要求1所述的通用指标解析方法，其特征在于，当所述剩余数量大于预定阈值时，将各所述解析服务进程的未处理指标任务的缓存提取条数增加预定数目还包含：当所述剩余数量大于预定阈值，且所述缓存提取条数在预定周期内被增加预定次数，将所述缓存提取条数修改为所述解析服务进程的预设最大缓存提取条数。
7.根据权利要求2所述的通用指标解析方法，其特征在于，当预定次数于所述剩余数量小于预定阈值时，将各所述解析服务进程的未处理指标任务的缓存提取条数减少预定数目包含：当所述...
【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中国人民银行清算总中心，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。