易扩展海量数据采集系统技术方案

本发明专利技术提供了一种易扩展海量数据采集系统，包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件；数据存储控制器：负责接收、分配待入库信息；入库工作终端管理器：负责入库任务的接收、分配；入库终端：入库终端接收管理器分配的任务，执行入库操作；配置规则库：存储配置规则的配置信息，为各个部件在特定情况下做出相应的反应提供依据；较现有技术对海量数据入库过程增加了调度管理，可显著改善和提高系统的可扩展性，而且数据入库的准确性和完整性、数据入库工作的可靠性高。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种易扩展海量数据采集系统，包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件；数据存储控制器：负责接收、分配待入库信息；入库工作终端管理器：负责入库任务的接收、分配；入库终端：入库终端接收管理器分配的任务，执行入库操作；配置规则库：存储配置规则的配置信息，为各个部件在特定情况下做出相应的反应提供依据；较现有技术对海量数据入库过程增加了调度管理，可显著改善和提高系统的可扩展性，而且数据入库的准确性和完整性、数据入库工作的可靠性高。【专利说明】易扩展海量数据采集系统
本专利技术涉及IT运维领域，尤其涉及一种易于扩展的数据采集系统。
技术介绍
在IT运维领域，数据监控作为基础性工作，其准确度和处理效率对于保证系统运行具有重要的作用，随着信息系统本身的不断发展，数据采集量不断增大，不仅要同时监控众多设备，且不同的设备又涉及到诸多的网元指标，因此在单位时间内，由监控系统采集来的网元数据量巨大，虽然现有技术中关于海量数据存储的方案很多，但在IT运维领域的匹配度不高，缺乏对数据任务的缓存、转存、序列调整等调度机制，缺乏针对IT运维工具的、高效的、准确的、海量的数据入库方案。
技术实现思路
本专利技术的目的在于提供一种易扩展数据采集系统，专门针对IT运维工具的广泛适用的特点，易于扩展、易于定制，还可提高数据入库的效率和准确度。为实现本专利技术的目的所采用的方案是，易扩展海量数据采集系统:包括有对外入库信息提交接口和数据库，还包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件； 数据存储控制器:负责接收、分配待入库信息，在启动过程中，扫描并加载入库信息转存文件中转存的入库信息；数据存储控制器启动完毕后，根据入库信息缓存中的数据条数，按照配置规则将入库信息缓存中的入库信息以最优方式转化封装成入库任务，并提交给入库工作终端管理器；在系统关闭过程中，数据存储控制器将入库信息缓存中的未分配入库信息，也可以包含被拒绝提交的入库任务，转存到入库信息转存文件中； 入库工作终端管理器:负责入库任务的接收、分配，在系统启动后，入库工作终端管理器接收到数据存储控制器提交的入库任务，随后检查所属的工作终端是否有空闲终端，如果有空闲终端，则进行入库任务分法；如果没有，则还需根据配置规则查看任务缓存中的任务数量是否达到了最大的承载数量，当达到了任务最大承载数量的时候，再根据配置规则中的转存策略将部分入库任务转存入库信息转存文件；当该控制器的所属的入库工作终端处于低负载状态时，该管理器应该通知数据存储控制器，扫描入库信息转存文件中是否有转存的未入库的入库信息；该系统关闭过程中，该入库工作终端管理器停止接收新任务和分配任务到入库工作终端，保存任务缓存中未分配的入库任务到入库信息转存文件。入库终端:入库终端接收管理器分配的任务，执行入库操作，在执行过程中，如果发现错误的入库信息，则将该错误的入库信息过滤，并转存到错误信息转存文件，然后继续执行未执行完毕的入库信息，如果发生存储异常，比如10，数据库服务异常等，则回退所有的数据库操作，并且将该工作终端正在执行的入库任务转存到入库信息转存文件中。配置规则库:存储配置规则的配置信息，包括每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件，为系统运行提供准则，为各个部件在特定情况下做出相应的反应提供依据。本专利技术的工作原理包含如下主要步骤: 1)、配置入库方法的配置规则，所述对配置规则的配置包括设定:每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件； 2)、启动数据存储控制器，在启动过程中，数据存储控制器首先初始化入库信息缓存，然后扫描入库信息转存文件是否有未入库的信息，如果有，则将这些信息重新加载到入库信息缓存中，以备调度； 3)、当数据存储控制器启动后，接收待入库信息，控制器检测入库信息缓存中是否有需要入库的信息，并且判断信息的数量是否达到了预设的每批最优入库信息数，如果达到了最优数量，则按照最优数量分为一批数据、封装成一个入库任务，提交给入库工作终端管理器；如果没有达到最优数量，则根据规则等待，在等待最优信息数最长时间内，如果缓存中数据条数达到每批最优入库信息数，则按最优数据条数分配一个入库任务，否则等待结束后将全部数据封装为一个入库任务、提交给入库工作终端管理器； 4)、当入库工作终端管理器接收到入库任务时，根据配置规则，判断入库任务缓存队列中的任务数量是否已经达到了预设的最大可承载任务数，如果没有，则将该任务放入到入库任务缓存中；如果超出了最大可承载任务数，则根据配置规则中设定的入库信息转存策略，直接将该任务转存到入库信息转存文件中，并/或，按比例随机转存入库任务缓存中的部分任务到入库信息转存文件中； 5)、入库工作终端管理器对入库任务进行分配，首先判断入库任务缓存中是否有未分配的任务，如果有，则判断该入库工作终端管理器所属的入库终端是否全部都在运行中，如果有空闲的入库终端，则从入库任务缓存中取出一个任务，并交给该空闲入库终端执行；如果没有空闲的入库终端，则等待，直到有入库终端被释放，再分配入库任务； 6)、当空闲的入库终端接收到入库任务后，立即执行入库操作，如果在执行过程中，由于入库信息错误而导致的异常，入库终端则会过滤该异常信息，并继续执行未执行的入库信息并将错误的入库信息转存到错误信息转存文件中；如果因为网络、数据库管理系统、磁盘IO等原因引起的异常，则入库终端根据预设的配置规则重试一定数量或者时间的入库操作，如果依然不能正常入库，则回退已执行的所有操作，并且将该入库任务中的入库信息转存到入库信息转存文件； 7)、当入库工作终端管理器管理的入库终端处于低负荷状态时，入库工作终端管理器将通知数据存储控制器扫描入库信息转存文件，查看是否有转存的入库信息，如果有，则将这些信息重新加载到入库信息缓存中，重新进行调度； 8)、当入库工作终端管理器关闭过程中，入库工作终端管理器停止向入库工作终端管理器提交任务，入库信息缓存中的入库信息，由于并发原因，被入库工作终端管理器拒绝的任务均转存到入库信息转存文件中；入库工作终端管理器停止接收新任务、停止向入库终端分配任务，将任务缓存中的所有未分配任务转存到入库信息转存文件中；各个入库终端停止接受任务，但继续执行未完成的任务，待执行完毕，退出工作状态。采用这种方案的采集调度装置，较现有技术对海量数据入库过程增加了调度管理，可显著改善和提高系统的可扩展性，以适应不同的被监控系统及其规模变化，系统的可扩展性、定制性高；而且入库规则配置灵活，可适应不同的被监控系统的具体业务特点，容易根据被监控系统的实际情况调整入库管理；而且数据入库的准确性和完整性、数据入库工作的可靠性高，采用了转存机制以避免了超负荷对系统的延迟影响；与监控系统、流程系统、诊断系统等并发工作的能力强。【专利附图】【附图说明】图1是本本文档来自技高网...

【技术保护点】
易扩展海量数据采集系统：包括有对外入库信息提交接口和数据库，其特征在于，该系统还包括有数据存储控制器、入库信息缓存、入库工作终端管理器、入库任务缓存、入库终端、入库信息转存文件、配置规则库、错误信息转存文件；数据存储控制器：负责接收、分配待入库信息，在启动过程中，扫描并加载入库信息转存文件中转存的入库信息；数据存储控制器启动完毕后，根据入库信息缓存中的数据条数，按照配置规则将入库信息缓存中的入库信息以最优方式转化封装成入库任务，并提交给入库工作终端管理器；在系统关闭过程中，数据存储控制器将入库信息缓存中的未分配入库信息，也可以包含被拒绝提交的入库任务，转存到入库信息转存文件中；入库工作终端管理器：负责入库任务的接收、分配，在系统启动后，入库工作终端管理器接收到数据存储控制器提交的入库任务，随后检查所属的工作终端是否有空闲终端，如果有空闲终端，则进行入库任务分法；如果没有，则还需根据配置规则查看任务缓存中的任务数量是否达到了最大的承载数量，当达到了任务最大承载数量的时候，再根据配置规则中的转存策略将部分入库任务转存入库信息转存文件；当该控制器的所属的入库工作终端处于低负载状态时，该管理器应该通知数据存储控制器，扫描入库信息转存文件中是否有转存的未入库的入库信息；该系统关闭过程中，该入库工作终端管理器停止接收新任务和分配任务到入库工作终端，保存任务缓存中未分配的入库任务到入库信息转存文件；入库终端：入库终端接收管理器分配的任务，执行入库操作，在执行过程中，如果发现错误的入库信息，则将该错误的入库信息过滤，并转存到错误信息转存文件，然后继续执行未执行完毕的入库信息，如果发生存储异常，比如IO，数据库服务异常等，则回退所有的数据库操作，并且将该工作终端正在执行的入库任务转存到入库信息转存文件中；配置规则库：存储配置规则的配置信息，包括每批最优入库信息数、等待最优信息数最长时间、最大可承载任务数、入库任务失败重试次数、入库信息转存策略、入库信息转存文件、错误信息转存文件，为系统运行提供准则，为各个部件在特定情况下做出相应的反应提供依据。...

【技术特征摘要】

【专利技术属性】
技术研发人员：舒刚，
申请(专利权)人：成都勤智数码科技股份有限公司，
类型：发明
国别省市：四川;51