【技术实现步骤摘要】
基于消息驱动模式的多源异构天基数据采集方法和系统
[0001]本专利技术涉及天基数据采集
，尤其涉及一种基于消息驱动模式的多源异构天基数据采集方法和系统。
技术介绍
[0002]天基数据作为天地一体化信息网络的重要组成部分，具有更新速度快、数据量大的特点。该类数据来源复杂多样，网络系统不尽相同，因此为数据的采集汇聚带来极大困难。不同的天基数据来源复杂多样，时效性和稳定性不尽相同，无法根据每类数据的特点进行弹性采集。
[0003]数据驱动的采集方式往往采用共享存储实现，该方式受网络波动影响较大，并且在运行一定时间后会出现存储挂载响应迟缓的现象，导致数据不能及时采集接入，或者出现积压数据的瞬间并发接入的情况，为后端数据处理平台造成巨大冲击。
[0004]在工程实践中，对天基数据采集能力的建设存在以下几个突出问题：
[0005](1)现有技术在不同网络系统间进行数据采集的物理隔离性不高，易造成数据混合渗透，对数据源头的安全性造成威胁；
[0006](2)数据监听驱动机制的稳定性较差，对瞬间采集...
【技术保护点】
【技术特征摘要】
1.一种基于消息驱动模式的多源异构天基数据采集方法，包括：利用数据采集消息处理模块根据对天基数据的需求筹划采集计划，并发出数据需求筹划；利用数据监听发送模块接收所述数据需求筹划，根据采集类型获取对应的数据源，执行数据采集任务，并按照发现即接入的监听机制多线程监听新增的天基数据，以消息驱动的模式将监听到的天基数据消息发送至数据调度处理模块；利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，并向所述数据采集消息处理模块反馈处理后的规范化多源数据响应。2.根据权利要求1所述的方法，其特征在于，所述数据需求包括：相同网段的数据源及其数据需求和不同网段的数据源及其数据需求。3.根据权利要求2所述的方法，其特征在于，在利用数据采集消息处理模块根据对天基数据的需求筹划数据采集计划，并发出数据需求筹划的过程中，包括：调用第一网络交换设备将所述数据采集消息处理模块发出的不同网段的数据源及其数据需求传递至所述数据监听发送模块；利用所述数据采集消息处理模块将相同网段的数据源及其数据需求直接传递至所述数据监听发送模块。4.根据权利要求2所述的方法，其特征在于，在利用数据监听发送模块接收所述数据需求筹划，根据采集类型获取对应的数据源，执行数据采集任务，并按照发现即接入的监听机制多线程监听新增的天基数据，以消息驱动的模式将监听到的天基数据消息发送至数据调度处理模块的过程中，包括：解析监听到的天基数据的消息协议和文件名称；利用系统缓存和数据库的历史采集数据，对监听到的文件信息和已经监听过的文件信息进行比较，如果文件信息相同，则不将监听到的文件采集至所述数据调度处理模块，否则监听文件并将监听到的文件采集至所述数据调度处理模块；根据所述筹划区分数据业务需求，自动识别是否需要进行跨网段传输。5.根据权利要求2所述的方法，其特征在于，利用所述数据调度处理模块对采集到的各类天基数据进行统一调度处理，包括：根据天基数据采集业务需求，利用模式选择模块设定数据采集策略；利用数据配置模块接收数据驱动消息，按照不同级别的多源天基数据进行分级监听；利用断点续传模块在天基数据的传输过程中随时暂停或继续接收该天基数据；利用数据去重模块对数据采集过程中产生的冗余数据进行识别和去重；利用定时清理模块根据不同的采集业务需求设定清除策略，定时清理冗余数据；利用质量检查模块对采集的数据的质量和规范性进行检查，并剔除无效数据；利用时空筛选模块对有效数据进行时间筛选和空间筛选，选择性接入满足预设时空条件的数据；利用类型筛选模块对接入数据的类型进行设定并进行选择；利用格式转换模块自动匹配数据类型，并将数据的格式和规范进行统一转换；利用归档存储模块对转换后的规范数据按照数据类型匹配对应的模板进行归档存储，并记录存储过的数据信息，对冗余数据进行定时清理或一次性清理历史冗余数据，获得规
范化后的多源天基数据。6.根据权利要求2所述的方法，其特征在于，在利...
【专利技术属性】
技术研发人员：张斌，魏元骏，李潭，马红梅，李瑾雯，成开元，杨静，
申请(专利权)人：中国空间技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。