一种基于分层控制的离线数据采报方法技术

技术编号:26690266 阅读:36 留言:0更新日期:2020-12-12 02:40
一种基于分层控制的离线数据采报方法,包括:构建多层级的分层控制执行单元,在每一层具有一个或多个执行单元,每个执行单元中具有一个本地资源库;顶级执行单元向第一级下发用于数据采集的任务包,第一级中的执行单元接收顶级执行单元的数据采集任务,并创建新的数据采集任务,直到数据采集任务下发到最底层的第i级执行单元;最底层的第i级执行单元在本地资源库完成数据填报后将执行上报任务,生成对应的数据包,如此循环,直至顶级执行单元。本发明专利技术引入本地资源库的概念,将本地资源库作为数据过度的中间层,让采集任务实现解耦,解决了使用excel进行采集时,任务分解难,任务模型不能个性化定制,各个层级之间数据汇总工作量,难度高等问题。

【技术实现步骤摘要】
一种基于分层控制的离线数据采报方法
本专利技术涉及计算机领域,具体的,涉及一种采用分层控制执行单元,对数据进行离线采报的方法。
技术介绍
现有技术中,经常需要对数据进行收集和采报。现有的离线数据采报方法主要采用excel,但excel具有如下缺陷:a)excel很难进行多表关联的复杂数据结构的数据采集;b)采集完成后,需要人工和技术手段将excel内的数据导入数据库系统,方便进行计算和应用;c)多个单位采集的excel需要复杂的定制技术手段或者大量耗费人工,进行数据汇总,数据查重和校验;d)Excel难以处理关联的非结构化数据(文件)的采集和汇总。e)数据量过大的情况下,excel性能出现瓶颈。f)需要人工记录数据的层级上报路径,进行数据来源的追溯。因此,如何解决各类不同类型数据填报,解决在不同的任务场景下数据的分解、上报、汇总并且减少数据采报的工作量,记录数据上报路径,方便进行数据来源追溯,成为现有技术亟需解决的技术问题。
技术实现思路
专利技术的目的在于提本文档来自技高网...

【技术保护点】
1.一种基于分层控制的离线数据采报方法,包括如下步骤:/n分层控制执行单元构建步骤S110:构建多层级的分层控制执行单元,包括顶级执行单元,依次向下具有第一层执行单元、第二层执行单元……第i层执行单元,除顶级执行单元以外的执行单元包括中间层执行单元和最底层执行单元,在每一层具有一个或多个执行单元,每个执行单元中具有一个本地资源库,所述顶级执行单元根据采报需求,定制创建数据模型,制定下发任务,所述下发任务包括:任务名称、任务要求、任务内容、拟执行单元信息、所下发的数据模型;/n顶级任务包下发步骤S120:顶级执行单元向第一级下发用于数据采集的任务包,对第一级中的每个执行单元都会生成一个对应的任务...

【技术特征摘要】
1.一种基于分层控制的离线数据采报方法,包括如下步骤:
分层控制执行单元构建步骤S110:构建多层级的分层控制执行单元,包括顶级执行单元,依次向下具有第一层执行单元、第二层执行单元……第i层执行单元,除顶级执行单元以外的执行单元包括中间层执行单元和最底层执行单元,在每一层具有一个或多个执行单元,每个执行单元中具有一个本地资源库,所述顶级执行单元根据采报需求,定制创建数据模型,制定下发任务,所述下发任务包括:任务名称、任务要求、任务内容、拟执行单元信息、所下发的数据模型;
顶级任务包下发步骤S120:顶级执行单元向第一级下发用于数据采集的任务包,对第一级中的每个执行单元都会生成一个对应的任务包,所述任务包包括任务主体信息,所述任务主体信息包括:任务名称、任务要求、任务内容、执行单元信息、数据模型信息;
分级任务包解耦及下发步骤S130:第一级中的执行单元接收顶级执行单元的数据采集任务,并将任务包导入本地资源库并对任务包进行解耦,所述解耦为抽取所述任务包中的数据模型至本地资源库,第一级中的执行单元可充当任务发起者,定义好直属下级采集执行单元,根据自身情况,选择对加载到本地的采集数据模型进行扩展或使用原始模型,创建新的数据采集任务,生成新的用于数据采集的任务包,将所述新的任务包继续下发给直属的下级执行单元,即第二级的执行单元,实现任务在本级的分解下发,如此循环,直到数据采集任务下发到最底层的第i级执行单元;
分层数据包收集上报步骤S140:最底层的第i级执行单元在本地资源库完成数据填报后将数据抽取到对应的上报任务中,并标记数据来源,第i级执行单元执行上报任务,生成对应的数据包,所述数据包包括任务主体信息,所述任务主体信息任务名称、任务要求、任务内容、执行单元信息、模型信息,模型的填报数据信息,第i-1级执行单元收到来自下级,即第i级执行单元的一个或多个数据包,对所述数据包进行汇总、审查,并将审查后的数据同步至第i-1级执行单元本地资源库,在本地资源库对原始存在的本地数据和第i级执行单元...

【专利技术属性】
技术研发人员:吴倩倩张伟张晓萱
申请(专利权)人:中国电子科技集团公司第十五研究所
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1