一种实时数据装载方法及装置制造方法及图纸
【技术实现步骤摘要】
一种实时数据装载方法及装置
本专利技术涉及数据库领域，尤其涉及一种实时数据装载方法及装置。
技术介绍
计量自动化系统是一套实时生产采集系统，全省采集数据量大，按照当前的规模，每秒系统将产生近万条的采集数据，峰值时，系统将产生2万条左右的数据量。现有技术中对于计量化系统的数据装载，由于采集任务与数据存储结构的不一致性，将导致同一条记录的不同数据项到达主站系统的时间不一致，在数据合并时，存在时间差，且由于现场设备、网络环境等多方面的原因，同一个采集数据项，有可能发生多次重复采集数据上送等情况，同一个时间点的数据，不同时间采集的数据有可能不一致的技术问题。
技术实现思路
本专利技术提供了一种实时数据装载方法及装置，用于解决现有技术中对于计量化系统的数据装载，由于采集任务与数据存储结构的不一致性，将导致同一条记录的不同数据项到达主站系统的时间不一致，在数据合并时，存在时间差，且由于现场设备、网络环境等多方面的原因，同一个采集数据项，有可能发生多次重复采集数据上送等情况，同一个时间点的数据，不同时间采集的数据有可能不一致的技术问题。本专利技术提供的一种实时数据装载方法，包括：根...
【技术保护点】
一种实时数据装载方法，其特点在于，包括：根据预配置的若干个扫描目录不间断扫描计量主站系统的待处理数据文件路径，获取到待处理文件，若任务预处理队列对应的待处理数量小于预设文件数时，将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中；依次获取到所述任务预处理队列中的预处理文件，根据所述预处理文件的文件头生成对应的SQLLDR控制文件，将所述预处理文件的文件数据内容生成对应的SQLLDR数据文件；若获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则根据所述装载文件判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述H...
【技术特征摘要】
1.一种实时数据装载方法，其特点在于，包括：根据预配置的若干个扫描目录不间断扫描计量主站系统的待处理数据文件路径，获取到待处理文件，若任务预处理队列对应的待处理数量小于预设文件数时，将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中；依次获取到所述任务预处理队列中的预处理文件，根据所述预处理文件的文件头生成对应的SQLLDR控制文件，将所述预处理文件的文件数据内容生成对应的SQLLDR数据文件；若获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则根据所述装载文件判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件更新到Hbase数据库中，若需要更新到所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库中，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库和所述Oracle数据库中。2.根据权利要求1所述的实时数据装载方法，其特征在于，所述将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中之后还包括：若所述预处理文件为终端设备告警事件的数据文件，则将所述预处理文件发布至计量主站系统的告警处理模块和告警数据库中，使得所述告警处理模块对所述预处理文件进行处理。3.根据权利要求2所述的实时数据装载方法，其特征在于，还包括：若未获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件插入到Hbase数据库中，若需要更新到所述Oracle数据库中，则在所述Oracle数据库中构建对应的插入失败记录，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件插入到所述Oracle数据库中，并在所述Oracle数据库中构建对应的插入失败记录。4.一种实...
【专利技术属性】
技术研发人员：林国营，卢世祥，蔡永智，孟庆亮，郭文翀，齐爽，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。