【技术实现步骤摘要】
本专利技术涉及物联数据写入的，特别涉及一种数据仓库的数据写入方法及终端。
技术介绍
1、随着国内新能源行业的兴起，国内外越来越多光储充项目都成功建设并投入运营，从而产生大量的物联数据，而这些设备的运行数据对于整个场站的运营有着巨大的分析价值，比如：通过设备的状态提前预警，通过储能与光伏的状态预测光伏的弃光率，或者通过设备发电量的情况分析设备的健康度等。
2、数据分析的基础是搭建一套稳定的数据仓库体系，物联数据通过流计算写入数据仓库的执行过程中每个表都需要绑定流计算里独立输出流(sink)，它们之间是1对1的关系。如果某张表的表结构(schema)在后续的业务迭代中发生变更，那就要重启流计算任务进行输出流中表结构信息的同步，如果在重启任务过程中操作不当，比如流计算的保存点(save point)没有成功读取，则有可能会丢失一部分物联数据，一旦丢失数据的重要级别比较高，有可能直接影响到数据报表与运营监控大屏的输出质量。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种数据仓库的数据写入方法及终端，能够在数据写入数据仓库的过程中，避免因表结构变化而导致数据丢失的情况。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种数据仓库的数据写入方法，包括步骤：
4、接收待写入数据，将所述待写入数据写入消息中间件；
5、将所述消息中间件中的所述待写入数据输入流计算模块，在所述流计算模块中判断所述待写入数据是否为修改
6、为了解决上述技术问题，本专利技术采用的另一种技术方案为：
7、一种数据仓库的数据写入终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
8、接收待写入数据，将所述待写入数据写入消息中间件；
9、将所述消息中间件中的所述待写入数据输入流计算模块，在所述流计算模块中判断所述待写入数据是否为修改数据仓库表结构的数据，若是，则根据所述待写入数据构建修改表结构的数据库语句，通过表结构变更接口使用所述数据库语句变更数据仓库的库表结构，否则，通过流式导入接口将所述待写入数据写入数据仓库。
10、本专利技术的有益效果在于：接收待写入数据，将待写入数据写入消息中间件，将消息中间件中的待写入数据输入流计算模块，在流计算模块中判断待写入数据是否为修改数据仓库表结构的数据，若是，则根据待写入数据构建修改表结构的数据库语句，通过表结构变更接口使用数据库语句变更数据仓库的库表结构，否则，通过流式导入接口将待写入数据写入数据仓库。因此，相较于现有技术中输出流与数据仓库一一对应的逻辑关系，本专利技术中采用流计算的流式导入接口与数据仓库一对多的关系，通过流式导入接口写入数据，并通过表结构变更接口传输数据以修改库表结构，能够使得数据仓库表结构变更的时候不需要重启流计算，也就不需要承担数据丢失的风险。
本文档来自技高网...【技术保护点】
1.一种数据仓库的数据写入方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，将所述待写入数据写入消息中间件，包括：
3.根据权利要求2所述的一种数据仓库的数据写入方法，其特征在于，在所述流计算模块中判断所述待写入数据是否为修改数据仓库表结构的数据，包括：
4.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，根据所述待写入数据构建修改表结构的数据库语句，通过表结构变更接口使用所述数据库语句变更数据仓库的库表结构，包括：
5.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，还包括：
6.一种数据仓库的数据写入终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
7.根据权利要求6所述的一种数据仓库的数据写入终端，其特征在于，将所述待写入数据写入消息中间件，包括：
8.根据权利要求7所述的一种数据仓库的数据写入终端，其特征在于，在所述流计算模块中判断所述待
9.根据权利要求6所述的一种数据仓库的数据写入终端，其特征在于，根据所述待写入数据构建修改表结构的数据库语句，通过表结构变更接口使用所述数据库语句变更数据仓库的库表结构，包括：
10.根据权利要求6所述的一种数据仓库的数据写入终端，其特征在于，还包括：
...【技术特征摘要】
1.一种数据仓库的数据写入方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，将所述待写入数据写入消息中间件，包括：
3.根据权利要求2所述的一种数据仓库的数据写入方法，其特征在于，在所述流计算模块中判断所述待写入数据是否为修改数据仓库表结构的数据，包括：
4.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，根据所述待写入数据构建修改表结构的数据库语句，通过表结构变更接口使用所述数据库语句变更数据仓库的库表结构，包括：
5.根据权利要求1所述的一种数据仓库的数据写入方法，其特征在于，还包括：
6.一种数据仓库的数据写入终端，包括存储器、处理...
【专利技术属性】
技术研发人员：石立林，
申请(专利权)人：福建时代星云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。