一种基于关系型数据库的数据存储、加载方法及相关装置制造方法及图纸

本发明专利技术涉及数据处理领域，公开了一种基于关系型数据库的数据存储、加载方法及相关装置，用于提高数据处理的效率。方法包括：对原始数据报文进行数据传输和报文解析，得到目标数据参数；构建目标数据参数与预置动态列之间的映射关系，得到第一映射关系；根据第一映射关系动态生成第一执行脚本，并通过第一执行脚本，将目标数据参数存储至预设的数据库；获取基础数据类型，并根据基础数据类型加载基础数据，其中，基础数据类型包括：监测点和监测因子；查询基础数据的报文参数，并对报文参数与动态列进行映射关系解析，得到第二映射关系；根据第二映射关系动态生成第二执行脚本，并根据第二执行脚本对数据库进行数据查询和数据展示。展示。展示。

【技术实现步骤摘要】
一种基于关系型数据库的数据存储、加载方法及相关装置


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于关系型数据库的数据存储、加载方法及相关装置。

技术介绍

[0002]随着大数据技术的不断发展，越来越多的企业需要处理大规模的实时数据。传统的数据处理方式通常使用批处理模式，无法满足实时性要求，且处理效率低下。分布式消息系统作为一种高吞吐量的分布式消息队列系统，在处理大量实时数据方面表现出优异的性能。通过将数据流分成多个分区并允许并行读写，分布式消息系统可以轻松地支持高并发的实时数据传输和存储。
[0003]但是传统的数据处理流程中，参数映射和执行脚本通常需要手动创建，且缺乏灵活性。此外，由于监测点和监测因子等基础数据必须经常加载，这也会降低整体处理效率。

技术实现思路

[0004]本专利技术提供了一种基于关系型数据库的数据存储、加载方法及相关装置，用于提高数据处理的效率。
[0005]本专利技术第一方面提供了一种基于关系型数据库的数据存储、加载方法，所述基于关系型数据库的数据存储、加载方法包括：基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；获取基础数据类型，根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。
[0006]结合第一方面，在本专利技术第一方面的第一实施方式中，所述基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数，包括：基于预置的数据源获取原始数据报文，将所述原始数据报文传输至预置的分布式消息系统；通过所述分布式消息系统对所述原始数据报文进行数据传输和存储，获取所述原始数据报文对应的数据格式和数据类型；
根据所述数据格式和所述数据类型匹配对应的报文解析算法；通过所述报文解析算法，对所述原始数据报文进行数据参数解析，得到目标数据参数。
[0007]结合第一方面，在本专利技术第一方面的第二实施方式中，所述构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系，包括：加载所述目标数据参数，对所述目标数据参数进行初始化配置，得到初始化配置信息；根据所述初始化配置信息确定数据表格的结构，其中，所述数据表格的结构包括：表格名称、列名以及数据类型信息；根据所述数据表格的结构，构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系。
[0008]结合第一方面，在本专利技术第一方面的第三实施方式中，所述根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库，包括：根据所述目标数据参数确定数据处理需求信息，其中，所述数据处理需求信息包括：数据查询、聚合以及转换操作；根据所述数据处理需求信息和所述第一映射关系动态生成第一执行脚本；通过所述第一执行脚本对所述目标数据参数执行对应的数据操作，将所述目标数据参数存储至预设的数据库。
[0009]结合第一方面，在本专利技术第一方面的第四实施方式中，所述获取基础数据类型，根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子，包括：获取基础数据类型，其中，所述基础数据类型包括：监测点和监测因子；根据所述基础数据类型生成对应的清洗和转换操作；基于所述清洗和转换操作以及预置的数据加载算法，加载所述基础数据类型对应的基础数据。
[0010]结合第一方面，在本专利技术第一方面的第五实施方式中，所述查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系，包括：查询所述基础数据的报文参数，其中，所述报文参数用于指示所述基础数据的查询参数；根据所述查询参数匹配所述基础数据的查询任务；根据所述查询任务，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系。
[0011]结合第一方面，在本专利技术第一方面的第六实施方式中，所述根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示，包括：根据所述第二映射关系生成对应的查询条件，根据所述查询条件动态生成第二执行脚本；根据所述第二执行脚本对所述数据库进行数据查询，得到查询结果；
通过预置的数据推送算法，对所述查询结果进行推送和展示。
[0012]本专利技术第二方面提供了一种基于关系型数据库的数据存储、加载装置，包括：获取模块，用于基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；构建模块，用于构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；存储模块，用于根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；加载模块，用于获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；解析模块，用于查询所述基础数据的报文参数，并对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；查询模块，用于根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。
[0013]本专利技术第三方面提供了一种基于关系型数据库的数据存储、加载设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于关系型数据库的数据存储、加载设备执行上述的基于关系型数据库的数据存储、加载方法。
[0014]本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于关系型数据库的数据存储、加载方法。
[0015]与现有技术相比，本专利技术具有如下有益效果：本专利技术提供的技术方案中，通过采用动态创建执行脚本，提高数据处理效率，并支持灵活的数据处理需求，可以更快地获取、分析和使用数据信息，提高工作效率和准确性，支持灵活的数据查询和展示：通过将报文参数与动态列进行映射，动态生成执行脚本，以及实现数据查询和展示模块，本专利技术支持灵活的数据查询和展示需求，更方便地查询和分析数据信息，支持实时更新。通过加载基础数据、实现数据映射管理模块，提高数据质量和可用性，实现数据的准确性和完整性，从而减少数据处理过程中出现错误和异常情况的概率。通过实现数据可视化、报表生成等操作，服务器可以增强用户体验和交互效果，提高用户满意度和使用效率。
附图说明
[0016]图1为本专利技术实施例中基于关系型数据库的数据存储、加载方法的一个实施例示意图；图2为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关系型数据库的数据存储、加载方法，其特征在于，所述方法包括：基于预置的数据源获取原始数据报文，并通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。2.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数，包括：基于预置的数据源获取原始数据报文，并将所述原始数据报文传输至预置的分布式消息系统；通过所述分布式消息系统对所述原始数据报文进行数据传输和存储，获取所述原始数据报文对应的数据格式和数据类型；根据所述数据格式和所述数据类型匹配对应的报文解析算法；通过所述报文解析算法，对所述原始数据报文进行数据参数解析，得到目标数据参数。3.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系，包括：加载所述目标数据参数，对所述目标数据参数进行初始化配置，得到初始化配置信息；根据所述初始化配置信息确定数据表格的结构，其中，所述数据表格的结构包括：表格名称、列名以及数据类型信息；根据所述数据表格的结构，构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系。4.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述根据所述第一映射关系动态生成第一执行脚本，并通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库，包括：根据所述目标数据参数确定数据处理需求信息，其中，所述数据处理需求信息包括：数据查询、聚合以及转换操作；根据所述数据处理需求信息和所述第一映射关系动态生成第一执行脚本；通过所述第一执行脚本对所述目标数据参数执行对应的数据操作，并将所述目标数据参数存储至预设的数据库。5.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子，包括...

【专利技术属性】
技术研发人员：孙昕远，
申请(专利权)人：河海大学，
类型：发明
国别省市：