数据写入方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据写入方法、装置、计算机设备和存储介质。该方法包括：获取当前实时批次的当前数据集，当前数据集包括至少一个当前数据记录，对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当前数据标记，根据当前数据标记将当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据当前数据标记操作当前数据记录，得到新的当前数据集，将新的当前数据集提交至线程池，写入第三方存储引擎中。采用本方法引入第三方存储引擎，业务数据每批次实时入该第三方存储引擎，有效地减少摄取过程中的数据延迟，而且不需要依赖IDE调度平台。而且不需要依赖IDE调度平台。而且不需要依赖IDE调度平台。

【技术实现步骤摘要】
数据写入方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据写入方法、装置、计算机设备和存储介质。

技术介绍

[0002]在信息高速发展、数据极速膨胀的互联网时代，企业业务的不断拓展产生了大量的业务数据。如何从这些海量数据中提取对企业分析决策有用的信息，成为企业决策管理者面临的首要难题，而市场竞争的日趋激烈，亦使得企业更加强调决策的准确性和及时性。由此，olap(联机分析处理)应运而生并迅速崛起，它以支持决策管理分析为主要目的，为分析人员提供高效、迅速、精准的决策信息。
[0003]传统的olap实时非时序化数据因其具有无主时间维度，和需要根据业务逻辑进行频繁插入、更新及删除操作等特性，选择按批写入PostGresql(PG)数据库。而导出则是借助外部IDE(Integrated Development Environment，集成开发环境)调度平台生成对应的任务，该任务每整点10分时，全量同步PG库写parquet文件。这里不仅存在数据有一小时多的延迟问题，且任务调度消耗平台计算资源，受IDE并发限制；另当数据量非常庞大时，还会造成PG库压力大而不可用的灾难性结果。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种数据写入方法、装置、计算机设备和存储介质，引入第三方存储引擎，业务数据每批次实时入该第三方存储引擎，有效地减少摄取过程中的数据延迟，而且不需要依赖IDE调度平台，消除了平台并发限制影响，还将数据导出和数据查询分离，完全不影响已有业务的PG数据库使用。
[0005]一种数据写入方法，该方法包括：
[0006]获取当前实时批次的当前数据集，当前数据集包括至少一个当前数据记录；
[0007]对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当前数据标记；
[0008]根据当前数据标记将当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据当前数据标记操作当前数据记录，得到新的当前数据集；
[0009]将新的当前数据集提交至线程池，写入第三方存储引擎中。
[0010]在其中一个实施例中，还包括：通过第三方存储引擎提供的查询接口接收当前查询请求，将当前查询请求封装成当前查询任务，根据当前查询任务的当前模型名拼接得到当前存储引擎数据文件写入路径，根据当前模型名、第三方存储引擎名和当前时间戳生成当前临时表名，将当前临时表名替换当前存储引擎数据文件写入路径中的当前模型名，生成新的当前存储引擎数据文件写入路径，根据新的当前存储引擎数据文件写入路径获得当前查询请求对应的目标查询结果。
[0011]在其中一个实施例中，还包括：通过第三方存储引擎提供的导出接口接收当前导
出请求，根据当前导出请求获得默认的分布式文件系统名，获取当前模型系统名和当前模型名，根据分布式文件系统名、当前模型系统名和当前模型名生成当前存储引擎数据导出路径，在第三方存储引擎存在当前存储引擎数据导出路径时，根据当前存储引擎数据导出路径导出当前导出请求对应的目标导出数据。
[0012]在其中一个实施例中，获取当前实时批次的当前数据集，包括：获取预设时间段内的非时序数据集，对非时序数据集进行解析、拉宽处理后，得到当前实时批次的当前数据集。
[0013]在其中一个实施例中，当前数据记录包括当前数据记录主键、当前数据记录操作字段和当前数据记录版本号，对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当前数据标记，根据当前数据标记将当前数据记录写入目标业务数据库中，包括：根据当前数据主键确定目标业务数据库中是否已存在相同主键记录，在目标业务数据库中已存在相同主键记录时，确定当前数据记录操作字段是否为删除字段，在当前数据记录操作字段为非删除字段时，获取目标业务数据库中相同主键记录对应的第一数据记录版本号，在当前数据记录版本号大于第一数据记录版本号时，确定当前数据记录对应的当前数据标记为当前数据更新标记，根据当前数据更新标记将当前数据记录替换目标业务数据库中相同主键记录的数据记录。
[0014]在其中一个实施例中，还包括：在目标业务数据库中不存在相同主键记录时，确定当前数据记录对应的当前数据标记为当前数据新增标记，根据当前数据新增标记将当前数据记录新增至目标业务数据库中，在当前数据记录操作字段为删除字段时，确定当前数据记录对应的当前数据标记为当前数据删除标记，根据当前数据删除标记将当前数据记录从目标业务数据库中删除。
[0015]在其中一个实施例中，当前数据记录为多个，根据当前数据标记操作当前数据记录，得到新的当前数据集，包括：根据当前数据标记为当前数据更新标记或当前数据新增标记对应的当前数据记录得到第一当前数据集，根据当前数据标记为当前数据删除标记对应的当前数据记录得到第二当前数据集，将第一当前数据集和当前数据集确定为新的当前数据集。
[0016]一种数据写入装置，该装置包括：
[0017]获取模块，用于获取当前实时批次的当前数据集，当前数据集包括至少一个当前数据记录；
[0018]判断模块，用于对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当前数据标记；
[0019]第一写入模块，用于根据当前数据标记将当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据当前数据标记操作当前数据记录，得到新的当前数据集；
[0020]第二写入模块，用于将新的当前数据集提交至线程池，写入第三方存储引擎中。
[0021]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0022]获取当前实时批次的当前数据集，当前数据集包括至少一个当前数据记录；
[0023]对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当
前数据标记；
[0024]根据当前数据标记将当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据当前数据标记操作当前数据记录，得到新的当前数据集；
[0025]将新的当前数据集提交至线程池，写入第三方存储引擎中。
[0026]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0027]获取当前实时批次的当前数据集，当前数据集包括至少一个当前数据记录；
[0028]对当前数据集中的当前数据记录进行业务逻辑判断，得到当前数据记录对应的当前数据标记；
[0029]根据当前数据标记将当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据当前数据标记操作当前数据记录，得到新的当前数据集；
[0030]将新的当前数据集提交至线程池，写入第三方存储引擎中。
[0031]上述数据写入方法、装置、计算机设备和存储介质，获取当前实时批次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，所述方法包括：获取当前实时批次的当前数据集，所述当前数据集包括至少一个当前数据记录；对所述当前数据集中的所述当前数据记录进行业务逻辑判断，得到所述当前数据记录对应的当前数据标记；根据所述当前数据标记将所述当前数据记录写入目标业务数据库中，在第三方存储引擎的写入开关为打开状态时，根据所述当前数据标记操作所述当前数据记录，得到新的当前数据集；将所述新的当前数据集提交至线程池，写入所述第三方存储引擎中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述第三方存储引擎提供的查询接口接收当前查询请求，将所述当前查询请求封装成当前查询任务；根据所述当前查询任务的当前模型名拼接得到当前存储引擎数据文件写入路径；根据所述当前模型名、第三方存储引擎名和当前时间戳生成当前临时表名；将所述当前临时表名替换所述当前存储引擎数据文件写入路径中的当前模型名，生成新的当前存储引擎数据文件写入路径；根据所述新的当前存储引擎数据文件写入路径获得所述当前查询请求对应的目标查询结果。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述第三方存储引擎提供的导出接口接收当前导出请求，根据所述当前导出请求获得默认的分布式文件系统名；获取当前模型系统名和当前模型名，根据所述分布式文件系统名、所述当前模型系统名和所述当前模型名生成当前存储引擎数据导出路径；在所述第三方存储引擎存在所述当前存储引擎数据导出路径时，根据所述当前存储引擎数据导出路径导出所述当前导出请求对应的目标导出数据。4.根据权利要求1所述的方法，其特征在于，所述获取当前实时批次的当前数据集，包括：获取预设时间段内的非时序数据集；对所述非时序数据集进行解析、拉宽处理后，得到当前实时批次的当前数据集。5.根据权利要求1所述的方法，其特征在于，所述当前数据记录包括当前数据记录主键、当前数据记录操作字段和当前数据记录版本号，所述对所述当前数据集中的所述当前数据记录进行业务逻辑判断，得到所述当前数据记录对应的当前数据标记，根据所述当前数据标记将所述当前数据记录写入目标业务数据库中，包括：根据所述当前数据主键确定所述目标业务数据库中是否已存在相同主键记录；在所述目标业务数据库中已存在相同主键记录时，确定所述当前数据记录操作字段是...

【专利技术属性】
技术研发人员：陈晓欣，郭小龙，孙迁，李成，
申请(专利权)人：南京苏宁软件技术有限公司，
类型：发明
国别省市：