日志记录的处理方法及装置制造方法及图纸
【技术实现步骤摘要】
日志记录的处理方法及装置
本专利技术涉及计算机数据处理领域，具体而言，涉及一种日志记录的处理方法及装置。
技术介绍
ETL是一种数据提取、转换和加载数据的过程，负责将分散的异构数据进行清洗、转换、集成，最后加载到数据库中，SSIS是一种ETL工具，SSIS日志（SSISLogging）用于管理和控制SSIS包运行时的日志输出，其可输出的日志列可以预先定义，开发时只需要选择或不选择数据列，从而确定在日志输出表中添加需要的数据列作为特定输出，有其自身的局限性，这种方式导致在配置日志输出时无法添加自定义的日志列。例如，当系统并发跑ETL包时，一个ETL包运行代表一个客户，若想要在日志输出表中区分这些ETL包所输出的日志，当前的系统无法获知，从而导致用户查询和管理日志效率低。目前针对相关技术的由于无法自定义ETL包运行时输出的日志信息，导致用户无法高效应用或处理日志信息的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术的由于无法自定义ETL包运行时输出的日志信息，导致用户无法高效应用或处理日志信息的问题，目前尚未提出有效的解决方案，为此，本专利技术的主要目的在于...
【技术保护点】
一种日志记录的处理方法，其特征在于，包括：在ETL包中配置需要输出的日志记录，获取日志输出表；获取需要增加到日志中的日志记录值，所述日志包括至少一条日志行；调用定制日志函数，将所述需要增加到日志中的日志记录值输出到ETL包运行的日志行中；从所述日志行中提取所述日志记录值和执行编码值；创建所述日志记录值与所述执行编码值的关联关系；从所述日志输出表中查询得到具有相同所述执行编码值的日志行；根据所述日志记录值与所述执行编码值的关联关系，将所述日志记录值添加到所述日志输出表中具有相同所述执行编码值的日志行中。
【技术特征摘要】
1.一种日志记录的处理方法，其特征在于，包括：在ETL包中配置需要输出的日志记录，获取日志输出表；获取需要增加到日志中的日志记录值，所述日志包括至少一条日志行；调用定制日志函数，将所述需要增加到日志中的日志记录值输出到ETL包运行的日志行中；从所述日志行中提取所述日志记录值和执行编码值；创建所述日志记录值与所述执行编码值的关联关系；从所述日志输出表中查询得到具有相同所述执行编码值的日志行；根据所述日志记录值与所述执行编码值的关联关系，将所述日志记录值添加到所述日志输出表中具有相同所述执行编码值的日志行中。2.根据权利要求1所述的方法，其特征在于，获取需要增加到日志中的日志记录值的步骤包括：获取所述ETL包所关联的数据库；从所述数据库中获取所述ETL包对应的所述日志记录值，该步骤包括：获取所述数据库的名称；从所述数据库名称中提取表征所述日志记录值的字符串，以获取所述日志记录值。3.根据权利要求2所述的方法，其特征在于，ETL包中配置需要输出的日志记录，并获取日志输出表的步骤包括：选择所述ETL包中需要输出的日志事件，并选择所述日志事件包含的日志列；在运行所述ETL包之后，获取所述日志输出表，其中，所述日志输出表包括用于填写所述执行编码值的日志列。4.根据权利要求3所述的方法，其特征在于，创建所述日志记录值与所述执行编码值的关联关系的步骤包括：创建所述ETL对应的临时表，所述临时表包括所述日志记录值、所述执行编码值，以及所述日志记录值与所述执行编码值之间的对应关系。5.根据权利要求4所述的方法，其特征在于，根据所述日志记录值与所述执行编码值的关联关系，将所述日志记录值添加到所述日志输出表中具有相同所述执行编码值的日志行中的步骤包括：根据所述执行编码值建立所述日志输出表与所述临时表之间的关联关系；从所述临时表中提取所述ETL包对应的所述日志记录值；在从所述日志输出表中获取到具有相同所述执行编码值的日志行之后，根据所述日志输出表与所述临时表之间的关联关系，将所述日志记录值添加到所述具有相同所述执行编码值的日志行中。6.根据权利要求1所述的方法，其特征在于，所述ETL包运行的日志行中包括一消息文本列，将所述消息文本列的...
【专利技术属性】
技术研发人员：洪超，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。