一种日志文件输出的方法、系统、设备及可读存储介质技术方案

本申请公开了一种日志文件输出的方法，包括：接收日志文件输出命令，并根据日志文件输出命令获取对应的日志文件；判断日志文件的大小是否大于阈值；若是，则确定日志文件输出命令的类型；当日志文件输出命令的类型为可视化输出类型时，对日志文件进行粒度放大处理；将经过粒度放大处理后的日志文件转换为可视化格式，并输出可视化格式的日志文件。本申请通过对大于阈值的日志文件进行粒度放大处理，使得得到的日志文件数据量更小，进而在进行可视化展示时降低了对AI平台IO资源的占用，使得模型训练过程更加方便高效，并提高了AI平台的使用效果。本申请同时还提供了一种日志文件输出的系统、设备及可读存储介质，具有上述有益效果。

A method, system, device and readable storage medium for log file output

【技术实现步骤摘要】
一种日志文件输出的方法、系统、设备及可读存储介质
本申请涉及日志文件输出领域，特别涉及一种日志文件输出的方法、系统、设备及可读存储介质。
技术介绍
随着人工智能的快速发展，众多机构都在AI平台上进行深度模型训练，能够有效降低企业的成本，提高企业资源的利用率。然而，在对模型进行训练过程中，由于模型本身的参数配置复杂，且数据样本的规模较大，导致训练周期一般较长，此时部分任务会产生较大的模型日志。工作人员在对模型训练过程进行查看时(进行日志查看时，可视化迭代过程展示等操作)，如果日志文件较大，会造成AI平台显示超时，并导致集群读写IO较高，这会对其他模型的正常训练造成影响，也会影响到AI平台中其它模块的使用。因此，如何降低日志文件输出对AI平台IO资源的占用是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种日志文件输出的方法、系统、设备及可读存储介质，用于降低日志文件输出对AI平台IO资源的占用。为解决上述技术问题，本申请提供一种日志文件输出的方法，该方法包括：>接收日志文件输出命本文档来自技高网...

【技术保护点】
1.一种日志文件输出的方法，其特征在于，包括：/n接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；/n判断所述日志文件的大小是否大于阈值；/n若是，则确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；/n当所述日志文件输出命令的类型为所述可视化输出类型时，对所述日志文件进行粒度放大处理；/n将经过粒度放大处理后的所述日志文件转换为可视化格式，并输出所述可视化格式的日志文件。/n

【技术特征摘要】
1.一种日志文件输出的方法，其特征在于，包括：
接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；
判断所述日志文件的大小是否大于阈值；
若是，则确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；
当所述日志文件输出命令的类型为所述可视化输出类型时，对所述日志文件进行粒度放大处理；
将经过粒度放大处理后的所述日志文件转换为可视化格式，并输出所述可视化格式的日志文件。


2.根据权利要求1所述的方法，其特征在于，所述日志文件输出命令的类型包括全输出类型，当所述日志文件输出命令的类型为所述全输出类型时，还包括：
将所述日志文件划分为多个预设大小的日志子文件；
按照时间顺序依次输出每个所述日志子文件。


3.根据权利要求1所述的方法，其特征在于，当所述日志文件的大小小于或等于所述阈值时，还包括：
输出所述日志文件。


4.根据权利要求1所述的方法，其特征在于，对所述日志文件进行粒度放大处理，包括：
对所述日志文件进行时间粒度放大处理。


5.根据权利要求1所述的方法，其特征在于，对所述日志文件进行粒度放大处理，包括：
对所述日志文件进行迭代步数粒度放大处理。


6.一种日志文件输出的系统，其特征在于，包括：
接收模块，用于接收日志文件输...

【专利技术属性】
技术研发人员：姬贵阳，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44