一种AI元数据的综合处理方法和系统技术方案

本发明专利技术公开了一种AI元数据的综合处理方法和系统，涉及机器学习领域。该方法包括：监听并收集预设任务运行过程的元数据，记录预设任务运行过程的元数据的运行状态，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存预设任务的数据库中，使得AI平台中的各种计算任务和产出物得到了有效管理，实现了AI计算过程中元数据的自动化收集，持久化存储；并且支持各种大规模分布式集群和各种AI计算过程，实现了便于理解复杂计算的过程和计算性质，并且达到追踪和管理这些复杂计算过程的重要数据。

【技术实现步骤摘要】
一种AI元数据的综合处理方法和系统
本专利技术涉及机器学习领域，尤其涉及一种AI元数据的综合处理方法和系统。
技术介绍
在一个复杂的智能计算过程中包括：这些计算本身、其产生的数字智能资产和这些计算的环境，都可以用元数据Metadata来进行描述。例如一个计算任务的输入、输出、以及计算本身的相关参数。利用这些元数据，例如：中介数据、中继数据，为描述数据的数据(dataaboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能，经过进一步的处理和分析，就可以实现理解复杂计算的过程和性质，并且达到追踪和管理这些重要的数据智能数字资产的产生，源流，使用等重要功能。现有的一些初步技术方案是一些非系统化的、特定目的的，针对一个特定计算平台，例如Google的Kubeflow/TFX的不透明方法，不具有通用性和扩展性，现有技术中并没有系统化的解决该问题的技术方案。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种AI元数据的综合处理方法和系统。...

【技术保护点】
1.一种AI元数据的综合处理方法，其特征在于，包括：/nS1，监听并收集预设任务运行过程的元数据，其中，所述元数据包括：所述预设任务在运行过程中的任一步骤的产出物、所述预设任务在运行过程中的任一步骤的子任务和所述预设任务的数据，所述元数据还包括：所述产出物与所述子任务的依赖关系；/nS2，记录所述预设任务运行过程的元数据的运行状态；/nS3，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存所述预设任务的数据库中。/n

【技术特征摘要】
1.一种AI元数据的综合处理方法，其特征在于，包括：
S1，监听并收集预设任务运行过程的元数据，其中，所述元数据包括：所述预设任务在运行过程中的任一步骤的产出物、所述预设任务在运行过程中的任一步骤的子任务和所述预设任务的数据，所述元数据还包括：所述产出物与所述子任务的依赖关系；
S2，记录所述预设任务运行过程的元数据的运行状态；
S3，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存所述预设任务的数据库中。


2.根据权利要求1所述的一种AI元数据的综合处理方法，其特征在于，所述S1具体包括：
根据已创建的不同类型的预设任务；
根据预设任务的类型、用户使用的创建平台和通过解析所述任务获得的辅助信息来建立不同的元数据收集器；
通过已经建立的所述元数据收集器监听并收集预设任务运行过程的元数据。


3.根据权利要求1或2所述的一种AI元数据的综合处理方法，其特征在于，所述S2具体包括：当所述预设任务为计算任务时，创建任务资源，通过所述任务资源记录所述计算任务的运行状态；
当所述预设任务为流水线任务时，创建流水线任务资源，通过所述流水线任务资源记录流水线的运行状态。


4.根据权利要求1所述的一种AI元数据的综合处理方法，其特征在于，所述S3还具体包括：
当所述预设任务为流水线任务时，当所述流水线任务运行完成，解析所述流水线任务的当前元数据的识别标志，根据所述识别标志判断当前元数据是否为已经创建实例，如果没有，则创建所述当前元数据的实例，并保存到所述流水线任务对应的数据库中。


5.根据权利要求1或2或4所述的一种AI元数据的综合处理方法，其特征在于，所述方法还包括：
响应前端平台的可视化请求，从所述数据库中获取所述预设任务的元数据；
根据所述元数据类型创建对应的可视化资源，通过所述可视化资源创建所述预设任务的元数据的可视化页面，将所述可视化页面的链接返回给前端平台；
前端平台对所述可视化页面进行显示。


6.一种AI元数据的综合...

【专利技术属性】
技术研发人员：徐达，杨卓恒，王明亮，
申请(专利权)人：北京云歌科技有限责任公司，
类型：发明
国别省市：北京;11