数据处理方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备和存储介质，涉及数据处理领域，尤其涉及人工智能领域。具体实现方案为：获取模型自学习业务的业务处理逻辑对应的目标有向无环图DAG；其中，业务处理逻辑包括对线上已发布业务模型所生成业务数据进行采集的执行逻辑、基于业务数据对待训练业务模型进行训练的执行逻辑、和对已训练业务模型发布上线的执行逻辑；根据目标DAG对待训练业务模型进行自学习。本公开技术方案将模型自学习业务整体采用DAG实现，便于对模型自学习业务的全流程管理，降低了管理难度和管理成本。低了管理难度和管理成本。低了管理难度和管理成本。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及机器学习、云计算
，具体涉及一种数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]在机器学习应用场景中需要及时的对机器学习模型进行更新迭代，以使得模型达到更好的使用效果，在线预测中产生的临近数据对于模型的更新迭代往往会取得较好结果，可以使模型不断的适应用户行为等的变化。

技术实现思路

[0003]本公开提供了一种数据处理方法、装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种数据处理方法，包括：
[0005]获取模型自学习业务的业务处理逻辑对应的目标有向无环图DAG；其中，所述业务处理逻辑包括对线上已发布业务模型所生成业务数据进行采集的执行逻辑、基于所述业务数据对待训练业务模型进行训练的执行逻辑、和对已训练业务模型发布上线的执行逻辑；
[0006]根据所述目标DAG对所述待训练业务模型进行自学习。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取模型自学习业务的业务处理逻辑对应的目标有向无环图DAG；其中，所述业务处理逻辑包括对线上已发布业务模型所生成业务数据进行采集的执行逻辑、基于所述业务数据对待训练业务模型进行训练的执行逻辑、和对已训练业务模型发布上线的执行逻辑；根据所述目标DAG对所述待训练业务模型进行自学习。2.根据权利要求1所述的方法，其中，所述目标DAG包括至少两个DAG子图，不同DAG子图用于实现不同执行逻辑，不同DAG子图基于所述业务处理逻辑的数据流向构建所述目标DAG。3.根据权利要求2所述的方法，其中，若所述DAG子图包括实现对线上已发布业务模型所生成业务数据进行采集的执行逻辑的采集DAG子图，则所述根据所述目标DAG对所述待训练业务模型进行自学习，包括：运行所述采集DAG子图，以在满足采集条件的情况下，在线上已发布业务模型响应于业务请求生成业务数据时，采集所述业务数据。4.根据权利要求2所述的方法，其中，若所述DAG子图包括实现基于所述业务数据对待训练业务模型进行训练的执行逻辑的训练DAG子图，则所述根据所述目标DAG对所述待训练业务模型进行自学习，包括：运行所述模型训练DAG子图，以在满足训练条件时，根据所述业务数据训练所述待训练业务模型。5.根据权利要求2所述的方法，其中，若所述DAG子图包括实现对已训练业务模型发布上线的执行逻辑的模型上线DAG子图，则所述根据所述目标DAG对所述待训练业务模型进行自学习，包括：运行所述模型上线DAG子图，以在满足发布上线条件时，将已训练业务模型线上发布。6.根据权利要求5所述的方法，其中，所述模型上线DAG子图包括模型发布DAG子图和模型推送DAG子图；所述运行所述模型上线DAG子图，以在满足发布上线条件时，将已训练业务模型发布线上，包括：运行所述模型发布DAG子图，以在满足发布条件时，将已训练业务模型发布至模型中心；运行所述模型推送DAG子图，以在满足推送条件时，根据预设推送需求，控制从所述模型中心推送所述已训练业务模型至线上平台。7.根据权利要求1
‑
6任一项所述的方法，其中，所述业务模型为资源推荐模型，且所述业务数据为对已推荐资源的交互数据；或，所述业务模型为翻译模型，且所述业务数据为对翻译结果的反馈信息。8.一种数据处理装置，包括：DAG获取模块，用于获取模型自学习业务的业务处理逻辑对应的目标有向无环图DAG；其中，所述业务处理逻辑包括对线上已发布业务模型所生成业务数据进行采集的执行逻辑、基于所述业务数据对待训练业务模型进行训练的执行逻辑、和对已训练业务模型发布上线的执行逻辑；模型自学习模块，用于根据所述目...

【专利技术属性】
技术研发人员：王超，林湘粤，梁阳，施恩，乔爽爽，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：