【技术实现步骤摘要】
耗时统计方法及装置
[0001]本公开涉及人工智能
，具体为深度学习
，可应用于耗时统计等场景，尤其涉及一种耗时统计方法、装置、设备、存储介质以及计算机程序产品。
技术介绍
[0002]目前在对大数据的数据作业进行耗时统计时，通常只对数据作业的总体耗时进行监控，或者采用拉取式的单数据耗时监控，对于作业链路上的各个上游耗时信息无法监控，无法对全链路耗时数据进行分析。
技术实现思路
[0003]本公开提供了一种耗时统计方法、装置、设备、存储介质以及计算机程序产品，提高了耗时统计的准确率。
[0004]根据本公开的一方面，提供了一种耗时统计方法，包括：基于任务依赖关系，确定同一任务链路上的多个数据任务；获取执行多个数据任务产生的外部准备耗时；基于多个数据任务中预先注册的多个资源监听器，获取执行多个数据任务产生的多组资源耗时和运行耗时；将外部准备耗时、多组资源耗时和运行耗时，按照任务依赖关系进行串联，得到耗时结果。
[0005]根据本公开的另一方面，提供了一种耗时统计装置，包括：确定模块，...
【技术保护点】
【技术特征摘要】
1.一种耗时统计方法，包括：基于任务依赖关系，确定同一任务链路上的多个数据任务；获取执行所述多个数据任务产生的外部准备耗时；基于所述多个数据任务中预先注册的多个资源监听器，获取执行所述多个数据任务产生的多组资源耗时和运行耗时；将所述外部准备耗时、所述多组资源耗时和运行耗时，按照所述任务依赖关系进行串联，得到耗时结果。2.根据权利要求1所述的方法，其中，所述基于所述多个数据任务中预先注册的多个资源监听器，获取执行所述多个数据任务产生的多组资源耗时和运行耗时包括：基于所述多个数据任务中预先注册的多个资源监听器，获取所述多个数据任务各自的资源就绪时间；获取所述多个数据任务各自的依赖检查完成时间和结束时间；基于所述资源就绪时间、所述依赖检查完成时间和所述结束时间，得到所述多组资源耗时和运行耗时。3.根据权利要求2所述的方法，其中，所述基于所述多个数据任务中预先注册的多个资源监听器，获取所述多个数据任务各自的资源就绪时间包括：对于所述多个数据任务中的任意一个数据任务，执行以下资源就绪时间确定步骤：响应于开始执行数据任务中的计算算子并检测到新增执行器，生成申请事件；将所述申请事件发送到所述资源监听器中；通过所述资源监听器对累计申请的执行器数量进行监听；响应于监听到所述累计申请的执行器数量大于等于预设阈值，记录所述资源就绪时间。4.根据权利要求3所述的方法，其中，所述获取所述多个数据任务各自的依赖检查完成时间和结束时间包括：对于所述多个数据任务中的任意一个数据任务，执行以下依赖检查完成时间和结束时间确定步骤：执行数据任务中的依赖检查算子，响应于所述依赖检查算子执行完毕，执行在所述数据任务中预先添加的第二回调算子，得到所述依赖检查完成时间；执行所述数据任务中的计算算子，响应于所述计算算子执行完毕，执行在所述数据任务中预先添加的第三回调算子，得到所述结束时间。5.根据权利要求4所述的方法，其中，所述基于所述资源就绪时间、所述依赖检查完成时间和所述结束时间，得到所述多组资源耗时和运行耗时包括：对于所述多个数据任务中的任意一个数据任务，通过以下步骤确定一组资源耗时和运行耗时：将所述数据任务的所述资源就绪时间与所述依赖检查完成时间的时间差，确定为所述数据任务的所述资源耗时；将所述数据任务的所述结束时间与所述资源就绪时间的时间差，确定为所述数据任务的所述运行耗时。6.根据权利要求4
‑
5任一项所述的方法，其中，所述获取执行所述多个数据任务产生的
外部准备耗时包括：基于所述任务依赖关系，确定所述同一任务链路上的首个数据任务；响应于执行所述首个数据任务中的依赖检查算子之前，执行在所述首个数据任务中预先添加的第一回调算子，得到开始时间；将所述首个数据任务的所述依赖检查完成时间与所述开始时间的时间差，确定为所述外部准备耗时。7.根据权利要求6所述的方法，其中，所述将所述外部准备耗时、所述多组资源耗时和运行耗时，按照所述任务依赖关系进行串联，得到耗时结果包括：将所述外部准备耗时作为串联首位；按照所述任务依赖关系，将所述多组资源耗时和运行耗时依次串联在所述外部准备耗时之后，得到所述耗时结果。8.一种耗时统计装置，所述装置包括：确定模块，被配置为基于任务依赖关系，确定同一任务链路上的多个数据任务；第一获取模块，被配置为获取执行所述多个数据任务产生的外部准备耗时；第二获取模块，被配置为基于所述多个数据任务中预先注册的多个资源监听器，获取执行所述多个数据任务产生的多组资源耗时和运行耗时；串联模块，被配置为将所述外部准...
【专利技术属性】
技术研发人员：崔金涛，叶玮彬，刘涛，蔺萍，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。