模型评估方法、装置、电子设备和存储介质制造方法及图纸

技术编号:33710976 阅读:25 留言:0更新日期:2022-06-06 08:43
本申请公开了一种模型评估方法、装置、电子设备和存储介质。其中,该评估方法包括:获取评估样本集和待评估模型,其中,所述待评估模型包括至少一个子模型;识别所述子模型之间的层级关系,其中,所述层级关系包括串行关系和并行关系中的至少一种;根据所述层级关系,将评估样本分发至所述子模型;根据所述子模型分发到的所述评估样本,获取所述子模型的评估结果。由此,可基于子模型之间的层级关系,实现评估样本在子模型之间的自动分发,进而可获取子模型的评估结果,提高了模型评估的灵活性和准确度。确度。确度。

【技术实现步骤摘要】
模型评估方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
,特别涉及一种模型评估方法、装置、电子设备和存储介质。

技术介绍

[0002]目前,随着人工智能技术的发展,模型被广泛应用于智能推荐、语音识别、图像处理等
,具有自动化程度高、人工成本低等优点。比如,可通过推荐类模型向用户推荐商品、文章、主播等,可通过语音识别类模型将语音转换为文本信息,可通过图像处理类模型实现图像类别的识别、图像中对象动作的识别等。然而,相关技术中的模型评估方法较为单一,灵活性和准确度较低。

技术实现思路

[0003]本申请旨在至少在一定程度上解决上述技术中的技术问题之一。
[0004]为此,本申请的一个目的在于提出一种模型评估方法,可根据子模型之间的层级关系,将评估样本分发至子模型,并根据子模型分发到的评估样本,获取子模型的评估结果。由此,可基于子模型之间的层级关系,实现评估样本在子模型之间的自动分发,进而可获取子模型的评估结果,提高了模型评估的灵活性和准确度。
[0005]本申请的第二个目的在于提出一种模型评估装置。
[0006]本申请的第三个目的在于提出一种电子设备。
[0007]本申请的第四个目的在于提出一种计算机可读存储介质。
[0008]为达到上述目的,本申请第一方面实施例提出了一种模型评估方法,包括:获取评估样本集和待评估模型,其中,所述待评估模型包括至少一个子模型;识别所述子模型之间的层级关系,其中,所述层级关系包括串行关系和并行关系中的至少一种;根据所述层级关系,将评估样本分发至所述子模型;根据所述子模型分发到的所述评估样本,获取所述子模型的评估结果。
[0009]根据本申请实施例的模型评估方法,可根据子模型之间的层级关系,将评估样本分发至子模型,并根据子模型分发到的评估样本,获取子模型的评估结果。由此,可基于子模型之间的层级关系,实现评估样本在子模型之间的自动分发,进而可获取子模型的评估结果,提高了模型评估的灵活性和准确度。
[0010]另外,根据本申请上述实施例提出的模型评估方法还可以具有如下附加的技术特征:
[0011]在本申请的一个实施例中,所述根据所述层级关系,将评估样本分发至所述子模型,包括:获取所述子模型的样本分发条件和/或样本分发比例;根据所述层级关系、所述样本分发条件和/或所述样本分发比例,将所述评估样本分发至所述子模型。
[0012]在本申请的一个实施例中,所述根据所述层级关系、所述样本分发条件和/或所述样本分发比例,将所述评估样本分发至所述子模型,包括:获取所述评估样本的属性信息;
根据所述属性信息,识别所述子模型符合所述样本分发条件;根据所述层级关系,将所述评估样本分发至所述子模型。
[0013]在本申请的一个实施例中,所述层级关系包括串行关系和并行关系,所述根据所述层级关系,将评估样本分发至所述子模型,包括:将所述评估样本分发至多个第一子模型,其中,所述多个第一子模型之间的层级关系为并行关系;针对任一第一子模型,将所述任一第一子模型分发到的评估样本分发至多个第二子模型,其中,所述多个第二子模型之间的层级关系为并行关系;其中,所述第一子模型和所述第二子模型之间的层级关系为串行关系,且所述第一子模型的分发时间早于所述第二子模型的分发时间。
[0014]在本申请的一个实施例中,所述层级关系仅包括串行关系,所述根据所述层级关系,将评估样本分发至所述子模型,包括:将所述评估样本分发至第三子模型;将所述第三子模型分发到的评估样本分发至第四子模型;其中,所述第三子模型和所述第四子模型之间的层级关系为串行关系,且所述第三子模型的分发时间早于所述第四子模型的分发时间。
[0015]在本申请的一个实施例中,所述层级关系仅包括并行关系,所述根据所述层级关系,将评估样本分发至所述子模型,包括:将所述评估样本分发至多个第五子模型,其中,所述多个第五子模型之间的层级关系为并行关系。
[0016]在本申请的一个实施例中,所述根据所述层级关系,将评估样本分发至所述子模型,包括:获取所述评估样本的标识信息;根据所述标识信息和所述层级关系,确定所述评估样本对应的目标子模型;将所述评估样本分发至所述目标子模型。
[0017]在本申请的一个实施例中,所述根据所述子模型分发到的所述评估样本,获取所述子模型的评估结果,包括:获取所述子模型的评估配置信息;根据所述评估配置信息和所述子模型分发到的所述评估样本,配置评估环境;运行所述评估环境,并基于所述评估环境获取所述子模型的评估结果。
[0018]为达到上述目的,本申请第二方面实施例提出了一种模型评估装置,包括:获取模块,用于获取评估样本集和待评估模型,其中,所述待评估模型包括至少一个子模型;识别模块,用于识别所述子模型之间的层级关系,其中,所述层级关系包括串行关系和并行关系中的至少一种;分发模块,用于根据所述层级关系,将评估样本分发至所述子模型;评估模块,用于根据所述子模型分发到的所述评估样本,获取所述子模型的评估结果。
[0019]本申请实施例的模型评估装置,可根据子模型之间的层级关系,将评估样本分发至子模型,并根据子模型分发到的评估样本,获取子模型的评估结果。由此,可基于子模型之间的层级关系,实现评估样本在子模型之间的自动分发,进而可获取子模型的评估结果,提高了模型评估的灵活性和准确度。
[0020]另外,根据本申请上述实施例提出的模型评估装置还可以具有如下附加的技术特征:
[0021]在本申请的一个实施例中,所述分发模块,还用于:获取所述子模型的样本分发条件和/或样本分发比例;根据所述层级关系、所述样本分发条件和/或所述样本分发比例,将所述评估样本分发至所述子模型。
[0022]在本申请的一个实施例中,所述分发模块,还用于:获取所述评估样本的属性信息;根据所述属性信息,识别所述子模型符合所述样本分发条件;根据所述层级关系,将所
述评估样本分发至所述子模型。
[0023]在本申请的一个实施例中,所述层级关系包括串行关系和并行关系,所述分发模块,还用于:将所述评估样本分发至多个第一子模型,其中,所述多个第一子模型之间的层级关系为并行关系;针对任一第一子模型,将所述任一第一子模型分发到的评估样本分发至多个第二子模型,其中,所述多个第二子模型之间的层级关系为并行关系;其中,所述第一子模型和所述第二子模型之间的层级关系为串行关系,且所述第一子模型的分发时间早于所述第二子模型的分发时间。
[0024]在本申请的一个实施例中,所述层级关系仅包括串行关系,所述分发模块,还用于:将所述评估样本分发至第三子模型;将所述第三子模型分发到的评估样本分发至第四子模型;其中,所述第三子模型和所述第四子模型之间的层级关系为串行关系,且所述第三子模型的分发时间早于所述第四子模型的分发时间。
[0025]在本申请的一个实施例中,所述层级关系仅包括并行关系,所述分发模块,还用于:将所述评估样本分发至多个第五子模型,其中,所述多本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型评估方法,其特征在于,包括:获取评估样本集和待评估模型,其中,所述待评估模型包括至少一个子模型;识别所述子模型之间的层级关系,其中,所述层级关系包括串行关系和并行关系中的至少一种;根据所述层级关系,将评估样本分发至所述子模型;根据所述子模型分发到的所述评估样本,获取所述子模型的评估结果。2.根据权利要求1所述的方法,其特征在于,所述根据所述层级关系,将评估样本分发至所述子模型,包括:获取所述子模型的样本分发条件和/或样本分发比例;根据所述层级关系、所述样本分发条件和/或所述样本分发比例,将所述评估样本分发至所述子模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述层级关系、所述样本分发条件和/或所述样本分发比例,将所述评估样本分发至所述子模型,包括:获取所述评估样本的属性信息;根据所述属性信息,识别所述子模型符合所述样本分发条件;根据所述层级关系,将所述评估样本分发至所述子模型。4.根据权利要求1

3任一项所述的方法,其特征在于,所述层级关系包括串行关系和并行关系,所述根据所述层级关系,将评估样本分发至所述子模型,包括:将所述评估样本分发至多个第一子模型,其中,所述多个第一子模型之间的层级关系为并行关系;针对任一第一子模型,将所述任一第一子模型分发到的评估样本分发至多个第二子模型,其中,所述多个第二子模型之间的层级关系为并行关系;其中,所述第一子模型和所述第二子模型之间的层级关系为串行关系,且所述第一子模型的分发时间早于所述第二子模型的分发时间。5.根据权利要求1

3任一项所述的方法,其特征在于,所述层级关系仅包括串行关系,所述根据所述层级关系,将评...

【专利技术属性】
技术研发人员:魏亚通
申请(专利权)人:北京乐我无限科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1