模型错例的分析方法、装置及电子设备制造方法及图纸

本发明专利技术涉及模型错例的分析方法、装置及电子设备。该方法包括：获取错例集，错例集包括多个错判图像，多个错判图像均为基于同一模型的错判案例，模型为使用多个第一样本图像通过机器学习训练得出；提取每个错判图像的特征数据；根据特征数据，获取每个错判图像在错例集中的最相似图像，确定任意两个错判图像之间是否存在最相似关系；根据最相似关系对错例集进行聚类，得到聚类结果，聚类结果包括至少一个团簇，每个团簇对应多个错判图像。

【技术实现步骤摘要】
模型错例的分析方法、装置及电子设备
本专利技术涉及云服务
，更具体地，涉及一种模型错例的分析方法、一种模型优化方法、一种模型错例的分析装置、一种模型优化装置以及一种电子设备。
技术介绍
随着云计算、大数据以及人工智能技术的发展，越来越多的云公司开始对外提供人工智能服务，如图片分类等。同时，随着以深度学习为代表的人工智能技术的快速发展，人工智能算法的识别准确率不断提高，但是算法不可避免会出现预测错误的情况，这些预测错误的样例(错例)会通过终端用户不断反馈给云公司。如何快速且高效地对用户反馈的海量错例进行分析，进而有针对性的对人工智能算法进行调优是一项非常重要且迫切的任务。现有方式中，通常由人工观察和分析海量错例，在此基础上总结出典型的错误类型。这种方式费时费力，成本较高。因此，有必要提出一种新的人工智能模型的错例分析方法方案。
技术实现思路
本专利技术的一个目的是提供一种新的人工智能模型的错例分析方法方案。根据本专利技术的第一方面，提供了一种模型错例的分析方法，包括：获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；提取每个所述错判图像的特征数据；根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系；根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。可选地，所述根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系，包括：根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；根据所述关系矩阵，获得所述最相似关系。可选地，所述根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵，包括：建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。可选地，所述根据所述关系矩阵，获得所述最相似关系，包括：获取任意两个错判图像对应的所述关系矩阵中的元素；根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。可选地，所述根据所述最相似关系对所述错例集进行聚类，得到聚类结果，包括：根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。根据本专利技术的第二方面，提供了一种模型错例的分析方法，包括：获取基于本专利技术第一方面所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。可选地，所述基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果，包括：根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；根据所述第一层次特征数据，获取每个所述第一层次团簇对应的最相似团簇；根据所述每个所述第一层次团簇对应的最相似团簇，确定所述第一层次聚类结果中任意两个所述第一层次团簇之间是否存在设定的最相似关系；根据所述最相似关系对所述第一层次聚类结果进行聚类，得到第二层次聚类结果，所述第二层聚类结果包括至少一个第二层团簇，每个所述第二层次团簇对应多个第一层次团簇；对所述第二层次结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。可选地，所述预设的停止条件包括：假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果所述第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。根据本专利技术的第三方面，提供了一种模型优化方法，包括：获取基于本专利技术第一方面或者第二方面所述方法的至少一个聚类结果；向用户提供所述聚类结果；获取用户输入的对应所述聚类结果的多个第二样本图像；根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。根据本专利技术的第四方面，提供了一种模型错例的分析装置，包括：错例集获取模块，用于获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；特征提取模块，用于提取每个所述错判图像的特征数据；最相似图像获取模块，用于根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；关系获取模块，用于根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个所述错判图像之间是否存在最相似关系；聚类模块，用于根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。可选地，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系时，用于：根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；根据所述关系矩阵，获得所述最相似关系。可选地，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵时，用于：建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。可选地，所述关系获取模块在根据所述关系矩阵，获得所述最相似关系时，用于：获取任意两个错判图像对应的所述关系矩阵中的元素；根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。可选地，所述聚类模块在根据所述最相似关系对所述错例集进行聚类，得到聚类结果时，用于：<本文档来自技高网...

【技术保护点】
1.一种模型错例的分析方法，包括：/n获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；/n提取每个所述错判图像的特征数据；/n根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；/n根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系；/n根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。/n

【技术特征摘要】
1.一种模型错例的分析方法，包括：
获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；
提取每个所述错判图像的特征数据；
根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；
根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系；
根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。


2.根据权利要求1所述的方法，其中，所述根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系，包括：
根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；
根据所述关系矩阵，获得所述最相似关系。


3.根据权利要求2所述的方法，其中，所述根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵，包括：
建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；
确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。


4.根据权利要求3所述的方法，其中，所述根据所述关系矩阵，获得所述最相似关系，包括：
获取任意两个错判图像对应的所述关系矩阵中的元素；
根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。


5.根据权利要求1所述的方法，其中，所述根据所述最相似关系对所述错例集进行聚类，得到聚类结果，包括：
根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；
获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。


6.一种模型错例的分析方法，包括：获取基于权利要求1-5中任一项所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；
基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。


7.根据权利要求6所述的方法，其中，所述基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果，包括：
根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；
根据所述第一层次特征数据，...

【专利技术属性】
技术研发人员：苏驰，李凯，刘弘也，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11