搜索模型结构的方法、装置、设备和存储介质制造方法及图纸

本申请公开了搜索模型结构的方法、装置、设备和计算机可读存储介质，涉及人工智能领域。该方法包括确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间。该模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在融合中应用于多个特征图的相应操作。该方法还包括在该模型结构搜索空间中搜索适合用于预测特定类型的人脸关键点的信息的模型结构。本公开的实施例能够自动搜索适合用于人脸关键点预测任务的最优模型结构。

Methods, devices, devices and storage media for searching model structure

【技术实现步骤摘要】
搜索模型结构的方法、装置、设备和存储介质
本公开的实施例主要涉及人工智能领域，并且更具体地，涉及用于搜索模型结构的方法、装置、设备和计算机可读存储介质。
技术介绍
近年来，深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，模型结构(即，人工神经网络的结构)的好坏对最终模型的效果有非常重要的影响。由人工设计神经网络结构往往需要设计者具有非常丰富的经验和尝试非常多的组合方式。由于众多网络参数会产生非常多的组合方式，常规的随机搜索几乎是不可行。因此，最近几年神经网络架构搜索技术(NeuralArchitectureSearch，简称NAS)成为研究热点，其利用算法代替繁琐的人工操作来自动搜索最佳的神经网络架构。基于人脸图像来预测人脸关键点的信息(例如，人脸关键点在人脸图像中的位置和/或其所对应的深度)非常有挑战性。现有的人工设计的模型结构不能很好的解决这一问题，且人工设计的模型结构非常复杂，难以在低成本设备(诸如，手机)上实现实时预测。现有的模型结构自动搜索方法主要针对分类问题，无法直接应用于人脸关键点预测问题的模型结构自动搜索。
技术实现思路
根据本公开的示例实施例，提供了一种用于搜索模型结构的方案。在本公开的第一方面中，提供了一种用于搜索模型结构的方法。该方法包括确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间，该模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在融合中应用于多个特征图的相应操作。该方法还包括基于特定人脸关键点的类型，在模型结构搜索空间中搜索适合用于基于人脸图像来预测该特定人脸关键点的信息的模型结构。在本公开的第二方面中，提供了一种用于搜索模型结构的装置。该装置包括搜索空间确定模块，被配置为确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间，该模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在融合中应用于多个特征图的相应操作。该装置还包括模型结构搜索模块，被配置为基于特定人脸关键点的类型，在模型结构搜索空间中搜索适合用于基于人脸图像来预测该特定人脸关键点的信息的模型结构。在本公开的第三方面中，提供了一种计算设备，包括一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行使，使得该计算设备实现根据本公开的第一方面的方法。在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了本公开的多个实施例能够在其中实现的示例系统的示意图；图2A示出了根据本公开的一些实施例的人脸图像中的稀疏关键点的示意图；图2B示出了根据本公开的一些实施例的人脸图像中的稠密关键点的示意图；图3示出了根据本公开的一些实施例的用于搜索模型结构的示例方法的流程图；图4示出了根据本公开的一些实施例的针对人脸关键点检测问题的示例模型结构搜索空间的示意图；图5示出了根据本公开的一些实施例的用于在模型结构搜索空间中搜索模型结构的示例方法的流程图；图6出了根据本公开的一些实施例的从模型结构搜索空间中搜索到的示例模型结构的示意图；图7示出了根据本公开的实施例的用于搜索模型结构的装置的示意框图；以及图8示出了能够实施本公开的多个实施例的计算设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。在本公开的实施例的描述中，“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。例如，神经网络模型被构造为包括多个神经元，每个神经元根据训练获得的参数来处理输入，并产生输出。所有神经元的参数组成神经网络模型的参数集。当神经网络模型的参数集被确定时，该模型可以被运行以执行相应功能。在本文中，术语“神经网络”、“神经网络模型”、“模型”和“网络”可替换地使用。如以上提及的，基于人脸图像来预测人脸关键点的信息(例如，在人脸图像中定位出人脸关键点的位置并预测其深度)非常有挑战性。现有的人工设计的模型结构不能很好的解决这一问题，且人工设计的模型结构非常复杂，难以在低成本设备(诸如，手机)上实现实时预测。现有的模型结构自动搜索方法主要针对分类问题，无法直接应用于人脸关键点预测问题的模型结构自动搜索。根据本公开的实施例，提出了一种用于针对人脸关键点预测问题的模型结构自动搜索方案。该方案确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间。该模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在融合中应用于多个特征图的相应操作。然后，基于特定人脸关键点的类型，在该模型结构搜索空间中搜索适合用于预测该特定人脸关键点的信息的模型结构。该方案能够自动搜索适合用于人脸关键点预测任务的最优模型结构，从而提高人脸关键点预测的效率和准确性。以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例系统100的示意图。如图1所示，系统100可以包括模型结构搜索装置110、模型训练装置120和模型应用装置130。模型结构搜索装置110、模型训练装置120和模型应用装置130可以被实现在同一物理设备中，或者被单独地实现在不同的物理设备中。应当理解，在图1中仅出于示例性的目的描述系统100的结构和功能，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被应用到具有不同的结构和/或功能的系统中。模型结构搜索装置110可以实现模型结构的自动搜索。如图1所示，针对人脸关键点预测问题(例如，在人脸图像中定位出人脸关键点的位置并预本文档来自技高网...

【技术保护点】
1.一种用于搜索模型结构的方法，包括：/n确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间，所述模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在所述融合中应用于所述多个特征图的相应操作；以及/n基于特定人脸关键点的类型，在所述模型结构搜索空间中搜索适合用于基于人脸图像来预测所述特定人脸关键点的信息的模型结构。/n

【技术特征摘要】
1.一种用于搜索模型结构的方法，包括：
确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间，所述模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式，以及在所述融合中应用于所述多个特征图的相应操作；以及
基于特定人脸关键点的类型，在所述模型结构搜索空间中搜索适合用于基于人脸图像来预测所述特定人脸关键点的信息的模型结构。


2.根据权利要求1所述的方法，其中所述特定人脸关键点包括用于勾勒人脸轮廓和/或五官的稀疏关键点。


3.根据权利要求1所述的方法，其中所述特定人脸关键点包括用于描绘人脸细节的稠密关键点。


4.根据权利要求1所述的方法，其中所述特定人脸关键点的所述信息包括以下至少一项：
所述特定人脸关键点在人脸图像中的位置；以及
所述特定人脸关键点所对应的深度。


5.根据权利要求1所述的方法，其中在所述模型结构搜索空间中搜索所述模型结构包括：
选择所述多个候选模型结构之一作为种子模型结构；
确定用于所述种子模型结构的模型转移概率，所述模型转移概率指示所述种子模型结构经过一次转换而被转换成所述多个候选模型结构中的每个候选模型结构的相应概率；
迭代地执行以下操作，直到迭代终止条件被满足：
基于所述种子模型结构和所述模型转移概率，生成一组候选模型结构；
确定所述一组候选模型结构的性能指标；以及
响应于所述迭代终止条件未被满足，基于所述一组候选模型结构的所述性能指标，更新所述模型转移概率；以及
响应于所述迭代终止条件被满足，将所述一组候选模型结构中性能指标最好的候选模型结构确定为所述模型结构。


6.根据权利要求5所述的方法，其中所述迭代终止条件包括以下之一：
迭代次数达到阈值次数；或者
所述一组候选模型结构的性能指标变化量低于阈值。


7.根据权利要求5所述的方法，其中所述多个候选模型结构包括第一候选模型结构和第二候选模型结构，并且确定所述模型转移概率包括：
初始化所述模型转移概率，以使得所述种子模型结构经过一次转换而被转换成所述第一候选模型结构的概率与被转换成所述第二候选模型结构的概率相等。


8.根据权利要求5所述的方法，其中生成所述一组候选模型结构包括：
确定待生成的候选模型结构的数量；以及
通过对所述种子模型结构进行所述数量的转换，来生成所述一组候选模型结构。


9.根据权利要求5所述的方法，其中所述一组候选模型结构包括第三候选模型结构和第四候选模型结构，所述第三候选模型结构的性能指标优于所述第四候选模型结构的性能指标，并且更新所述模型转移概率包括：
更新所述模型转移概率，使得所述种子模型结构经过一次转换而被转换成所述第三候选模型结构的概率超过被转换成所述第四候选模型结构的概率。


10.根据权利要求5所述的方法，其中确定所述一组候选模型结构的性能指标包括：
针对所述一组候选模型结构中的每个候选模型结构，
训练所述候选模型结构以得到用于基于人脸图像来预测所述特定人脸关键点的信息的模型；
利用所述模型，基于人脸图像来预测所述特定人脸关键点的信息；以及
基于所述模型的预测结果，确定所述候选模型结构的性能指标。


11.一种用于搜索模型结构的装置，包括：
搜索空间确定模块，被配置为确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间，所述模型结构搜索空间包括多个候选模型结构，其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测...

【专利技术属性】
技术研发人员：希滕，姜志超，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11