物体属性预测方法、装置及设备制造方法及图纸

本发明专利技术涉及计算机视觉技术，具体涉及一种物体属性预测方法、装置和设备，以及一种物体属性预测模型构建方法、装置和设备，以解决现有技术存在的预测准确率较低且计算资源消耗较多的问题。利用共享特征抽取网络将所有属性放在一起进行特征抽取，在特征抽取网络后，又根据有序属性和无序属性的划分标准，将不同类别的属性分别放到分类结构和回归结构的属性预测网络进行处理，不同结构的属性预测网络采用不同的损失函数。通过本发明专利技术提供的方案，不仅充分利用属性间的相关性，实现高效的多属性特征共享，挖掘出更有效的特征，而且充分利用属性间的异质性，实现对有序属性和无序属性分而治之的属性预测，从而可以提高预测准确率且节省计算资源。

【技术实现步骤摘要】
物体属性预测方法、装置及设备
本专利技术实施例涉及计算机视觉领域，尤其涉及一种物体属性预测方法、装置和设备，以及一种物体属性预测模型构建方法、装置和设备。
技术介绍
人的属性检测技术，是指对于任意一幅给定的人的图像，利用图像上显示的细节特征，来确定人的属性，例如，性别、年龄、种族、身高等属性。在检测出人的属性后，可实现人像的筛选、分类、检索乃至身份识别等功能。目前，人的属性检测技术通常采用基于深度学习框架的人的属性预测方法实现。在基于深度学习框架的人的属性预测方法中，一种典型的技术方案是：首先，通过属性编码技术将训练样本的有序属性(如年龄或身高等)转换为无序属性；然后，采用多任务学习方式从训练样本中学习获得人的属性预测模型；最后，使用该模型预测人的属性。采用该方案获得的人的属性预测模型具有如下优点：可同时预测多个有序属性和多个无序属性，模型复杂度与属性数量无关，特征学习与分类器学习可联合调优。然而，在实现本专利技术过程中，专利技术人发现该技术方案至少存在如下问题：1)预测模型采用分类神经网络结构，将有序属性和无序属性作为同类任务进行处理，利用相同的损失函数(如softmax损失函数)计算有序属性和无序属性的损失，因此预测准确率较低；2)模型训练前需要对每个训练样本的有序属性进行编码，以将有序属性转换为无序属性，且在属性预测前需要通过相同的属性编码方式将有序属性转换为无序属性，在属性预测后需要通过对应的属性解码方式将有序属性对应的分类结果转换为有序值，因此消耗了较多的计算资源。
技术实现思路
本专利技术实施例提供了一种物体属性预测方法和一种物体属性预测模型构建方法，以及相应的装置和设备，以解决现有技术存在的预测准确率较低且计算资源消耗较多的问题。第一方面，本专利技术实施例提供了一种物体属性预测方法，可用于生物体(如人，动物等)或非生物体(如服饰等)等各种物体的属性预测。方法的执行主体包括物体属性预测装置，物体属性预测装置首先获取待预测的物体图像，然后，再将该物体图像作为预先生成的物体属性预测模型中输入层的数据，获取该物体图像的属性的预测值，其中，通过所述物体属性预测模型中第一共有特征抽取子网络，抽取该物体图像的第一共有特征，所述第一共有特征为包含有序属性和无序属性的特征，所述第一共有特征为所述物体属性预测模型中至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络的输入数据，通过所述物体属性预测模型中所述至少一个回归结构的属性预测子网络，获取该物体图像的所有所述有序属性的预测值，通过所述物体属性预测模型中所述至少一个分类结构的属性预测子网络预测，获取该物体图像的所有所述无序属性的预测值。其中，所述有序属性为不同属性值之间具有顺序关系的属性，如年龄(0-100岁)、身高(90-230厘米)为有序属性。所述无序属性为不同属性值之间不具有顺序关系的属性，如性别(男或女)、种族(白种、黄种或黑种)为无序属性。由于性别、种族和视角等属性的不同取值之间不存在顺序关系，取值范围较小，而年龄和身高等属性的不同取值之间存在顺序关系，取值范围较大；因此，本专利技术实施例提供的方案，将属性分为有序属性和无序属性，由不同结构的属性预测子网络分别处理，将不同结构的属性预测子网络可预测的属性之间的间隔扩大，同一属性结构的属性预测子网络可预测的属性之间的间隔缩小，即扩大类间间距和缩小类内间距。需要说明的是，一些属性既可以作为有序属性，也可以作为无序属性，例如，属性取值设置为短发、中长发、长发等的头发长度属性，或者，属性取值设置为儿童、中青年、老年等的年龄属性。一方面，由于该类属性的不同属性值之间具有一定的顺序关系(短发长度<中长发长度<长发长度，儿童年龄<中青年年龄<老年年龄)，因此可将该属性作为有序属性；另一方面，这些属性值又是不同的分类结果，属性取值范围较小，因此也可将该属性作为无序属性。具体实施时，可根据实际需求将这类属性作为有序属性或无序属性。所述第一共有特征为包含有序属性和无序属性的特征，即所述物体属性预测模型可预测的所有属性的特征，每一个属性均将依据这些特征进行预测，也就是说，这些特征被所有属性共享(共有)。所述第一共有特征抽取子网络被所有属性共用，在通过所述第一共有特征抽取子网络抽取出所述第一共有特征后，各个属性预测子网络将根据这些特征对该预测子网络可预测的所有属性进行预测。通过本专利技术实施例提供的方案，利用第一共有特征抽取子网络将所有属性放在一起进行特征抽取，在第一共有特征抽取子网络后，又根据有序属性和无序属性的划分标准，将不同属性值类别的属性分别放到分类结构和回归结构的属性预测子网络进行处理，不同结构的属性预测子网络采用不同的损失函数；这种处理方式，同时考虑属性相关性和属性异质性；在属性相关性方面，体现在利用多任务学习挖掘所有属性的相关性，实现高效的多属性特征共享；在属性异质性方面，利用回归结构的分支网络处理有序属性，利用分类结构的分支网络处理无序属性，实现对有序属性和无序属性分而治之的属性预测；因此，可以有效提高有序属性和无序属性的预测准确率。同时，由于无需对有序属性进行编解码处理；因此，可以有效减少计算资源的消耗。此外，采用本专利技术实施例提供的方案，还具有以下有益效果：1)对所有属性只学习一个完整的神经网络，所有属性通过一个模型进行预测，只是在属性预测阶段划分两个或多个子网络，模型复杂度与属性数量无关，即使属性数量非常多，仍具有较低的模型复杂度，因此模型可扩展性高，且可操作性高，易于训练和测试；2)由于采用深度学习方法，不依赖人工设计的特征，因此可自动对所有属性学习最优的特征；3)可利用海量数据进行训练模型，从而提升模型的泛化能力以及准确度；4)可将特征抽取与属性预测进行联合调优，因此模型准确度高，且形成端到端的模型。结合第一方面，在第一方面第一种可能的实现方式中，所述方法还包括：获取标注有多个属性的属性值的多个训练用物体图像；以及，获取所述多个属性的属性值类别，所述属性值类别包括有序属性类或无序属性类；根据所述多个属性和各个属性的属性值类别，构建深度神经网络；其中，所述深度神经网络包含输入层、与所述输入层连接的第一共有特征抽取子网络、及并列连接在所述第一共有特征抽取子网络之后的至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络，所述回归结构的属性预测子网络用于预测至少一个所述有序属性，所述分类结构的属性预测子网络用于预测至少一个所述无序属性；根据所述多个训练用物体图像及所述属性值，对所述深度神经网络进行训练，以得到所述物体属性预测模型。结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据所述多个训练用物体图像及所述属性值，并对所述深度神经网络进行训练，以得到所述物体属性预测模型，包括：将所述训练用物体图像作为所述深度神经网络中输入层的数据，通过所述第一共有特征抽取子网络从所述训练用物体图像中抽取所述第一共有特征，所述第一共有特征为所述至少一个回归结构的属性预测子网络和所述至少一个分类结构的属性预测子网络的输入数据；通过所述至少一个回归结构的属性预测子网络，获取所述训练用物体图像的所有所述有序属性的预测值，以及，通过所述至少一个分类结构的属性预测子网络预本文档来自技高网...

【技术保护点】
1.一种物体属性预测方法，其特征在于，所述方法包括：获取待预测的物体图像；将所述物体图像作为物体属性预测模型中输入层的数据，获取所述物体图像的属性的预测值，其中，通过所述物体属性预测模型中第一共有特征抽取子网络，抽取所述物体图像的第一共有特征，所述第一共有特征为包含有序属性和无序属性的特征，所述有序属性为不同属性值之间具有顺序关系的属性；所述无序属性为不同属性值之间不具有顺序关系的属性，所述第一共有特征为所述物体属性预测模型中至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络的输入数据，通过所述物体属性预测模型中所述至少一个回归结构的属性预测子网络，获取所述物体图像的所有所述有序属性的预测值，通过所述物体属性预测模型中所述至少一个分类结构的属性预测子网络预测，获取所述物体图像的所有所述无序属性的预测值。

【技术特征摘要】
1.一种物体属性预测方法，其特征在于，所述方法包括：获取待预测的物体图像；将所述物体图像作为物体属性预测模型中输入层的数据，获取所述物体图像的属性的预测值，其中，通过所述物体属性预测模型中第一共有特征抽取子网络，抽取所述物体图像的第一共有特征，所述第一共有特征为包含有序属性和无序属性的特征，所述有序属性为不同属性值之间具有顺序关系的属性；所述无序属性为不同属性值之间不具有顺序关系的属性，所述第一共有特征为所述物体属性预测模型中至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络的输入数据，通过所述物体属性预测模型中所述至少一个回归结构的属性预测子网络，获取所述物体图像的所有所述有序属性的预测值，通过所述物体属性预测模型中所述至少一个分类结构的属性预测子网络预测，获取所述物体图像的所有所述无序属性的预测值。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取标注有多个属性的属性值的多个训练用物体图像；以及，获取所述多个属性的属性值类别，所述属性值类别包括有序属性类或无序属性类；根据所述多个属性和所述属性值类别，构建深度神经网络；其中，所述深度神经网络包含输入层、与所述输入层连接的第一共有特征抽取子网络、及并列连接在所述第一共有特征抽取子网络之后的至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络，所述回归结构的属性预测子网络用于预测至少一个所述有序属性，所述分类结构的属性预测子网络用于预测至少一个所述无序属性；根据所述多个训练用物体图像及所述属性值，对所述深度神经网络进行训练，以得到所述物体属性预测模型。3.如权利要求2所述的方法，其特征在于，所述根据所述多个训练用物体图像及所述属性值，并对所述深度神经网络进行训练，以得到所述物体属性预测模型，包括：将所述训练用物体图像作为所述深度神经网络中输入层的数据，通过所述第一共有特征抽取子网络从所述训练用物体图像中抽取所述第一共有特征，所述第一共有特征为所述至少一个回归结构的属性预测子网络和所述至少一个分类结构的属性预测子网络的输入数据；通过所述至少一个回归结构的属性预测子网络，获取所述训练用物体图像的所有所述有序属性的预测值，以及，通过所述至少一个分类结构的属性预测子网络预测，获取所述训练用物体图像的所有所述无序属性的预测值；获取所有所述训练用物体图像的各个所述属性的所述属性值和所述预测值之间的误差之和；若所述误差之和满足预设的停止训练条件，则将所述深度神经网络作为所述物体属性预测模型；否则，调整所述深度神经网络的连接权重参数，并对调整后的深度神经网络进行训练。4.如权利要求2所述的方法，其特征在于，所述根据所述多个属性和所述属性值类别，并构建深度神经网络，包括：获取所述属性所属的属性集合；针对各个所述属性集合，构建与所述属性集合内所有所述有序属性对应的所述回归结构的属性预测子网络，以及，构建与所述属性集合内所有所述无序属性对应的所述分类结构的属性预测子网络。5.如权利要求2所述的方法，其特征在于，所述根据所述多个训练用物体图像及所述属性值，并对所述深度神经网络进行训练，以得到物体属性预测模型，采用如下训练目标函数：其中，G表示所述回归结构的属性预测子网络和所述分类结构的属性预测子网络的总数量，Tg是第g个属性预测子网络可预测的所有属性的数量，N表示所述多个训练用物体图像的数量；f是属性预测函数，f(xig,j；wg,j)为第i个训练用物体图像的第g个属性预测子网络下第j个属性的预测值，yi*g,j是第i个训练用物体图像的第g个属性预测子网络下第j个属性的属性值，l是第g个属性预测子网络下第j个属性的损失函数,是第g个属性预测子网络下第j个属性的属性预测误差，φ(wg,j)是第g个属性预测子网络下第j个属性的惩罚权重复杂度的正则项；λg表示第g个属性预测子网络下所述属性的所述属性预测误差的权重。6.如权利要求5所述的方法，其特征在于，所述有序属性的损失函数包括欧式距离损失函数；所述无序属性的损失函数包括交叉熵损失函数。7.如权利要求2-6任一项所述的方法，其特征在于，所述根据所述多个训练用物体图像及所述属性值，并对所述深度神经网络进行训练，以得到物体属性预测模型，采用如下方式：通过随机梯度下降算法，根据所述多个训练用物体图像及所述属性值，对所述深度神经网络进行训练，以得到所述物体属性预测模型。8.如权利要求1-6任一项所述的方法，其特征在于，所述第一共有特征抽取子网络采用卷积神经网络结构。9.如权利要求1-6任一项所述的方法，其特征在于，所述回归结构的属性预测子网络和/或所述分类结构的属性预测子网络包括第二共有特征抽取子网络，所述第二共有特征抽取子网络采用卷积神经网络结构，所述第二共有特征为包含所述回归结构的属性预测子网络或所述分类结构的属性预测子网络预测的所有属性的特征。10.一种物体属性预测装置，其特征在于，包括：物体图像获取单元，用于获取待预测的物体图像；物体属性预测单元，用于将所述物体图像作为物体属性预测模型中输入层的数据，获取所述物体图像的属性的预测值，其中，通过所述物体属性预测模型中第一共有特征抽取子网络，抽取所述物体图像的第一共有特征，所述第一共有特征为包含有序属性和无序属性的特征，所述有序属性为不同属性值之间具有顺序关系的属性；所述无序属性为不同属性值之间不具有顺序关系的属性，所述第一共有特征为所述物体属性预测模型中至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络的输入数据，通过所述物体属性预测模型中所述至少一个回归结构的属性预测子网络，获取所述物体图像的所有所述有序属性的预测值，通过所述物体属性预测模型中所述至少一个分类结构的属性预测子网络预测，获取所述物体图像的所有所述无序属性的预测值。11.如权利要求10所述的装置，其特征在于，所述装置还包括：训练数据获取单元，用于获取标注有多个属性的属性值的多个训练用物体图像；以及，获取所述多个属性的属性值类别，所述属性值类别包括有序属性类或无序属性类；深度神经网络构建单元，用于根据所述多个属性和所述属性值类别，构建深度神经网络；其中，所述深度神经网络包含输入层、与所述输入层连接的第一共有特征抽取子网络、及并列连接在所述第一共有特征抽取子网络之后的至少一个回归结构的属性预测子网络和至少一个分类结构的属性预测子网络，所述回归结构的属性预测子网络用于预测至少一个所述有序属性，所述分类结构的属性预测子网络用于预测至少一个所述无序属性；物体属性预测模型生成单元，用于根据所述多个训练用物体图像及所述属性值，对所述深度神经网络进行训练，以得到所述物体属性预测模型。12.如权利要求11所述的装置，其特征在于，所述物体属性预测模型生成单元包括：属性预测子单元，用于将所述训练用物体图像作为所述深度神经网络中输入层的数据，通过所述第一共有特征抽取子网络从所述训练用物体图像中抽取所述第一共有特征，所述第一共有特征为所述至少一个回归结构的属性预测子网络和所述至少一个分类结构的属性预测子网络的输入数据；通过所述至少一个回归结构的属性预测子网络，获取所述训练用物体图像的所有所述有序属性的预测值，以及，通过所述至少一个分类结构的属性预测子网络预测，获取所述训练用物体图像的所有所述无序属性的预测值；总预测误差获取子单元，用于获取所有所述训练用物体图像的各个所述属性的所述属性值和所述预测值之间的误差之和；物体属性预测模型确定子单元，用于若所述误差之和满足预设的停止训练条件，则将所述深度神经网络作为所述物体属性预测模型；网络参数调整子单元，用于若所述误差之和不满足所述预设的停止训练条件，则调整所述深度神经网络的连接权重参数，并启动所述属性预测子单元。13.如权利要求11所述的装置，其特征在于，所述深度神经网络构建单元包括：属性集合获取子单元，用于获取所述属性所属的属性集合；属性预测子网络构建子单元，用于针对各个所述属性集合，构建与所述属性集合内所有所述有序属性对应的所述回归结构的属性预测子网络，以及，构建与所述属性集合内所有所述无序属性对应的所述分类结构的属性预测子网络。14.如权利要求11所述的装置，其特征在于：所述物体属性预测模型生成单元，具体用于采用如下训练目标函数对所述深度神经网络进行训练：其中，G表示所述回归结构的属性预测子网络和所述分类结构的属性预测子网络的总数量，Tg是第g个属性预测子网络可预测的所有属性的数量，N表示所述多个训练用物体图像的数量；f是属性预测函数，f(xig,j；wg,j)为第i个训练用物体图像的第g个属性预测子网络下第j个属性的预测值，yi*g,j是第i个训练用物体图像的第g个属性预测子网络下第j个属性的属性值，l是第g个属性预测子网络下第j个属性的损失函数,是第g个属性预测子网络下第j个属性的属性预测误差，φ(wg,j)是第g个属性预测子网络下第j个属性的惩罚权重复杂度的正则项；λg表示第g个属性预测子网络下所述属性的所述属性预测误差的权重。15.如权利要求14所述的装置，其特征在于，所述有序属性的损失函数包括欧式距离损失函数；所述无序属性的损失函数包括交叉熵损失函数。16.如权利要求11-15任一项所述的装置，其特征在于：所述物体属性预测模型生成单元，具体用于通过随机梯度下降算法，根据所述多个训练用物体图像及所述属性值，对所述深度神经网络进行训练，以得到所述物体属性预测模型。17.如权利要求11-15任一项所述的装置，其特征在于，所述第一共有特征抽取子网络采用卷积神经网络结构。18.如权利要求11-15任一项所述的装置，其特征在于，所述回归结构的属性预测子网络和/或所述分类结构的属性预测子网络包括第二共有特征抽取子网络，所述第二共有特征抽取子网络采用卷积神经网络结构，所述第二共有特征为包含所述回归结构的属性预测子网络或所述分类结构的属性预测子网络预测的所有属性的特征。19.一种电子设备，其特征在于，包括：至少一个存储器；耦合到所述至少一个存储器的至少一个处理器，所述至少一个处理器配置为：获取待预测的物体图像；将所述物体图像作为物体属性预测模型中输入层的数据，获取所述物体图像的属性的预测值，其中，通过所述物体属性预测模型中第一共有特征抽取子网络，抽取所述物体图像的第一共有特征，所述第一共有特征为包含有序属性和无序属性的特征，所述有序属性为不同属性值之间具有顺序关系的属性；所述无...

【专利技术属性】
技术研发人员：杨怡，王芳，陈茂林，韩琥，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44