一种骨骼类型预测方法和装置制造方法及图纸

本公开实施例提供一种骨骼类型预测方法和装置，其中方法包括：通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；并根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型；基于所述目标对象的对象类型，得到所述目标图像中包括的骨骼类型。本方法通过端到端的处理方式来预测图像中目标对象的骨骼类型，不需要较多步骤才能对图像中物体进行骨骼类型预测，避免了传统方法存在的误差累积问题。积问题。积问题。

【技术实现步骤摘要】
一种骨骼类型预测方法和装置


[0001]本公开涉及计算机视觉
，具体涉及一种骨骼类型预测方法和装置。

技术介绍

[0002]当需要预测一张图像中物体的骨骼类型时，传统方法需要先定位出图像中物体的所在，对定位到的物体进行骨骼的提取，将提取到的骨骼输入分类器进行分类，从而得到当前图像中物体的骨骼类型。
[0003]但上述传统方法中存在误差累积的问题，若物体的定位不准，则提取的骨骼会存在一定的偏差，将具有偏差的骨骼输入分类器后得到的分类结果很可能会产生更大的偏差，从而导致骨骼类型预测不准。

技术实现思路

[0004]有鉴于此，本公开实施例提供至少一种骨骼类型预测方法和装置。
[0005]具体地，本公开实施例是通过如下技术方案实现的：
[0006]第一方面，提供一种骨骼类型预测方法，所述方法包括：
[0007]通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；并根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型；
[0008]基于所述目标对象的对象类型，得到所述目标图像中包括的骨骼类型。
[0009]第二方面，提供一种骨骼类型预测装置，所述装置包括：
[0010]网络预测模块，用于通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；并根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型；
[0011]类型确定模块，用于基于所述目标对象的对象类型，得到所述目标图像中包括的骨骼类型。
[0012]第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的骨骼类型预测方法。
[0013]第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的骨骼类型预测方法。
[0014]第五方面，提供一种计算机程序产品，所述产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开任一实施例所述的骨骼类型预测方法。
[0015]本公开实施例提供的技术方案中的骨骼类型预测方法，通过分类识别网络对待预测的目标图像进行特征提取，并根据图像特征来输出目标图像中目标对象的对象类型，以根据对象类型得到目标对象的骨骼类型，提出了一种端到端的方法来预测图像中目标对象的骨骼类型，解决了传统方法中需要较多步骤才能对图像中物体进行骨骼类型预测的问
题，避免了传统方法存在的误差累积问题。
附图说明
[0016]为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1A是本公开至少一个实施例示出的一种骨骼类型预测方法的流程图；
[0018]图1B是本公开至少一个实施例示出的一种目标图像；
[0019]图1C是本公开至少一个实施例示出的另一种目标图像；
[0020]图1D是本公开至少一个实施例示出的又一种目标图像；
[0021]图2是本公开至少一个实施例示出的一种分类识别网络的网络结构；
[0022]图3是本公开至少一个实施例示出的一种分类识别网络训练方法的流程图；
[0023]图4是本公开至少一个实施例示出的另一种骨骼类型预测方法的流程图；
[0024]图5是本公开至少一个实施例示出的一种改进后的分类识别网络的网络结构；
[0025]图6是本公开至少一个实施例示出的另一种改进后的分类识别网络的网络结构；
[0026]图7是本公开至少一个实施例示出的又一种骨骼类型预测方法的流程图；
[0027]图8是本公开至少一个实施例示出的一种改进后的分类识别网络训练方法的流程图；
[0028]图9是本公开至少一个实施例示出的又一种骨骼类型预测方法的流程图；
[0029]图10是本公开至少一个实施例示出的另一种改进后的分类识别网络的网络结构；
[0030]图11是本公开至少一个实施例示出的又一种改进后的分类识别网络的网络结构；
[0031]图12是本公开至少一个实施例示出的另一种骨骼类型预测方法的流程图；
[0032]图13是本公开至少一个实施例示出的一种骨骼类型预测装置的框图；
[0033]图14是本公开至少一个实施例示出的另一种骨骼类型预测装置的框图；
[0034]图15是本公开至少一个实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0035]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0036]在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0037]应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称
为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0038]如图1A所示，图1A是本公开至少一个实施例示出的一种骨骼类型预测方法的流程图，该方法包括以下步骤：
[0039]在步骤102中，通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；并根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型。
[0040]本实施例中，目标图像是包括目标对象的图像，目标对象可以是动物、植物以及人类等实物物体，也可以是动物、植物以及人类等的图片、绘图以及卡通形象等。目标图像可以通过摄像头拍摄、截图以及扫描等方式获取，本实施例对此不进行限制。
[0041]当希望对目标图像中目标对象的骨骼类型进行预测时，将目标图像输入分类识别网络，由分类识别网络对目标图像进行特征提取，提取得到目标图像的图像特征，并且分类识别网络继续根据图像特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨骼类型预测方法，其特征在于，所述方法包括：通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；并根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型；基于所述目标对象的对象类型，得到所述目标图像中包括的骨骼类型。2.根据权利要求1所述的方法，其特征在于，所述对象类型，为所述目标对象的骨骼类型。3.根据权利要求1所述的方法，其特征在于，所述对象类型，为所述目标对象的物体类型；所述根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型，包括：根据所述图像特征进行分类，得到所述分类识别网络输出的所述目标图像中包括的目标对象的物体类型；所述基于所述目标对象的对象类型，得到所述目标图像中包括的骨骼类型，包括：根据所述目标对象的物体类型以及预先建立的物体类型和骨骼类型的映射关系，确定所述目标图像中包括目标对象的骨骼类型。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述分类识别网络的训练过程，包括：通过分类识别网络，对样本图像进行特征提取，得到所述样本图像的图像特征；并根据所述样本图像的图像特征，由所述分类识别网络输出所述样本图像中包括的目标对象的对象类型；根据输出的所述样本图像中目标对象的对象类型和所述样本图像中标注的真实对象类型之间的差别，确定网络损失；根据所述网络损失调整所述分类识别网络的网络参数。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：通过所述分类识别网络，对所述目标图像进行因子特征的提取处理，得到所述目标图像中包括的目标对象的因子特征；所述根据所述图像特征，由所述分类识别网络输出所述目标图像中包括的目标对象的对象类型，包括：根据所述图像特征和所述因子特征，得到所述分类识别网络输出的所述目标图像中包括的目标对象的对象类型。6.根据权利要求5所述的方法，其特征在于，所述分类识别网络中包括：特征提取子网络、骨骼提取子网络和/或分割掩码提取子网络、分类器；所述通过分类识别网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征，包括：通过所述特征提取子网络，对待预测的目标图像进行特征提取，得到所述目标图像的图像特征；所述通过所述分类识别网络对所述目标图像进行因子特征的提取处理，得到所述目标图像中包括的目标对象的因子特征，包括：
通过所述骨骼提取子网络，对所述目标图像进行骨骼提取，得到所述目标对象的骨骼特征；和/或，通过所述分割掩码提取子网络，对所述目标图像进行图像分割，得到所述目标图像中包括的分割掩码特征；所述根据所述图像特征和所述因子特征，得到所述分类识别网络输出的所述目标图像中包括的目标对象的对象类型，包括：通过所述分类器，根据所述骨骼特征和所述分割掩码特征中的至少一个、以及所述图像特征进行分类，得到所述目标图像中...

【专利技术属性】
技术研发人员：黄健文，黄展鹏，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：