图像中关联对象的检测方法、装置、设备和存储介质制造方法及图纸

本申请提出图像中关联对象的检测方法、装置、设备和存储介质。其中，上述方法可以包括，检测目标图像中的人脸对象，人手对象以及预设人体部位对象。其中，上述预设人体部位对象表征人脸与人手之间的预设连接部位。对检测出的人脸对象与预设人体部位对象，以及预设人体部位对象与人手对象分别进行关联性预测，得到人脸对象与预设人体部位对象的第一关联性预测结果，以及预设人体部位对象与人手对象的第二关联性预测结果。根据上述第一关联性预测结果以及上述第二关联性预测结果，确定上述目标图像中的关联对象。像中的关联对象。像中的关联对象。

【技术实现步骤摘要】
【国外来华专利技术】图像中关联对象的检测方法、装置、设备和存储介质
[0001]相关公开的交叉引用
[0002]本申请要求2021年3月17日递交的、申请号为10202102716Y的新加坡专利申请的优先权，其全部内容通过引用并入本文。


[0003]本申请涉及计算机技术，具体涉及图像中关联对象的检测方法、装置、设备和存储介质。

技术介绍

[0004]智能视频分析技术可以帮助人类了解物理空间中的对象的状态以及对象之间的关系。在智能视频分析的一个应用场景中，需要根据视频中出现的人体部位识别出该部位对应的人员身份。
[0005]人体部位与人员身份的关系可以通过一些中介信息来辨别。其中，中介信息可以是与人体部位和人员的身份均存在比较明确的关联关系的对象的信息。例如，人脸信息可以作为用于标识人员的身份的生物信息。当需要确认图像中检测到的手部所属人员的身份时，可以通过与手部互为关联对象的人脸来确定。其中，关联对象，可以是指两个对象与同一个第三对象具有归属关系，或者具有相同的身份信息属性。两个人体部位互为关联对象，可以认为两个人体部位属于同一人员。
[0006]通过将图像中的人体部位关联，可以进一步帮助分析多人场景中个体的行为和状态，以及多人之间的关系。

技术实现思路

[0007]有鉴于此，本申请至少公开一种图像中关联对象的检测方法，上述方法包括：检测目标图像中的人脸对象，人手对象以及预设人体部位对象，其中，上述预设人体部位对象表征人脸与人手之间的预设连接部位；对检测出的人脸对象与预设人体部位对象，以及预设人体部位对象与人手对象分别进行关联性预测，得到人脸对象与预设人体部位对象的第一关联性预测结果，以及预设人体部位对象与人手对象的第二关联性预测结果；根据上述第一关联性预测结果以及上述第二关联性预测结果，确定上述目标图像中的关联对象。
[0008]本申请还提出一种图像中关联对象的检测装置，上述装置包括：检测模块，用于检测目标图像中的人脸对象，人手对象以及预设人体部位对象，其中，上述预设人体部位对象表征人脸与人手之间的预设连接部位；第一关联性预测模块，用于对检测出的人脸对象与预设人体部位对象，以及预设人体部位对象与人手对象分别进行关联性预测，得到人脸对象与预设人体部位对象的第一关联性预测结果，以及预设人体部位对象与人手对象的第二关联性预测结果；确定模块，用于根据上述第一关联性预测结果以及上述第二关联性预测结果，确定上述目标图像中的关联对象。
[0009]本申请还提出一种电子设备，包括：处理器；用于存储上述处理器可执行指令的存
储器；其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现如前述任一实施例示出的图像中关联对象的检测方法。
[0010]一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行如前述任一实施例示出的图像中关联对象的检测方法。
[0011]在上述方案中，通过将表征人脸与人手之间的预设连接部位的预设人体部位对象作为中介，分别预测人脸对象与该预设人体部位对象之间的关联性，以及该预设人体部位对象与人手对象之间的关联性，然后再根据人脸对象与该预设人体部位对象之间的预测结果以及该预设人体部位对象与人手对象之间的预测结果，确定检测出的人脸对象与人手对象之间的关联性，与直接预测人脸与人手关联性相比，通过引入与人脸和人手均联系紧密的上述预设人体部位对象作为中介，可以确定更准确的人脸对象与人手对象之间的关联性，并且在预测人脸与人手关联性时可以引入较少的干扰信息，提升关联性预测准确性。
[0012]应当理解的是，以上述的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0013]为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本申请示出的一种图像中关联对象的检测方法的方法流程图；
[0015]图2为本申请示出的用于检测目标图像中的人脸对象、人手对象以及预设人体部位对象的目标检测方法的一个流程示意图；
[0016]图3为本申请示出用于预测人脸对象与预设人体部位对象关联性方法的一种流程示意图；
[0017]图4为本申请示出用于预测人脸对象与预设人体部位对象关联性方法的一种流程示意图；
[0018]图5为本申请示出的一种关联对象检测方法的流程示意图；
[0019]图6为本申请示出的一种预测结果调整方法的方法流程图；
[0020]图7为本申请一个实施例的关联对象的检测方法中的神经网络的训练方法的流程图；
[0021]图8为本申请示出的一种图像中关联对象的检测装置的结构示意图；
[0022]图9为本申请示出的一种电子设备的硬件结构示意图。
具体实施方式
[0023]下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。
[0024]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在可以包括多数形式，除非上述下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0025]本申请提出了一种图像中关联对象的检测方法。该方法通过将表征人脸与人手之间的预设连接部位的预设人体部位对象作为中介，分别预测人脸对象与该预设人体部位对象之间的关联性，以及该预设人体部位对象与人手对象之间的关联性，然后再根据人脸对象与该预设人体部位对象之间的预测结果以及该预设人体部位对象与人手对象之间的预测结果，确定检测出的人脸对象与人手对象之间的关联性，与直接预测人脸与人手关联性相比，通过引入与人脸和人手均联系紧密的上述预设人体部位对象作为中介，可以确定更准确的人脸对象与预设人体部位对象之间的关联性，以及预设人体部位对象与对象之间的关联性，从而在根据预测人脸与人手关联性时可以引入较少的干扰信息，提升关联性预测准确性。
[0026]请参见图1，图1为本申请示出的一种图像中关联对象的检测方法的方法流程图。如图1所示，上述方法可以包括：
[0027]S102，检测目标图像中的人脸对象，人手对象以及预设人体部位对象，其中，上述预设人体部位对象表征本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像中关联对象的检测方法，其特征在于，所述方法包括：检测目标图像中的人脸对象，人手对象以及预设人体部位对象，其中，所述预设人体部位对象表征人脸与人手之间的预设连接部位；对检测出的人脸对象与预设人体部位对象，以及预设人体部位对象与人手对象分别进行关联性预测，得到人脸对象与预设人体部位对象的第一关联性预测结果，以及预设人体部位对象与人手对象的第二关联性预测结果；根据所述第一关联性预测结果以及所述第二关联性预测结果，确定所述目标图像中的关联对象。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对检测出的人脸对象以及人手对象进行关联性预测，得到第三关联性预测结果；所述根据所述第一关联性预测结果以及所述第二关联性预测结果，确定所述目标图像中的关联对象，包括：根据所述第一关联性预测结果以及所述第二关联性预测结果，对所述第三关联性预测结果进行调整；基于调整后的第三关联性预测结果，确定所述目标图像中的关联对象。3.根据权利要求2所述的方法，其特征在于，所述目标图像包括多个人脸对象和多个人手对象；所述对检测出的人脸对象以及人手对象进行关联性预测，得到第三关联性预测结果，包括：将检测出的各人脸对象，分别与检测出的各人手对象进行组合，得到多个第一组合；根据各第一组合内的人脸对象和人手对象的视觉特征以及位置特征，对各第一组合内的人脸对象与人手对象进行关联性预测，得到各所述第一组合内的人脸对象与人手对象之间的第三关联性预测结果。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述目标图像还包括多个预设人体部位对象；所述对检测出的人脸对象与预设人体部位对象，以及预设人体部位对象与人手对象分别进行关联性预测，得到人脸对象与预设人体部位对象的第一关联性预测结果，以及预设人体部位对象与人手对象的第二关联性预测结果，包括：将检测出的各人脸对象，分别与各预设人体部位对象进行组合，得到多个第二组合；根据各第二组合内的人脸对象与预设人体部位对象的视觉特征以及位置特征，对各第二组合内的人脸对象与预设人体部位对象进行关联性预测，得到各第二组合内的人脸对象与预设人体部位对象之间的第一关联性预测结果；将检测出的各预设人体部位对象，分别与各人手对象进行组合，得到多个第三组合；根据各第三组合内的预设人体部位对象与人手对象的视觉特征以及位置特征，对各第三组合内的预设人体部位对象与人手对象进行关联性预测，得到各第三组合内的预设人体部位对象与人手对象之间的第二关联性预测结果。5.根据权利要求2所述的方法，其特征在于，所述根据所述第一关联性预测结果以及所述第二关联性预测结果，对所述第三关联性预测结果进行调整，包括：
确定与所述预设人体部位对象之间的所述第一关联性预测结果中的第一关联性预测分数最高的目标人脸对象；确定与所述预设人体部位对象之间的所述第二关联性预测结果中的第二关联性预测分数最高的目标人手对象；基于所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数，以及所述预设人体部位对象与所述目标人手对象之间的第二关联性预测分数，对所述目标人脸对象与所述目标人手对象之间的所述第三关联性预测结果中的第三关联性预测分数进行调整。6.根据权利要求5所述的方法，其特征在于，所述确定与所述预设人体部位对象之间的所述第一关联性预测分数最高的目标人脸对象，包括：确定与所述预设人体部位对象之间的第一关联性预测分数大于预设阈值的候选人脸对象；从候选人脸对象中确定与所述预设人体部位对象之间的第一关联性预测分数最高的作为目标人脸对象；和/或,所述确定与所述预设人体部位对象之间的所述第二关联性预测分数最高的目标人手对象，包括：确定与所述预设人体部位对象之间的第二关联性预测分数大于预设阈值的候选人手对象；从候选人手对象中确定与所述预设人体部位对象之间的第二关联性预测分数最高的作为目标人手对象。7.根据权利要求5或6所述的方法，其特征在于，所述基于所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数，以及所述预设人体部位对象与所述目标人手对象之间的第二关联性预测分数，对所述目标人脸对象与所述目标人手对象之间的所述第三关联性预测结果中的第三关联性预测分数进行调整，包括：确定所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数、以及所述预设人体部...

【专利技术属性】
技术研发人员：刘春亚，张学森，王柏润，陈景焕，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：