检测装置和方法及图像处理装置和系统制造方法及图纸

本发明专利技术公开了一种检测装置和方法及图像处理装置和系统。所述检测装置包括：从图像中提取特征的单元；基于所提取的特征检测图像中的人的单元；基于所提取的特征检测在所检测到的人的周围区域中的物体的单元；以及，基于所提取的特征、所检测到的人和所检测到的物体确定图像中的人‑物交互信息。根据本发明专利技术，可提高从视频/图像中检测出人、物体和人‑物交互关系的检测速度和检测精度，从而可更好地满足向需要帮助的人提供帮助的及时性和准确性。

【技术实现步骤摘要】
检测装置和方法及图像处理装置和系统
本专利技术涉及图像处理，尤其涉及例如图像中人-物交互的检测。
技术介绍
在监控场景中，为了能够向需要帮助的人及时地提供帮助，能够从图像/视频中快速及时地检测出人与物的交互关系(也即，人-物交互关系)是一项关键任务，其中人-物交互关系例如包括人手拄拐杖、人坐在轮椅上、人推着婴儿车等。例如，在人-物交互关系是人坐在轮椅上或人手拄拐杖等的情况下，该人通常是需要被帮助的人。为了从视频/图像中检测出人-物交互关系，非专利文献“DetectingandRecognizingHuman-ObjectInteractions”(GeorgiaGkioxariRossGirshickPiotrDoll′arKaimingHe,FacebookAIResearch,CVPR2018)中公开了一种检测和识别人-物交互关系的示例性技术。其中，该示例性技术主要是：先通过一个神经网络从图像中提取特征以检测出图像中的所有可能的人和物体的候选区域；然后，通过另一个神经网络从检测出的候选区域中再次提取特征，并基于再次提取的特征通过该神经网络中的物体检测分支、人检测分支和人-物交互关系检测分支分别从候选区域中检测出人、物体和人-物交互关系。如上所述，可知在从视频/图像中检测出人-物交互关系的过程中，上述的示例性技术需要通过两个独立的阶段来实现相应的检测。其中一个阶段的操作是从图像中同时地检测出所有的人的候选区域和所有的物体的候选区域，另一个阶段的操作是从所有的候选区域中检测出人、物体和人-物交互关系。由于两个阶段的操作需要进行两次的网络计算，尤其是需要进行两次的特征提取(例如，提取用于检测人和物体的候选区域的特征以及提取用于检测人、物体和人-物交互关系的特征)，从而使得整个的检测处理需要耗费更多的处理时间，也即影响从视频/图像中检测出人、物体和人-物交互关系的检测速度，进而影响向需要帮助的人提供帮助的及时性。
技术实现思路
鉴于上面的
技术介绍
中的记载，本专利技术旨在解决上述问题中的至少一点。根据本专利技术的一个方面，提供一种检测装置，所述检测装置包括：特征提取单元，从图像中提取特征；人检测单元，基于所述特征检测所述图像中的人；物体检测单元，基于所述特征检测在所检测到的人的周围区域中的物体；以及交互确定单元，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息(也即，人-物交互关系)。根据本专利技术的另一个方面，提供一种检测方法，所述检测方法包括：特征提取步骤，从图像中提取特征；人检测步骤，基于所述特征检测所述图像中的人；物体检测步骤，基于所述特征检测在所检测到的人的周围区域的物体；以及交互确定步骤，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息(也即，人-物交互关系)。其中，在本专利技术中，基于待检测的物体的类型来确定所检测到的人的至少一个部件；其中，所述周围区域是所确定的至少一个部件的周围的区域。其中，在本专利技术中，通过确定所检测到的人的人体姿态来确定所述周围区域。根据本专利技术的再一方面，提供一种图像处理装置，所述图像处理装置包括：获取设备，用于获取图像或视频；存储设备，存储有指令；以及处理器，基于所获得的图像或视频执行所述指令，使得所述处理器至少实现如上所述的检测方法。根据本专利技术的又一方面，提供一种图像处理系统，所述图像处理系统包括：获取设备，用于获取图像或视频；如上所述的检测装置，从所获取的图像或视频中检测人、物体和人-物交互信息；以及处理装置，基于所检测的人-物交互信息，执行后续的图像处理操作；其中，所述获取装置、所述检测装置和所述处理装置经由网络相互连接。一方面，由于本专利技术通过从图像中获取各操作都能使用的共享特征，因此使得本专利技术能以一阶段式的处理来实现人、物体和人-物交互关系的检测，从而可减少整个的检测处理的处理时间。另一方面，由于本专利技术仅需先检测出图像中的人，之后再基于所检测到的人的信息来确定需要从中检测物体的区域，因此使得本专利技术可缩小物体检测的范围，从而可改善整个的检测处理的检测精度并可进一步地减少整个的检测处理的处理时间。因此，根据本专利技术，可提高从视频/图像中检测出人、物体和人-物交互关系的检测速度和检测精度，从而可更好地满足向需要帮助的人提供帮助的及时性和准确性。通过以下参考附图对典型实施例的说明，本专利技术的其它特征和优点将变得明显。附图说明并入说明书中并构成说明书的一部分的附图例示本专利技术的实施例，并且与实施例的描述一起用于解释本专利技术的原理。图1是示意性地示出可实现根据本专利技术实施例的技术的硬件构造的框图。图2是例示根据本专利技术实施例的检测装置的构造的框图。图3示意性示出可用于本专利技术实施例的预先生成的神经网络的示意性结构。图4示意性地示出根据本专利技术实施例的检测方法的一种流程图。图5示意性地示出根据本专利技术实施例的如图4中所示的物体检测步骤S430的一种流程图。图6A～6E示意性地示出了一种根据本专利技术确定用于检测物体的区域的示例。图7A～7C示意性地示出了另一种根据本专利技术确定用于检测物体的区域的示例。图8示意性地示出一种用于预先生成可用于本专利技术实施例的神经网络的生成方法的流程图。图9示出根据本专利技术的一种示例性图像处理装置的布置。图10示出根据本专利技术的一种示例性图像处理系统的布置。具体实施方式下面将参照附图详细地描述本专利技术的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本专利技术及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本专利技术的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。在检测人-物交互关系的过程中，通常需要关注的是位于人的周围的物体，尤其是位于人的某些部件(例如，手、下半身等)的周围的物体。换句话说，在检测人-物交互关系的过程中，人与物体的检测是互相关联而非互相独立的。因此，专利技术人认为，一方面，可通过先从图像中检测出人，之后再基于所检测到的人的信息(例如，位置、姿势等信息)来从图像中检测出关联的物体，并基于所检测到的人和物体来确定人-物交互关系。另一方面，由于人、物体和人-物交互关系的检测是相互关联的，因此可通过从整张图像中提取特征(可被视为，共享特征)并将其同时地用于人的检测、物体的检测和人-物交互关系的检测的过程中。从而，使得本专利技术能以一阶段式的处理来实现人、物体和人-物交互关系的检测。因此，根据本专利技术，可减少整个的检测处理的处理时间并可改善整个的检测处理的检测精度。从而，根据本专利技术，可提高从视频/图像中检测出人、物体和人-物交互关系的检测速度和检测精度，进而可更好地满足向需要帮助的人提供帮助的及时性和准确性本文档来自技高网...

【技术保护点】
1.一种检测装置，其特征在于，所述检测装置包括：/n特征提取单元，从图像中提取特征；/n人检测单元，基于所述特征检测所述图像中的人；/n物体检测单元，基于所述特征检测在所检测到的人的周围区域中的物体；以及/n交互确定单元，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息。/n

【技术特征摘要】
1.一种检测装置，其特征在于，所述检测装置包括：
特征提取单元，从图像中提取特征；
人检测单元，基于所述特征检测所述图像中的人；
物体检测单元，基于所述特征检测在所检测到的人的周围区域中的物体；以及
交互确定单元，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息。


2.根据权利要求1所述的检测装置，其中，所述人检测单元和所述物体检测单元所执行的检测操作是检测人和物体的区域或检测人和物体的关键点。


3.根据权利要求2所述的检测装置，其中，基于待检测的物体的类别来确定所检测到的人的至少一个部件；其中，所述周围区域是所确定的至少一个部件的周围的区域。


4.根据权利要求3所述的检测装置，其中，所确定的至少一个部件为所检测到的人的下半身。


5.根据权利要求3所述的检测装置，其中，通过确定所检测到的人的人体姿态来确定所述周围区域。


6.根据权利要求3所述的检测装置，其中，在所检测的是人的关键点的情况下，所述周围区域是所述人的关键点中的至少一个的周围的区域。


7.根据权利要求1所述的检测装置，其中，所述特征提取单元、所述人检测单元、所述物体检测单元和所述交互确定单元利用预先生成的神经网络执行相应的操作。


8.一种检测方法，其特征在于，所述检测方法包括：
特征提取步骤，从图像中提取特征；
人检测步骤，基于所述特征检测所述图像中的人；
物体检测步骤，基于所述特征...

【专利技术属性】
技术研发人员：黄耀海，纪新，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP