通过人和物的联合检测和跟踪进行活动检测制造技术

计算设备包括通信接口、存储器和处理电路。所述处理电路耦合至所述通信接口和所述存储器，并用于执行操作指令以执行各种功能。所述计算设备用于：以帧为单位基于联合人‑物交互活动(human‑object interactive activity，简称HOIA)处理视频分段的视频帧；以基于多个候选人‑物交互(human‑object interactive，简称HOI)对生成每帧成对HOI特征。所述计算设备还用于：处理所述每帧成对HOI特征，以识别所述多个候选HOI对中的有效HOI对；在所述视频分段的后续帧中跟踪所述有效HOI对，以生成待用于活动检测的所述有效HOI对的上下文时空特征。

【技术实现步骤摘要】
【国外来华专利技术】通过人和物的联合检测和跟踪进行活动检测相关申请案交叉申请本申请要求于2017年12月7日递交的专利技术名称为“通过人和物的联合检测和跟踪进行活动检测”的第15/835,195号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引用的方式并入本文。
本专利技术大体上涉及视频和/或图像处理，更具体地，涉及根据视频和/或图像处理来检测和跟踪人体和物体元素。
技术介绍
现有技术包括各种用于进行视频和/或图像处理的方法。通常，在现有技术方法中，活动检测是基于对图像和/或视频内容的全部帧进行处理，将其中，进行的传统人类活动分类为活动类别。例如，基于图像帧内的特征，将视频的图像帧(例如，视频帧序列)分类为不同的动作类别。现有技术方法通常基于单独的人类活动，尤其是基于人在图像帧内的位置来工作。这种现有技术处理基于整个图像帧，并基于某种类型的分类器来处理整个图像帧，所述分类器包括对整个帧进行直接分析。就处理资源消耗而言，这种现有技术处理可以是非常密集和繁重的。现有技术中，视频和/或图像处理方式仍有很大的改进空间。...

【技术保护点】
1.一种计算设备，其特征在于，包括：/n通信接口，用于与通信网络进行连接和通信；/n存储器，存储操作指令；/n处理电路，耦合至所述通信接口和所述存储器，其中，所述处理电路用于执行所述操作指令以：/n以帧为单位基于联合人-物交互活动HOIA处理视频分段的视频帧，以基于多个候选人-物交互HOI对生成每帧成对HOI特征；/n处理所述每帧成对HOI特征，以识别所述多个候选HOI对中的有效HOI对；/n在所述视频分段的后续帧中跟踪所述有效HOI对，以生成待用于活动检测的所述有效HOI对的上下文时空特征。/n

【技术特征摘要】
【国外来华专利技术】20171207 US 15/835,1951.一种计算设备，其特征在于，包括：
通信接口，用于与通信网络进行连接和通信；
存储器，存储操作指令；
处理电路，耦合至所述通信接口和所述存储器，其中，所述处理电路用于执行所述操作指令以：
以帧为单位基于联合人-物交互活动HOIA处理视频分段的视频帧，以基于多个候选人-物交互HOI对生成每帧成对HOI特征；
处理所述每帧成对HOI特征，以识别所述多个候选HOI对中的有效HOI对；
在所述视频分段的后续帧中跟踪所述有效HOI对，以生成待用于活动检测的所述有效HOI对的上下文时空特征。


2.根据权利要求1所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
对所述视频帧进行每帧人体检测处理，以通过所述通信网络根据人体检测并基于预先训练的人体检测网络识别检测到的人体区域；
对所述视频帧进行每帧物体检测处理，以通过所述通信网络根据物体检测并基于预先训练的物体检测网络识别检测到的物体区域。


3.根据权利要求1至2中任一项所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
处理所述视频帧内的所述检测到的人体区域和所述检测到的物体区域，以生成多个候选人-物区域对；
基于与所述检测到的人体区域相关联的人体区域边界框和人体特征向量以及与所述检测到的物体区域相关联的物体区域边界框和物体特征向量，为所述多个候选人-物区域对中的候选人-物区域对生成所述每帧成对HOI特征。


4.根据权利要求1至3中任一项所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
处理所述视频帧内的所述检测到的人体区域和所述检测到的物体区域，以生成多个候选人-物区域对；
基于组合的人-物位置特征向量和组合的人-物特征向量，为所述多个候选人-物区域对中的候选人-物区域对生成所述每帧成对HOI特征，其中，所述组合的人-物位置特征向量基于人体区域边界框和物体区域边界框，所述组合的人-物特征向量基于与所述检测到的人体区域相关联的人体特征向量和与所述检测到的物体区域相关联的物体特征向量。


5.根据权利要求1至4中任一项所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
执行边界框回归和分类处理，以通过所述通信网络基于预先训练的上下文人-物回归和分类网络在所述视频分段的所述后续帧中跟踪所述有效HOI对，并针对所述有效HOI对，输出与所述有效HOI对以及所述上下文时空特征相关联的跟踪人体区域边界框和跟踪物体区域边界框。


6.根据权利要求1至5中任一项所述的计算设备，其特征在于：
所述多个候选HOI对中的第一HOI对基于所述视频分段的所述后续帧中多域网络的第一上下文特定的全连接层组；
所述多个候选HOI对中的第二HOI对基于所述视频分段的所述后续帧中所述多域网络的第二上下文特定的全连接层组。


7.根据权利要求1至6任中一项所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
以帧为单位基于人体检测处理所述视频分段的所述视频帧，以生成人体区域；
在所述视频分段的后续帧中跟踪所述人体区域，以生成待用于活动检测的所述人体区域的另一上下文时空特征。


8.根据权利要求1至7中任一项所述的计算设备，其特征在于，所述处理电路还用于执行所述操作指令以：
处理所述视频帧，以通过所述通信网络根据人体检测并基于预先训练的人体检测网络识别检测到的人体区域；
处理所述视频帧，以通过所述通信网络根据物体检测并基于预先训练的物体检测网络识别检测到的物体区域，其中，所述多个候选HOI对中的HOI对基于所述视频分段的所述后续帧中多域网络的唯一上下文特定的全连接层组。


9.根据权利要求1至8中任一项所述的计算设备，其特征在于，还包括：
家庭服务机器人、长期安全监控设备或生活推荐设备。


10.一种存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述计算机指令由一个或多个处理电路执行时，使所述一个或多个处理电路执行以下步骤：
以帧为单位基于联合人-物交互活动HOIA处理视频分段的视频帧，以基于多个候选人-物交互HOI对生成每帧成对HOI特征；
处理所述每帧成对HOI特征，以识别所述多个候选HOI对中的有效HOI对；
在所述视频分段的后续帧中跟踪所述有效HOI对，以生成待...

【专利技术属性】
技术研发人员：蒋伟，林登·斯科特·肯尼迪，王炜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44