数据处理方法、装置和设备以及关系类别识别方法制造方法及图纸

本申请公开了一种数据处理方法，包括：将待处理的图像输入模型的基础网络，输出人体特征热力图、物体特征热力图和有效关系点特征热力图；根据人体特征热力图和物体特征热力图，分别获得候选人体中心点坐标和候选物体中心点坐标；获得候选人体中心点坐标对应的候选人体关节点的坐标；根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值；将有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，与候选人体关节点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别。采用上述方法，以解决现有技术检测人与物关系的方案存在人、物、关系的错误匹配的问题。关系的错误匹配的问题。关系的错误匹配的问题。

【技术实现步骤摘要】
数据处理方法、装置和设备以及关系类别识别方法


[0001]本申请涉及计算机
，具体涉及一种数据处理方法、装置、电子设备及存储设备。本申请还涉及一种关系类别识别方法。

技术介绍

[0002]目前，大交通及数字政府行业所覆盖的视频分析场景丰富多样，很多场景中待识别的行为事件，无法通过目标检测与规则判断的方式进行判断，而需要对于视频内容进行更细粒度的理解，综合运用多种视频感知原子能力进行研判。例如，人车长轨迹关联分析中，能够通过行人和车辆检测与跨摄像头再识别技术，对人员和车辆的轨迹分别进行分析，但是如果要融合分析某个人和与其相关的车辆的轨迹，则只能通过轨迹的时空碰撞进行粗略分析，其精准性大打折扣，原因是有时候人员仅仅是从车辆旁边路过，并没有直接的关联。因此，如果能够在视频中正确地识别人员与特定车辆的交互关系，例如识别人员上车下车、开关后备箱、开关引擎盖、路过等现象，则能够准确地判定该人员与该车辆是否是关联的，进一步就可以利用已知的人员和车辆轨迹进行关联融合，从而实现轨迹的增广，这对于全域全时长轨迹的分析是极其重要的一环。针对上述场景中的问题，提出利用人和物之间的关系识别模型来统一判定人与车辆的关系。
[0003]人与物关系检测问题从技术路径上分为两种实现方案：一种方法是two stage(两个阶段)的，即首先基于目标检测得到人体物体的bbox(bounding box，包含物体的最小矩形框)，然后结合多个物体的高维特征信息与一些空间先验信息进行融合，得到人体与物体间的关系。这类方法需要通过穷举关系候选集再进行过滤，因此较为耗时，落地性上有一定困难；另一种方法是one stage(一个阶段)的，采用anchor free的centerpoint(中心点)检测框架进行扩展，能够同时对人体、物体、关系进行检测，并且能够并行地对有限关系候选集与人体和物体进行匹配估计，极大地提高了实时性，具备落地基础。
[0004]现有技术下，采用one stage方法检测人与物关系的方案，仅仅将CenterNet(将目标视为点)处理的目标检测问题，迁移到关系检测的问题上，将“关系点”定义为人体中心点到物体中心点的中点，将表示关系语义的bbox区域定义为人体中心点到物体中心点所构成的矩形区域，这本身是缺乏物理意义的一种定义，实际数据中即使同一种语义的关系，其人体中心点到物体中心点的中点也具有随机性，并没有明确的空间物理意义，因此采用这种方法对于关系语义特征的表示学习是存在歧义性的，进而导致人、物、关系的关联存在错误匹配的问题。
[0005]综上所述，现有技术检测人与物关系的方案存在人、物、关系的错误匹配的问题。

技术实现思路

[0006]本申请提供一种方法、装置、电子设备及存储设备，以解决现有技术检测人与物关系的方案存在人、物、关系的错误匹配的问题。
[0007]本申请提供一种数据处理方法，包括：
[0008]将待处理的图像输入关系检测模型的基础网络，输出人体特征热力图、物体特征热力图和有效关系点特征热力图；
[0009]根据所述人体特征热力图的特征信息和物体特征热力图，分别获得候选人体中心点坐标和候选物体中心点坐标；
[0010]获得候选人体中心点坐标对应的候选人体关节点的坐标；
[0011]根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值；
[0012]将所述有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，与候选人体关节点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别。
[0013]可选的，所述人体特征热力图为人体中心点热力图；
[0014]所述获得候选人体中心点坐标对应的候选人体关节点的坐标，包括：
[0015]将候选人体中心点坐标作为候选人体中心点坐标对应的候选人体关节点的坐标；
[0016]所述根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，包括：
[0017]根据有效关系点特征热力图，获得有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值；
[0018]所述将所述有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，与候选人体关节点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别，包括：
[0019]将所述有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，与候选人体中心点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别。
[0020]可选的，所述有效关系点为与物体距离最近的人体关节点；
[0021]所述根据有效关系点特征热力图，获得有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，包括：
[0022]根据有效关系点特征热力图的特征信息，获得有效关系点的坐标；
[0023]基于关系检测模型的基础网络，输出位移矢量估计特征层；
[0024]根据位移矢量估计特征层的特征信息，得到每个有效关系点到对应的人体中心点的位移矢量和有效关系点到对应的物体中心点的位移矢量；
[0025]根据有效关系点的坐标，以及所述有效关系点到对应的人体中心点的位移矢量，得到有效关系点对应的人体中心点的坐标估计值；
[0026]根据有效关系点的坐标，以及所述有效关系点到对应的物体中心点的位移矢量，得到有效关系点对应的物体中心点的坐标估计值。
[0027]可选的，所述将所述有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，与候选人体中心点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别，包括：
[0028]将所述有效关系点对应的人体中心点的坐标估计值，与候选人体中心点坐标进行匹配，得到与所述有效关系点匹配的人体；
[0029]将所述有效关系点对应的物体中心点的坐标估计值，与候选物体中心点坐标进行匹配，得到与所述有效关系点匹配的物体；
[0030]将每个有效关系点和与其匹配的人体与物体组成一个<人体、关系、物体>三元组，输出每个三元组对应的人体和物体的关系类别。
[0031]可选的，所述将所述有效关系点对应的人体中心点的坐标估计值，与候选人体中心点坐标进行匹配，得到与所述有效关系点匹配的人体，包括：
[0032]根据所述有效关系点对应的人体中心点的坐标估计值和候选人体中心点坐标，获得与有效关系点对应的人体中心点距离最近的目标候选人体中心点；
[0033]将所述目标候选人体中心点对应的人体作为与所述有效关系点匹配的人体；
[0034]所述将所述有效关系点对应的物体中心点的坐标估计值，与候选物体中心点坐标进行匹配，得到与所述有效关系点匹配的物体，包括：
[0035]根据所述有效关系点对应的物体中心点的坐标估计值和候选物体中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将待处理的图像输入关系检测模型的基础网络，输出人体特征热力图、物体特征热力图和有效关系点特征热力图；根据所述人体特征热力图的特征信息和物体特征热力图，分别获得候选人体中心点坐标和候选物体中心点坐标；获得候选人体中心点坐标对应的候选人体关节点的坐标；根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值；将所述有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，与候选人体关节点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别。2.根据权利要求1所述的方法，其特征在于，所述人体特征热力图为人体中心点热力图；所述获得候选人体中心点坐标对应的候选人体关节点的坐标，包括：将候选人体中心点坐标作为候选人体中心点坐标对应的候选人体关节点的坐标；所述根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，包括：根据有效关系点特征热力图，获得有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值；所述将所述有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，与候选人体关节点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别，包括：将所述有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，与候选人体中心点的坐标和候选物体中心点坐标分别进行匹配，确定待处理的图像中人体和物体的关系类别。3.根据权利要求2所述的方法，其特征在于，所述有效关系点为与物体距离最近的人体关节点；所述根据有效关系点特征热力图，获得有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，包括：根据有效关系点特征热力图的特征信息，获得有效关系点的坐标；基于关系检测模型的基础网络，输出位移矢量估计特征层；根据位移矢量估计特征层的特征信息，得到每个有效关系点到对应的人体中心点的位移矢量和有效关系点到对应的物体中心点的位移矢量；根据有效关系点的坐标，以及所述有效关系点到对应的人体中心点的位移矢量，得到有效关系点对应的人体中心点的坐标估计值；根据有效关系点的坐标，以及所述有效关系点到对应的物体中心点的位移矢量，得到有效关系点对应的物体中心点的坐标估计值。4.根据权利要求3所述的方法，其特征在于，所述将所述有效关系点对应的人体中心点的坐标估计值和物体中心点的坐标估计值，与候选人体中心点的坐标和候选物体中心点坐
标分别进行匹配，确定待处理的图像中人体和物体的关系类别，包括：将所述有效关系点对应的人体中心点的坐标估计值，与候选人体中心点坐标进行匹配，得到与所述有效关系点匹配的人体；将所述有效关系点对应的物体中心点的坐标估计值，与候选物体中心点坐标进行匹配，得到与所述有效关系点匹配的物体；将每个有效关系点和与其匹配的人体与物体组成一个<人体、关系、物体>三元组，输出每个三元组对应的人体和物体的关系类别。5.根据权利要求4所述的方法，其特征在于，所述将所述有效关系点对应的人体中心点的坐标估计值，与候选人体中心点坐标进行匹配，得到与所述有效关系点匹配的人体，包括：根据所述有效关系点对应的人体中心点的坐标估计值和候选人体中心点坐标，获得与有效关系点对应的人体中心点距离最近的目标候选人体中心点；将所述目标候选人体中心点对应的人体作为与所述有效关系点匹配的人体；所述将所述有效关系点对应的物体中心点的坐标估计值，与候选物体中心点坐标进行匹配，得到与所述有效关系点匹配的物体，包括：根据所述有效关系点对应的物体中心点的坐标估计值和候选物体中心点坐标，获得与有效关系点对应的物体中心点距离最近的目标候选物体中心点；将所述目标候选物体中心点对应的物体作为与所述有效关系点匹配的物体。6.根据权利要求1所述的方法，其特征在于，所述人体特征热力图为人体中心点热力图；所述获得候选人体中心点坐标对应的候选人体关节点的坐标，包括：基于关系检测模型的基础网络，输出特征层；所述特征层，为描述人体关节点在待处理的图像上的位置特征的一个张量；特征层的特征通道数为预设的人体关节点的数量；根据所述特征层的特征信息和候选人体中心点坐标，估计候选人体中心点到与所述候选人体中心点对应的候选人体关节点的位移矢量；根据候选人体中心点到与所述候选人体中心点对应的候选人体关节点的位移矢量，获得候选人体中心点坐标对应的候选人体关节点的坐标。7.根据权利要求1所述的方法，其特征在于，所述人体特征热力图为人体关节点热力图；所述人体关节点热力图的数量为预设的人体关节点的数量；所述获得候选人体中心点坐标对应的候选人体关节点的坐标，包括：根据人体关节点热力图，得到候选人体关节点的坐标；每个人体关节点热力图对应的候选人体关节点，属于不同人体的同一类型的人体关节点；根据候选人体中心点坐标和候选人体关节点的坐标，计算每个关节点类型对应的与所述候选人体中心点距离最小的候选人体关节点；将所述每个关节点类型对应的与所述候选人体中心点距离最小的候选人体关节点进行聚合，得到候选人体中心点对应的候选人体关节点；将候选人体中心点对应的候选人体关节点的坐标，作为候选人体中心点坐标对应的候选人体关节点的坐标。8.根据权利要求6或7所述的方法，其特征在于，所述有效关系点为人体中心点到物体
中心点的中点；所述根据有效关系点特征热力图，获得有效关系点对应的人体关节点的坐标估计值和物体中心点的坐标估计值，包括：根据有效关系点特征热力图的特征信息，获得有效关系点的坐标；基于关系检测模型的基础网络，输出位移矢量估计特征层；其中，特征层的特征通道数为关系类别的数量乘以预设的人体关节点的数量；根据位移矢量估计特征层的特征信息，得到每个有效关系点到对应的人体关节点的位移矢量和有效关系点到对应的物体中心点的位移矢量；根据有效关系点的坐标，以及所述有效关系点到对应的人体关节点的位移矢量，得到有效关系点对应的人体关节点...

【专利技术属性】
技术研发人员：林旸，王丹，夏亮，黄建强，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：