基于人-物体交互弱监督标签的物体检测方法技术

本发明专利技术属于计算机视觉、机器人视觉领域，具体涉及一种基于人‑物体交互弱监督标签的物体检测方法，旨在解决现有的弱监督物体检测方法模型收敛速度慢、检测精度较差的问题。本发明专利技术方法包括：获取待检测的图像，作为输入图像；通过训练好的弱监督物体检测模型得到所述输入图像对应的物体检测结果；其中，弱监督物体检测模型基于深度卷积神经网络构建。本发提高了弱监督物体检测的精度。

Object detection method based on weak supervised label of human object interaction

【技术实现步骤摘要】
基于人-物体交互弱监督标签的物体检测方法
本专利技术属于计算机视觉、机器人视觉领域，具体涉及一种基于人-物体交互弱监督标签的物体检测方法、系统、装置。
技术介绍
随着移动互联网和智能终端设备的普及，网络图片数据量迅猛增长。但是，目标检测所需的物体“边界框”标签，标注成本较高、标注过程枯燥，而图片中的类别级标签较易获得，成本较低，因此，基于类别标签的弱监督目标检测技术备受关注。一方面，当前的多数弱监督目标检测方法基于多实例学习（MIL）框架设计，并将物体作为独立个体进行分析，如WSDNN模型，后续研究又进一步引入了迭代增强、上下文信息、多阶段处理等策略；然而，基于MIL框架的方法，多关注于物体的判别性部件而非物体整体，定位精度较差。另一方面，在日常生活中，物体与人交互频繁，此类数据在网络图片/视频中占比较大，且对人和物体的交互识别对行为分析、视频分割和机器人自学习都具有重要意义。更重要的是，人的检测和关键点定位技术已经较为成熟，可预先获得较为准确的先验知识，为物体定位提供一个粗糙候选区域。然而，当前的人-物体交互检测多基于强监督标本文档来自技高网...

【技术保护点】
1.一种基于人-物体交互弱监督标签的物体检测方法，其特征在于，该方法包括：/n步骤S10，获取待检测的图像，作为输入图像；/n步骤S20，通过训练好的弱监督物体检测模型得到所述输入图像对应的物体检测结果；其中，所述弱监督物体检测模型基于深度卷积神经网络构建，其训练方法为：/n步骤A10，获取训练样本图像，并提取所述训练样本图像的特征；/n步骤A20，获取所述训练样本图像中各人类行为、物体的类别标签；并通过类别激活图CAM得到各类别标签的CAM响应值；/n步骤A30，获取所述训练样本图像中的候选人区域及对应的置信度；对各候选人区域，结合其对应的置信度、各人类行为的类别标签的CAM响应值，通过预设...

【技术特征摘要】
1.一种基于人-物体交互弱监督标签的物体检测方法，其特征在于，该方法包括：
步骤S10，获取待检测的图像，作为输入图像；
步骤S20，通过训练好的弱监督物体检测模型得到所述输入图像对应的物体检测结果；其中，所述弱监督物体检测模型基于深度卷积神经网络构建，其训练方法为：
步骤A10，获取训练样本图像，并提取所述训练样本图像的特征；
步骤A20，获取所述训练样本图像中各人类行为、物体的类别标签；并通过类别激活图CAM得到各类别标签的CAM响应值；
步骤A30，获取所述训练样本图像中的候选人区域及对应的置信度；对各候选人区域，结合其对应的置信度、各人类行为的类别标签的CAM响应值，通过预设的第一方法得到其对应的综合得分；将综合得分最高的候选人区域作为第一区域；
步骤A40，利用选择性搜索算法SS算法提取所述训练样本图像的物体候选区域及对应的置信度；对各物体候选区域，基于其对应的置信度、各类别标签的CAM响应值，通过预设的第二方法得到其对应的综合得分；
步骤A50，选取SS排序前n的物体候选区域构建第一集合；对所述第一集合中各物体候选区域，通过预设的聚类方法获取其聚类后对应的样本类型，并更新其对应的置信度，作为第一置信度；n为正整数；
步骤A60，基于聚类后各类中的物体候选区域与所述第一区域的区域中心点的归一化距离、相对大小特征、IOU重合率，结合各区域的宽高比，构建多维度特征，并通过高斯函数建模获取人类行为类别对应的物体类别在物体候选区域的概率，作为第一概率；所述相对大小特征为物体候选区域与第一区域宽高积相除开平方后获取的特征；
步骤A70，按照设定数量比例采样不同样本类型的物体候选区域构建第二集合；基于所述第二集合中各物体候选区域及其对应提取的卷积层特征，通过所述深度卷积神经网络的ROI特征池化层、全连接层，获取物体类别的分类概率，并结合各第一置信度，构建该概率的损失，作为第一损失；基于所述第一损失，结合所述第一概率，构建第二损失；
步骤A80，基于所述第二集合中各物体候选区域、所述第一区域以及各区域提取的卷积层特征，通过深度卷积神经网络的ROI特征池化层、全连接层，获取行为类别的概率，并结合所述第一概率构建该行为类别的概率的损失，作为第三损失；
步骤A90，对所述第二损失、所述第三损失进行加权求和，得到综合损失；根据所述综合损失对所述弱监督物体检测模型的参数进行更新；
步骤A100，循环执行步骤A10-步骤A90，直至得到训练好的弱监督物体检测模型。


2.根据权利要求1所述的基于人-物体交互弱监督标签的物体检测方法，其特征在于，步骤A30中“对各候选人区域，结合其对应的置信度、各人类行为的类别标签的CAM响应值，通过预设的第一方法得到其对应的综合得分”，其方法为：
对各候选人区域，结合其对应的置信度、第一均值、第二均值进行加权求和，作为各候选人区域对应的综合得分；所述第一均值为候选人区域所有人类行为的类别标签的CAM响应值求均值后的值；所述第二均值为候选人区域进行设定比例的缩放后所有物体的类别标签的CAM响应值求均值后的值。


3.根据权利要求1所述的基于人-物体交互弱监督标签的物体检测方法，其特征在于，步骤A40中“对各物体候选区域，基于其对应的置信度、各类别标签的CAM响应值，通过预设的第二方法得到其对应的综合得分”，其方法为：
对各物体候选区域，结合其对应的置信度、第三均值、第四均值进行加权求和，作为各物体候选区域对应的综合得分；所述第三均值为物体候选区域所有物体的类别标签的CAM响应值求均值后的值；所述第四均值为物体候选区域进行设定比例的缩放后所有人类行为的类别标签的CAM响应值求均值后的值。


4.根据权利要求3所述的基于人-物体交互弱监督标签的物体检测方法，其特征在于，步骤A50中“通过预设的聚类方法获取其聚类后对应的样本类型，并更新其对应的置信度，作为第一置信度”，其方法为：
步骤A51，将所述第一集合中综合得分最高的物体候选区域作为聚类中心，计算当前聚类中心与其他物体候选区域的IOU得分；计算后，将IOU得分大于设定阈值的物体候选区域聚为一类，并从第一集合中删除；
步骤A52，判断所述第一集合是否为空或获取聚类后类的个数是否大于设定阈值，若是，则执行步骤A53，否则循环执行步骤A51；
步骤A53，计算聚类后的各类的聚类得分并进行降序排序；排序后，按照排序顺序依次设置各类中的物体候选区域的样本类型，并更新对应的置信度，作为第一置信度。


5.根据权利要求1所述的基于人-物体交互弱监督标签的物体检测方法，其特征在于，步骤A20中...

【专利技术属性】
技术研发人员：李寅霖，杨旭，乔红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11