目标部件检测数据集的构建方法、检测方法、装置及设备制造方法及图纸

本发明专利技术公开了一种目标部件检测数据集的构建方法、检测方法、装置及设备，所述方法包括：根据预设的物体类别，从预设的公开数据集中获取第一组图像；根据所述物体类别，通过图像采集获取第二组图像；根据预设的部件拆解标准，对第一组图像和第二组图像中的每一张图像中的每一个目标物体进行部件拆解，获得拆解后的第一组图像和拆解后的第二组图像；根据拆解后的第一组图像和拆解后的第二组图像，构建初始数据集；对初始数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注，获得目标部件检测数据集。采用本发明专利技术的技术方案通过对目标物体进行部件拆解及标注，能够获得更准确的物体信息，从而在实际应用中提高机器人的抓取成功率。抓取成功率。抓取成功率。

【技术实现步骤摘要】
目标部件检测数据集的构建方法、检测方法、装置及设备


[0001]本专利技术涉及图像处理和计算机视觉
，尤其涉及一种目标部件检测数据集的构建方法、目标检测方法、装置、计算机可读存储介质及终端设备。

技术介绍

[0002]目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分，同时，目标检测也是泛身份识别领域的一个基础性的算法，对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。在进行目标检测方面的神经网络开发时，不可避免的需要用到训练数据，目前，在目标检测中使用的比较有名的数据集主要包括PASCAL VOC、MS COCO和ImageNet。
[0003]PASCAL VOC挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，该数据集可以用于图像分类、目标检测、图像分割。PASCAL VOC挑战赛的其中一项任务是Person LayoutTaster Competition，即预测人体部位(头、手、脚等)的边界框和对应的标签，用于该任务的图像，被额外的标注上了人的身体部位(头、手、脚等)。
[0004]MS COCO数据集是微软开发维护的大型图像数据集，COCO数据集是目前最常用于图像检测定位的数据集，是一个新的图像识别、分割和字幕数据集，其对于图像的标注信息不仅包括类别、位置信息，还包括对图像的语义文本描述。
[0005]ImageNet数据集是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库，由美国斯坦福的计算机科学家通过模拟人类的识别系统建立。ImageNet数据集是按照WordNet架构组织的大规模带标签图像数据集，大约包括1500万张图片，2.2万类，每张图片都经过严格的人工筛选与标记。
[0006]但是，现有的目标检测所使用的数据集，例如上述提及的各种数据集，包括了许多机器人无需操作的物体类别，并且使用水平边界框(horizontal bounding box)标注整个物体，对物体的认知比较模糊，这就使得在机器人抓取物体时难以确定抓取物体的准确位置，导致机器人抓取成功率过低。

技术实现思路

[0007]本专利技术实施例所要解决的技术问题在于，提供一种目标部件检测数据集的构建方法、目标检测方法、装置、计算机可读存储介质及终端设备，通过对目标物体进行部件拆解及标注，能够获得更准确的物体信息，从而在实际应用中提高机器人的抓取成功率。
[0008]为了解决上述技术问题，本专利技术实施例提供了一种目标部件检测数据集的构建方
法，包括：
[0009]根据预设的物体类别，从预设的公开数据集中获取第一组图像，其中，所述第一组图像中包括至少一张图像，每一张图像中包括至少一种物体类别所对应的目标物体；
[0010]根据所述物体类别，通过图像采集获取第二组图像，其中，所述第二组图像中包括至少一张图像，每一张图像中包括至少一种物体类别所对应的目标物体；
[0011]根据预设的部件拆解标准，对所述第一组图像和所述第二组图像中的每一张图像中的每一个目标物体进行部件拆解，获得拆解后的第一组图像和拆解后的第二组图像；
[0012]根据所述拆解后的第一组图像和所述拆解后的第二组图像，构建初始数据集；
[0013]对所述初始数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注，获得目标部件检测数据集。
[0014]进一步地，所述方法通过以下步骤对第i个目标物体的第j个拆解部件进行子类标注：
[0015]基于所述第i个目标物体所在的目标图像生成所述第j个拆解部件所对应的矩形边界框；
[0016]根据所述第j个拆解部件在所述目标图像中的位置，对所述矩形边界框进行调整，获得所述第j个拆解部件所对应的旋转边界框，其中，在基于所述目标图像建立的图像坐标系中，所述旋转边界框表示为(x，y，w，h，θ)，(x，y)表示所述旋转边界框的中心点坐标，(w，h)表示所述旋转边界框的宽度和高度，θ表示所述旋转边界框相对于X轴的旋转角度，0≤θ＜π。
[0017]进一步地，所述根据所述物体类别，通过图像采集获取第二组图像，具体包括：
[0018]获取每一种物体类别在所述第一组图像中对应的图像数量；
[0019]针对图像数量小于预设的数量阈值的物体类别，通过图像采集获取第二组图像。
[0020]进一步地，所述对所述初始数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注，获得目标部件检测数据集，具体包括：
[0021]将所述初始数据集划分为第一数据集和第二数据集，并对所述第一数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注；
[0022]将标注后的第一数据集划分为训练集和测试集，并根据所述训练集对预设的网络模型进行训练，根据所述测试集对训练后的网络模型进行优化；
[0023]根据优化后的网络模型对所述第二数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注；
[0024]根据标注后的第一数据集和标注后的第二数据集，获得所述目标部件检测数据集。
[0025]进一步地，在所述根据优化后的网络模型对所述第二数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注之后，所述方法还包括：
[0026]对所述第二数据集中的每一张图像的标注结果进行检验，并对标注缺陷的图像进行校正；
[0027]则，所述根据标注后的第一数据集和标注后的第二数据集，获得所述目标部件检测数据集，具体为：
[0028]根据标注后的第一数据集和检验校正后的第二数据集，获得所述目标部件检测数
据集。
[0029]为了解决上述技术问题，本专利技术实施例还提供了一种目标检测方法，包括：
[0030]根据预设的目标部件检测数据集对预设的目标部件检测模型进行训练，其中，所述目标部件检测数据集采用上述任一项所述的目标部件检测数据集的构建方法获得，所述目标检测模型为上述实施例所述的优化后的网络模型；
[0031]根据训练好的目标检测模型对待检测图像进行目标检测，获得目标物体的部件检测结果。
[0032]为了解决上述技术问题，本专利技术实施例还提供了一种目标部件检测数据集的构建装置，用于实现上述任一项所述的目标部件检测数据集的构建方法，所述装置包括：
[0033]第一组图像获取模块，用于根据预设的物体类别，从预设的公开数据集中获取第一组图像，其中，所述第一组图像中包括至少一张图像，每一张图像中包括至少一种物体类别所对应的目标物体；
[0034]第二组图像获取模块，用于根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标部件检测数据集的构建方法，其特征在于，包括：根据预设的物体类别，从预设的公开数据集中获取第一组图像，其中，所述第一组图像中包括至少一张图像，每一张图像中包括至少一种物体类别所对应的目标物体；根据所述物体类别，通过图像采集获取第二组图像，其中，所述第二组图像中包括至少一张图像，每一张图像中包括至少一种物体类别所对应的目标物体；根据预设的部件拆解标准，对所述第一组图像和所述第二组图像中的每一张图像中的每一个目标物体进行部件拆解，获得拆解后的第一组图像和拆解后的第二组图像；根据所述拆解后的第一组图像和所述拆解后的第二组图像，构建初始数据集；对所述初始数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注，获得目标部件检测数据集。2.如权利要求1所述的目标部件检测数据集的构建方法，其特征在于，所述方法通过以下步骤对第i个目标物体的第j个拆解部件进行子类标注：基于所述第i个目标物体所在的目标图像生成所述第j个拆解部件所对应的矩形边界框；根据所述第j个拆解部件在所述目标图像中的位置，对所述矩形边界框进行调整，获得所述第j个拆解部件所对应的旋转边界框，其中，在基于所述目标图像建立的图像坐标系中，所述旋转边界框表示为(x，y，w，h，θ)，(x，y)表示所述旋转边界框的中心点坐标，(w，h)表示所述旋转边界框的宽度和高度，θ表示所述旋转边界框相对于X轴的旋转角度，0≤θ＜π。3.如权利要求1所述的目标部件检测数据集的构建方法，其特征在于，所述根据所述物体类别，通过图像采集获取第二组图像，具体包括：获取每一种物体类别在所述第一组图像中对应的图像数量；针对图像数量小于预设的数量阈值的物体类别，通过图像采集获取第二组图像。4.如权利要求1所述的目标部件检测数据集的构建方法，其特征在于，所述对所述初始数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注，获得目标部件检测数据集，具体包括：将所述初始数据集划分为第一数据集和第二数据集，并对所述第一数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注；将标注后的第一数据集划分为训练集和测试集，并根据所述训练集对预设的网络模型进行训练，根据所述测试集对训练后的网络模型进行优化；根据优化后的网络模型对所述第二数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注；根据标注后的第一数据集和标注后的第二数据集，获得所述目标部件检测数据集。5.如权利要求4所述的目标部件检测数据集的构建方法，其特征在于，在所述根据优化后的网络模型对所述第二数据集中的每一张图像中的每一个目标物体的拆解部件进行子类标注之后，所述方法还包括：对所述第二数据集中的每一张图像的标注结果进行检验，并对标注缺陷的图像进行校正；...

【专利技术属性】
技术研发人员：石光明，白洁，李旭阳，饶承炜，谢雪梅，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：