基于小样本学习和虚拟合成数据的工业零件目标检测方法技术

本发明专利技术公开一种基于小样本学习和虚拟合成数据的工业零件目标检测方法，先通过虚拟仿真软件制作与真实零件具有相似几何形状的零件合成数据集，同时输出对应图像的标注信息，整个数据采集过程自动化执行无需繁杂的人工操作。对采集的合成数据进行数据预处理，将其图像格式和标注信息转为训练目标检测网络需要的格式，接着在这些合成数据上训练基于小样本学习的目标检测网络，使网络获得在合成数据上检测的能力。采集真实工业场景下的图像，对这些图像进行人工标注，标注完成后对目标检测网络进行二次训练，微调网络的参数，最终训练的网络实时检测输出当前场景图像中零件的类别和位置。别和位置。别和位置。

【技术实现步骤摘要】
基于小样本学习和虚拟合成数据的工业零件目标检测方法


[0001]本专利技术涉及一种基于小样本学习和虚拟合成数据的工业零件目标检测方法，属于计算机视觉、目标检测、虚拟合成数据、智能机器人等


技术介绍

[0002]以自动化技术和人工智能系统为驱动的机器人工厂旨在解决日常生产中重复、费力的任务。为了使机器人能够像人一样准确的进行生产活动，机器人需要使用机械臂在工业环境下自主抓取物体。虽然在利用深度学习进行机器人抓取方面取得了重大进展，但在实际应用中，训练一个深度神经网络需要大规模带有人工标注的数据集，获取涵盖各种工业场景和零件排列情况的高质量RGB数据集是一项非常耗时耗力的任务。因此，对于工业场景的目标检测任务，需要构建一个不需要过多人工标注工作的检测方法。
[0003]针对工业场景数据采集的问题，根据训练数据种类的不同，可以分为两类方法：基于虚拟合成数据的方法，基于小样本学习的方法。
[0004]基于虚拟合成数据的方法：现有的虚拟合成数据生成方法主要应用于场景、行人和车辆的识别研究，这些研究涵盖了图像的分类、语义分割和目标检测等。合成数据通过虚拟软件得到，在虚拟的三维环境中利用图形引擎快速地合成与标注数据。在机器人研究中，参考文献[1]使用各种模拟器的虚拟环境对机器人识别系统进行训练，这些虚拟环境重点是对目标物体的物理特性进行模拟。近期游戏引擎的发展使得其既可以实现物理引擎的仿真，也可以实时渲染出真实度很高的图像，计算机视觉研究者也开始使用游戏引擎开展相关研究。在参考文献[2]提出了使用虚拟环境训练行人检测的分类器，然后将训练好的行人分类器用于真实图像的行人检测任务，使用域适应算法将虚拟数据集向真实数据集进行迁移。参考文献[3]提出了SYNTHIA虚拟数据集来完成语义分割任务，SYNTHIA实现了对一个大规模虚拟城市场景的渲染，提供11个自动驾驶场景下常用类别物体的像素级标注。参考文献[4]提出了使用Unity等最新的图形技术引擎制作合成数据集，达到虚拟数据拟合到真实数据的目的。该引擎可以为不同的计算机视觉任务提供数据，包括光流、实例语义分割、目标检测和跟踪及视觉里程计等。
[0005]基于小样本学习的方法：小样本学习是指用于训练神经网络的数据仅使用几个带有注释的训练示例。参考文献[5]使用贝叶斯推理从预训练模型中泛化知识以执行一次性学习。参考文献[6]的LSTD和参考文献[7]的RepMet采用了一种通用的迁移学习框架，通过将预训练的检测器适应于小样本场景来减少过拟合。参考文献[8]的Meta YOLO使用参考文献[9]的YOLO v2设计了一种新颖的小样本检测模型，该模型学习可泛化的元特征，并通过从支持示例中生成特定于类的激活系数来自动重新加权新类的特征。参考文献[10]的TFA通过在第二阶段对分类器微调，可以简单地执行两阶段微调方法，并获得更好的性能。参考文献[11]的CoAE提出了非局部RPN，并通过将自身与其他跟踪方法进行比较，从跟踪的角度关注单次检测。
[0006]经过对现有技术的研究可知，基于虚拟合成数据的方法在渲染的画面上真实度很
低，对于计算机视觉任务来说不适用。虽然游戏引擎能够实时渲染出真实度很高的图像，但虚拟环境的真实度与场景复杂度较低，直接使用虚拟数据集训练的网络在真实数据集中的表现较差，当数据集的规模不断增大时，采集到的图像会产生较大相似性，使得最终的数据集在训练具有深层网络结构的模型时产生过拟合。另外使用虚拟软件合成场景需要对仿真的物体进行精确的建模处理，虽然能够获得较多合成数据，但前期建模搭建仿真环境花费的时间太多。基于小样本学习的方法不依赖大规模的数据集，仅制作几张带有注释的示例用于训练网络。训练数据稀少时，网络往往会由于这些少量数据的有偏分布而出现过拟合现象，拟合到真实场景下进行测试时，效果往往会很差。现有的基于小样本学习的目标检测方法用于实际生活中预测精度太低，达不到工业场景下的任务要求。

技术实现思路

[0007]专利技术目的：随着人工智能技术的快速发展，机器人已被用于工业生产中以处理重复、单调的工作。机器人每次应用于一个新的场景需要重新对其目标检测网络进行训练，人为采集训练数据通常不能涵盖多种零件的排列情况，并且人工标注工作也非常耗时耗力。本专利技术是这类操作的前提和基础，通过在虚拟软件中建立真实工业场景的数字孪生，使用与真实零件几何形状相似的模型进行合成数据采集并自动输出标注信息。先使用小样本目标检测网络在采集的合成数据上进行第一次训练，接着采集几张真实场景下的数据做好标注，仅在这几个示例上进行二次训练微调网络参数，最终使用训练好的目标检测网络帮助智能机器人完成识别、抓取、避障等操作。
[0008]为了解决工业场景零件目标检测数据获取困难的问题，本专利技术提出了一种基于小样本学习和虚拟合成数据结合的目标检测方法，仅使用几张带有标注信息的真实场景图像示例训练网络，自动化完成数据采集和标注工作，避免大量的人工操作，最终网络能够实时检测工业场景中零件的位置和类别信息。
[0009]技术方案：一种基于小样本学习和虚拟合成数据的工业零件目标检测方法，先通过虚拟仿真软件制作与真实零件具有相似几何形状的零件合成数据集，通过虚拟仿真软件生成合成数据集，数据集中包含图像数据和每张图像数据所对应的标注信息(深度信息、2D包围框信息、实例分割信息等)，整个数据采集过程自动化执行无需繁杂的人工操作。对采集的合成数据集进行数据预处理，将合成数据的图像格式和标注信息转为训练目标检测网络需要的格式，接着对合成数据进行进一步的处理，通过人为设定遮挡率，筛选出小于该遮挡率的标注信息，最后在在这些处理完的合成数据上训练基于小样本学习的目标检测网络，使网络获得在合成数据上检测的能力。采集真实工业场景下几张包含零件的零件框图像，对这些真实工业场景的图像进行人工标注，标注完成后对小样本目标检测网络进行二次训练，微调网络的参数，最终用训练的网络实时检测输出当前工业场景所采集的图像中零件的类别和位置。
[0010]本专利技术使用虚拟仿真软件生成合成数据集，其原理是利用计算机图形学和虚拟仿真来进行渲染与标注工作，使用仿真场景与虚拟相机代替真实场景和相机。该方法基于Nvidia Omniverse Isaac Sim软件实现，通过RTX进行实时光线和路径追踪，从而提供逼真的场景图像。使用Isaac Sim平台中自带的简单模型模拟与真实零件几何相似的模型来生成合成数据，对这些合成数据集进行预处理后，使其更加接近真实数据的颜色和排列分布
情况。让目标检测网络在合成数据上先进行训练获得提取待检测零件相似几何特征的能力，接着再使用少量带标注信息的真实场景数据进行二次训练，该方法通过迁移学习的方式大大提升了模型的检测精度，仅使用少量真实样本数据就可以达到工业场景下的任务要求。
[0011]通过虚拟仿真软件生成合成数据集，在虚拟环境下如何进行模型的搭建，本专利技术生成合成数据集的方法基于UI界面和程序化自动实现，生成过程可分为静态生成和动态生成两部分。具体虚拟合成数据方法过程为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小样本学习和虚拟合成数据的工业零件目标检测方法，其特征在于，先通过虚拟仿真软件生成合成数据集，数据集中包含图像数据和每张图像数据所对应的标注信息；对合成数据集先进行数据预处理，将合成数据的图像格式和标注信息转为训练小样本目标检测网络需要的格式，接着对合成数据进行进一步的处理，通过人为设定遮挡率，筛选出小于该遮挡率的标注信息，最后在这些处理完的合成数据上训练基于小样本学习的目标检测网络；采集真实工业场景下包含零件的零件框图像，对这些真实工业场景的图像进行标注，标注完成后对小样本目标检测网络进行二次训练，最终用训练的网络实时检测输出当前场景所采集的图像中零件的类别和位置。2. 根据权利要求1所述的基于小样本学习和虚拟合成数据的工业零件目标检测方法，其特征在于，所述虚拟仿真软件生成合成数据集，是使用仿真场景与虚拟相机代替真实场景和相机；基于Nvidia Omniverse Isaac Sim软件实现，通过 RTX 进行实时光线和路径追踪，从而提供场景图像；使用Isaac Sim平台中自带的模型模拟与真实零件几何相似的模型来生成合成数据。3. 根据权利要求1所述的基于小样本学习和虚拟合成数据的工业零件目标检测方法，其特征在于，通过虚拟仿真软件生成合成数据集，在虚拟环境下如何进行模型的搭建，包括生成相机和送料箱及其内部零件；在生成虚拟送料箱之前需要定义用来表示送料箱的结构；送料箱有五个表面，每个面使用Isaac Sim自带的Cube模型渲染合成得到；使用Isaac Sim中提供的示例环境，将仿真好的送料箱加载到虚拟场景中，整个虚拟环境使用模拟光源真实还原室内光照情况；接着进行动态场景生成，选取与工业场景零件几何形状相似的物体，使用Isaac Sim中自带的Circle模型通过微调参数信息，模拟零件的形状几何特征，并对该零件模型添加碰撞、重力、摩擦、光泽信息使其在虚拟环境中具有真实环境下的物理属性；对该零件模型进行批量复制，复制后的目标对象共享参数；使用域随机化方法对复制的零件模型每次生成的位置进行有限制的随机赋值；对随机生成的位置（x,y,z,w）进行区域限定，限制零件模型只出现在送料箱的范围内，由于物理引擎的支撑，不同的高度可以使每次生成的模型自由落下，下落过程中能够仿真出真实下落过程中出现的碰撞、遮挡现象，重复多次后进而增加了虚拟环境的多样性。4.根据权利要求1所述的基于小样本学习和虚拟合成数据的工业零件目标检测方法，其特征在于，对生成的合成数据信息进行预处理，首先，将先前合成数据集中图像数据转为所需格式；接着对合成数据集中的标注信息进行筛选和格式转换，仅将2D包围框这一种标注信息单独提取出来，并保存为xml格式的标注文件。5.根据权利要求4所述的基于小样本学习和虚拟合成数据的工业零件目标检测方法，其特征在于，首先，使用标注信息中的2D包围框和实例分割信息进行遮挡关系判断，遮挡情况发生时，一定会存在遮挡物体和被遮挡物体，当实例分割标注信息中两个相邻像素的标注不相同时，表明当前这...

【专利技术属性】
技术研发人员：陆慧敏，陈修，李玉洁，蔡金彤，
申请(专利权)人：江苏共知自动化科技有限公司，
类型：发明
国别省市：