一种面向物料安装的分类数据集构建方法及装置制造方法及图纸

本申请实施例提供了一种面向物料安装的分类数据集构建方法及装置，通过对物料安装过程视频流图像的边缘特征识别，将原视频切割为物料安装操作状态和未操作状态两个分类属性的视频块；再对未操作状态属性的视频块基于RGB颜色直方图与标准图像的RGB颜色直方图相似度的计算后，通过比对类别而进一步切割，获取物料已安装属性的视频块和物料未安装的视频块；再将各切割后的视频块内对应的视频帧全部标记为所属视频块的属性，生成物料安装的分类数据集。本申请实现了基于机器视觉的视频帧批量标注，大幅节约了构建物料安装的分类数据集以往需要的人工标注操作，在节约人力资源和时间成本的同时，保证了数据标注的稳定性和数据集的精准度。据集的精准度。据集的精准度。

【技术实现步骤摘要】
一种面向物料安装的分类数据集构建方法及装置


[0001]本申请实施例涉及物料检测领域，特别是涉及一种面向物料安装的分类数据集方法、装置及电子设备。

技术介绍

[0002]在工业流水线物料安装场景中，往往会对安装过程进行全程的视频监控，以保证物料处于正常的安装状态。在传统的工业模式中，识别物料是否处于正确的安装进程只能通过工作人员查看视频监控来判断，耗费了时间和人力资源。
[0003]随着机器视觉领域的迅速发展，通过图像分类方法来进行物料安装状态的识别的方式逐渐崭露头角。这种通过识别安装过程中每一帧图像的特征，来进行物料安装状态的识别，取代了基于工作人员经验的肉眼识别，在节约人工和时间成本的同时也使得识别精度有了提升。
[0004]然而，在应用机器视觉进行图像识别并分类的方法中，必不可少的步骤就是进行训练集与测试集的构建。数据集的构建决定了物料安装安装状态识别的准确率，具有举足轻重的意义。若应用现有的数据集构建方法，则是通过对视频进行采帧操作，再对采集到的每一视频帧进行标注，这样极大得的增加了数据标注的压力。同时，如此大量的视频帧标注工作依然要依托于人工标注，不但其准确率无法保证，还极大的削弱了应用机器视觉进行物料安装识别以节约人力和时间成本的意义。

技术实现思路

[0005]本专利技术提供了一种面向物料安装的分类数据集构建方法、装置及电子设备，通过特征识别对物料安装视频进行切割并对切割后的视频进行统一属性的标注，为搭建分类数据集节约了人工和时间成本，同时提高了数据集的准确率。
[0006]第一方面，本专利技术提供了一种面向物料安装的分类数据集构建方法，包括如下步骤：
[0007]获取物料安装过程视频；
[0008]根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；
[0009]将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；
[0010]获取全部标注后的所述视频帧，生成所述分类数据集。
[0011]进一步地，所述获取第二视频块后，还包括如下方法步骤：
[0012]根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据
与所述预设标准图像的相似程度对所述第二视频块进行切割；
[0013]将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
[0014]进一步地，所述执行第二切割操作，具体包括如下方法步骤：
[0015]确认所述第二视频块的视频流图像的指定区域为目标特征区域；
[0016]获取所述目标特征区域的RGB颜色直方图；
[0017]根据所述预设标准图像的RGB颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的RGB颜色直方图与所述预设标准图像的RGB颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。
[0018]进一步地，所述执行第一切割操作，具体包括如下方法步骤：
[0019]通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；
[0020]根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。
[0021]进一步地，所述获取第四视频块后，还包括如下方法步骤：
[0022]基于人工的识别分类操作，切割所述第四视频块，获取第五视频块、第六视频块、第七视频块、第八视频块和第九视频块；
[0023]将所述第五视频块标注为第五属性，将所述第六视频块标注为第六属性，将所述第七视频块标注为第七属性，将所述第八视频块标注为第八属性，将所述第九视频块标注为第九属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第五属性指示物料安装正确，所述第六属性指示物料旋转90
°
放置，所述第七属性指示物料未完全按压，所述第八属性指示物料放置角度正确但放置位置错误，所述第九属性指示物料放置位置和放置角度均错误；
[0024]预设制定帧率，对所述第五视频块、所述第六视频块、所述第七视频块、所述第八视频块和所述第九视频块进行抽帧操作；
[0025]将所述抽取后的视频帧加入所述分类数据集。
[0026]第二方面，本专利技术提供了一种面向物料安装的分类数据集构建装置，包括：
[0027]视频获取模块，用于获取物料安装过程视频；
[0028]第一切割模块，用于根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；
[0029]操作属性标注模块，用于将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；
[0030]数据集生成模块，用于获取全部标注后的所述视频帧，生成所述分类数据集。
[0031]进一步地，所述第一切割模块还包括：
[0032]第二切割单元，用于根据所述第二视频块，执行第二切割操作，获取第三视频块和
第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；
[0033]安装属性标注单元，用于将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
[0034]进一步地，所述第二切割单元还包括：
[0035]特征区域确认单元，用于确认所述第二视频块的视频流图像的指定区域为目标特征区域；
[0036]特征获取单元，用于获取所述目标特征区域的RGB颜色直方图；
[0037]第二切割位置确认单元，用于根据所述预设标准图像的RGB颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的RGB颜色直方图与所述预设标准图像的RGB颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向物料安装的分类数据集构建方法，其特征在于，所述方法包括如下步骤：获取物料安装过程视频；根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；获取全部标注后的所述视频帧，生成所述分类数据集。2.根据权利要求1所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述获取第二视频块后，还包括如下方法步骤：根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。3.根据权利要求2所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述执行第二切割操作，具体包括如下方法步骤：确认所述第二视频块的视频流图像的指定区域为目标特征区域；获取所述目标特征区域的RGB颜色直方图；根据所述预设标准图像的RGB颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的RGB颜色直方图与所述预设标准图像的RGB颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。4.根据权利要求1所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述执行第一切割操作，具体包括如下方法步骤：通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。5.根据权利要求2所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述获取第四视频块后，还包括如下方法步骤：基于人工的识别分类操作，切割所述第四视频块，获取第五视频块、第六视频块、第七视频块、第八视频块和第九视频块；将所述第五视频块标注为第五属性，将所述第六视频块标注为第六属性，将所述第七视频块标注为第七属性，将所述第八视频块标注为第八属性，将所述第九视频块标注为第九属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第五属性指示物料安装正确，所述第六属性指示物料旋转90
°
放置，所述第七属性指示物料未完全按
压，所述第八属性指示物料放置角度正确但放置位置错误，...

【专利技术属性】
技术研发人员：谢雪梅，张裕博，张鹏，宋晓丹，
申请(专利权)人：琶洲实验室黄埔，
类型：发明
国别省市：