一种基于机器视觉的家庭物品数据集构建方法及系统技术方案

本公开提供了属于机器视觉技术领域，具体涉及一种基于机器视觉的家庭物品数据集构建方法及系统，包括：获取家庭物品图和家庭场景图；对所获取的家庭物品图进行显著性目标检测，得到物品实例图；对所获取的家庭场景图进行语义分割，得到场景解析文件；根据所得到的物品实例图和场景解析文件，结合物品和场景区域的对应关系，生成数据集图片和标注文件，完成家庭物品数据集的构建。本公开基于显著性检测和场景解析进行图片的处理，生成家庭物品数据集，有效增加了数据集内容的多样性，提高了数据集的构建效率。数据集的构建效率。数据集的构建效率。

【技术实现步骤摘要】
一种基于机器视觉的家庭物品数据集构建方法及系统


[0001]本公开属于机器视觉
，具体涉及一种基于机器视觉的家庭物品数据集构建方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着人工智能、物联网技术的发展，服务机器人产业呈现出良好的发展势头。服务机器人在智慧家庭空间中完成用户的智能化任务，需要对家庭场景下的物品具有准确的识别能力。
[0004]家庭环境中物品种类繁多，基于深度学习的目标检测算法需要规模庞大的数据训练才能实现高精度的检测，因此家庭物品数据集的构建是一项关键且繁重的工作。近年来，深度学习的相关理论得到了深入研究，基于卷积神经网络的物品检测算法为机器人的部署应用提供了更加高效可行的方案。但是深度学习方法需要大规模、高质量的数据作为支持，目前公开的通用目标检测领域数据集难以满足服务机器人在家庭环境中的实际应用需求，因此要构建面向家庭场景的物品数据集。与此同时，现有数据集的构建常采用LabelMe、LabelImg等软件进行人工标注数据，这种方法需要大量的人力和时间投入；还有一些使用数据增强来构建数据集的方法，但是其内容简单，缺乏场景和物品之间的语义信息。考虑到家庭物品的多样性，家庭服务任务的智能性，家庭物品数据集构建的难点在于如何快速准确地获得丰富多样的家庭物品实例、物品的不同位姿及尺寸。

技术实现思路

[0005]为了解决上述问题，本公开提出了一种基于机器视觉的家庭物品数据集构建方法及系统，基于显著性检测和场景解析进行图片的处理，生成家庭物品数据集，有效增加了数据集内容的多样性，提高了数据集的构建效率。
[0006]根据一些实施例，本公开的第一方案提供了一种基于机器视觉的家庭物品数据集构建方法，采用如下技术方案：
[0007]一种基于机器视觉的家庭物品数据集构建方法，包括：
[0008]获取家庭物品图和家庭场景图；
[0009]对所获取的家庭物品图进行显著性目标检测，得到物品实例图；
[0010]对所获取的家庭场景图进行语义分割，得到场景解析文件；
[0011]根据所得到的物品实例图和场景解析文件，生成数据集图片和标注文件，完成家庭物品数据集的构建。
[0012]作为进一步的技术限定，基于目标物品与背景对比大的环境下获取不同种类和不同视角下的单个家庭物品图像。
[0013]作为进一步的技术限定，通过网络爬取、人工筛选室内场景数据集，获得家庭场景
图。
[0014]作为进一步的技术限定，根据所获取的家庭物品图和预训练的显著性目标检测模型进行家庭物品图的显著性检测，将显著性图转化为灰度图，设置阈值进行二值化处理,得到家庭物品图所对应的掩膜图；将所得到的掩膜图与家庭物品图进行处理操作，得到物品实例图。
[0015]作为进一步的技术限定，根据所获取的家庭场景图和预训练的语义解析模型进行家庭场景图的检测，获取家庭场景图的区域划分情况，形成场景解析文件。
[0016]进一步的，基于预训练的语义分割模型，对家庭场景图进行检测，在语义区域分割时，将语义解析图转化为灰度图，进行连通区域检测，得到外接矩形的左上角坐标(x，y)、宽w和高h，获得分割后的场景区域及其包围矩形框的坐标值(x
min
，y
min
，x
max
，y
max
)；其中，x
min
＝x，y
min
＝y，x
max
＝x+w，y
max
＝y+h；再利用坐标信息计算包围矩阵框的面积，若面积与整幅图像素面积的占比大于阈值，则保留该场景区域，否则去除；获得家庭场景图的区域划分情况后，以键值对的形式分别保存区域名和对应的范围坐标值，得到以家庭场景图名命名的场景解析文件。
[0017]作为进一步的技术限定，根据家庭场景图和所对应的场景解析文件，得到分割后的场景图片的不同区域名称和区域划分的坐标信息；根据物品实例图，以先验知识规则为约束，对场景区域与物品类别进行匹配；若选择的物品与区域划分没有合适的对应关系，则随机进行缩放、旋转或遮挡操作；若有对应关系，则随机选取一个或多个物品置于区域下，根据对应的场景区域大小，进行物品实例图的随机放缩、旋转或遮挡操作。选取物品实例图和对应的物品掩膜图，根据场景区域与物品有无对应关系，以整幅家庭场景图的宽高或划分区域的宽高为限制，对实例图和掩膜图同时进行随机放缩、旋转，在将物品粘贴在背景图的过程中，若不同物品实例IOU大于阈值时，形成遮挡效果，从而实现在家庭场景图中的合适区域放置家庭物品；最终根据变换后的物品掩膜图得到物品矩形框的定位坐标，和家庭场景图的宽高信息、家庭物品图中的物品信息一同写入XML文件中，形成标注文件。
[0018]根据一些实施例，本公开的第二方案提供了一种基于机器视觉的家庭物品数据集构建系统，采用如下技术方案：
[0019]一种基于机器视觉的家庭物品数据集构建系统，包括：
[0020]获取图像模块，其被配置为获取家庭物品图和家庭场景图；
[0021]实例提取模块，其被配置为对所获取的家庭物品图进行显著性目标检测，得到物品实例图；
[0022]场景解析模块，其被配置为对所获取的家庭场景图进行语义分割，得到场景解析文件；
[0023]数据集生成模块，其被配置为根据所得到的物品实例图和场景解析文件，结合物品和场景区域的对应关系，生成数据集图片和标注文件，完成家庭物品数据集的构建。
[0024]根据一些实施例，本公开的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
[0025]一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方案所述的基于机器视觉的家庭物品数据集构建方法中的步骤。
[0026]根据一些实施例，本公开的第四方案提供了一种电子设备，采用如下技术方案：
[0027]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方案所述的基于机器视觉的家庭物品数据集构建方法中的步骤。
[0028]与现有技术相比，本公开的有益效果为：
[0029]本公开使用显著性检测和图像处理的方法得到物品实例图和掩膜图，这种方法分割检测家庭物品效果好，可有效降低人工标注成本；
[0030]本公开使用语义分割和图像处理的方法得到场景解析文件，结合先验知识，使用场景区域与家庭物品匹配的方式，将物品粘贴在更符合实际场景的位置，有利于检测模型学习到场景和物品关联的特征信息；
[0031]本公开构建的数据集，可以根据任务需求生成包含不同大小和形态的物品图片，同时增添了物品遮挡的情况，数据集内容更为丰富，进一步提高检测模型的泛化性能。
附图说明
[0032]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的家庭物品数据集构建方法，其特征在于，包括：获取家庭物品图和家庭场景图；对所获取的家庭物品图进行显著性目标检测，得到物品实例图；对所获取的家庭场景图进行语义分割，得到场景解析文件；根据所得到的物品实例图和场景解析文件，生成数据集图片和标注文件，完成家庭物品数据集的构建。2.如权利要求1中所述的一种基于机器视觉的家庭物品数据集构建方法，其特征在于，基于目标物品与背景对比大的环境下获取不同种类和不同视角下的单个家庭物品图像。3.如权利要求1中所述的一种基于机器视觉的家庭物品数据集构建方法，其特征在于，通过网络爬取、人工筛选室内场景数据集，获得家庭场景图。4.如权利要求1中所述的一种基于机器视觉的家庭物品数据集构建方法，其特征在于，根据所获取的家庭物品图和预训练的显著性目标检测模型进行家庭物品图的显著性检测，将显著性图转化为灰度图，设置阈值进行二值化处理,得到家庭物品图所对应的掩膜图；将所得到的掩膜图与家庭物品图进行处理操作，得到物品实例图。5.如权利要求1中所述的一种基于机器视觉的家庭物品数据集构建方法，其特征在于，根据所获取的家庭场景图和预训练的语义解析模型进行家庭场景图的检测，获取家庭场景图的区域划分情况，形成场景解析文件。6.如权利要求5中所述的一种基于机器视觉的家庭物品数据集构建方法，其特征在于，基于预训练的语义分割模型，对家庭场景图进行检测，在语义区域分割时，将语义解析图转化为灰度图，进行连通区域检测，得到外接矩形的左上角坐标(x，y)、宽w和高h，获得分割后的场景区域及其包围矩形框的坐标值(x
min
，y
min
，x
max
，y
max
)；其中，x
min
＝x，y
min
＝y，x
max
＝x+w，y
max
＝y+h；再利用坐标信息计算包围矩阵框的面积，若面积与整幅图像素面积的占比大于阈值，则保留该场景区域，否则去除；获得家庭场景图...

【专利技术属性】
技术研发人员：田国会，冯晨锐，段胜琪，
申请(专利权)人：山东大学，
类型：发明
国别省市：