一种智能冰箱及其识别对象种类的方法技术

本发明专利技术公开了一种智能冰箱及其识别对象种类的方法，避免了由于快消品更新快而直接对快消品进行识别导致识别精度低的问题。包括柜体、摄像单元、控制器，其中：所述柜体用于存放对象；所述摄像单元用于拍摄用户存取对象时的原始图像；所述控制器被配置为执行：获取包含对象的图像；利用孪生网络对所述图像进行特征提取，确定所述对象的目标特征向量；确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度；将满足最大相似度的样本特征向量对应的样本图像的对象类别确定为所述对象的类别。象的类别。象的类别。

【技术实现步骤摘要】
一种智能冰箱及其识别对象种类的方法


[0001]本专利技术涉及智能冰箱
，特别涉及一种智能冰箱及其识别对象种类的方法。

技术介绍

[0002]随着人工智能技术的快速发展，深度神经网络算法越来越多地被应用到实际生活中。在智能冰箱领域，智能化发展的核心基础是食材的自动化识别。基于快消品种类繁多、包装更迭较快、新种类层出不穷等特点，目前通常利用深度学习模型进行快消品的自动化识别时，都是直接对快消品进行种类的识别，难以保证快消品的识别精度，进而影响智能冰箱的食材管理效果。

技术实现思路

[0003]本专利技术提供一种智能冰箱及其识别对象种类的方法，根据判断对象的图像与样本图像的相似性，将最相似的样本图像的对象类别确定为该对象的类别，由于只判断相似性，避免了由于快消品更新快而直接对快消品进行识别导致识别精度低的问题。
[0004]第一方面，本专利技术实施例提供的一种智能冰箱，包括柜体、摄像单元、控制器，其中：
[0005]所述柜体用于存放对象；
[0006]所述摄像单元用于拍摄用户存取对象时的原始图像；
[0007]所述控制器被配置为执行：
[0008]获取智能冰箱拍摄的包含对象的图像；
[0009]利用孪生网络对所述图像进行特征提取，确定所述对象的目标特征向量；
[0010]确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度，其中所述特征集合是利用所述孪生网络对各个已标注对象类别的样本图像进行特征提取得到的，所述特征集合包含已标注各个对象类别的样本图像的至少一个样本特征向量；
[0011]将满足最大相似度的样本特征向量对应的样本图像的对象类别确定为所述对象的类别。
[0012]本专利技术实施例提供的智能冰箱，利用孪生网络对拍摄的图像进行特征提取后，判断该图像与样本图像之间的相似度，从而选取最相似的样本图像，将该样本图像标注的对象类别确定为该图像中的对象的类别。由于孪生网络是用于判断输入的两个特征向量之间的相似度，孪生网络只需进行一次训练，不需要根据对象种类的更新进行重复训练，因此，利用判断相似度的方式来确定对象的类别，避免了直接对图像进行识别，需要根据对象种类的更新重新对深度学习模型进行训练，能够在不重复训练的同时提高对象的识别精度。
[0013]在一些示例中，所述孪生网络是利用标注对象类别的训练样本图像作为输入，所述训练样本图像标注的对象类别之间的相似度作为输出，对初始孪生网络进行训练得到的。
[0014]在一些示例中，所述控制器具体被配置为执行：
[0015]根据物体检测算法对所述智能冰箱拍摄的原始图像中的人体手部进行检测，确定人体手部位置；
[0016]根据所述人体手部位置，确定所述原始图像中人体手部抓取的对象在所述原始图像的对象位置；
[0017]从所述原始图像的对象位置上，获取包含所述对象的图像。
[0018]在一些示例中，所述控制器具体被配置为通过如下方式预先获取所述特征集合：
[0019]获取各个已标注对象类别的样本图像；
[0020]利用所述孪生网络对所述样本图像进行特征提取，确定每个样本图像的样本特征向量；
[0021]根据每个样本特征向量以及与每个样本特征向量对应的样本图像标注的对象类别，确定所述特征集合。
[0022]在一些示例中，所述控制器具体被配置为执行：
[0023]将所述目标特征向量与所述特征集合中的每个样本特征向量分别进行整合，得到各个整合特征向量；
[0024]利用所述孪生网络中的全连接层和损失层对所述整合特征向量进行分类，确定所述整合特征向量的分类标签，其中所述分类标签用于表征所述目标特征向量和所述样本特征向量之间的相似度。
[0025]在一些示例中，针对任意一个样本特征向量，所述控制器具体被配置为通过如下方式得到一个整合特征向量：
[0026]将所述目标特征向量与所述样本特征向量进行拼接，得到一个整合特征向量；或，
[0027]将所述目标特征向量与所述样本特征向量的对应位相减，得到一个整合特征向量，其中所述对应位用于表征所述目标特征向量中的元素在所述目标特征向量中的位置，和所述样本特征向量中的元素在所述样本特征向量中的位置相同。
[0028]在一些示例中，所述确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度之后，所述控制器还被配置为执行：
[0029]若所述目标特征向量与所述每个样本特征向量的相似度都小于阈值，则将所述目标特征向量和所述目标特征向量的类别添加到所述特征集合中。
[0030]第二方面，本专利技术实施例提供的一种识别对象种类的方法，包括：
[0031]获取包含对象的图像；
[0032]利用孪生网络对所述图像进行特征提取，确定所述对象的目标特征向量；
[0033]确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度，其中所述特征集合是利用所述孪生网络对各个已标注对象类别的样本图像进行特征提取得到的，所述特征集合包含已标注各个对象类别的样本图像的至少一个样本特征向量；
[0034]将满足最大相似度的样本特征向量对应的样本图像的对象类别确定为所述对象的类别。
[0035]在一些示例中，所述孪生网络是利用标注对象类别的训练样本图像作为输入，所述训练样本图像标注的对象类别之间的相似度作为输出，对初始孪生网络进行训练得到的。
[0036]在一些示例中，所述获取包含对象的图像，包括：
[0037]根据物体检测算法对所述智能冰箱拍摄的原始图像中的人体手部进行检测，确定人体手部位置；
[0038]根据所述人体手部位置，确定所述原始图像中人体手部抓取的对象在所述原始图像的对象位置；
[0039]从所述原始图像的对象位置上，获取包含所述对象的图像。
[0040]在一些示例中，通过如下方式预先获取所述特征集合：
[0041]获取各个已标注对象类别的样本图像；
[0042]利用所述孪生网络对所述样本图像进行特征提取，确定每个样本图像的样本特征向量；
[0043]根据每个样本特征向量以及与每个样本特征向量对应的样本图像标注的对象类别，确定所述特征集合。
[0044]在一些示例中，所述确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度，包括：
[0045]将所述目标特征向量与所述特征集合中的每个样本特征向量分别进行整合，得到各个整合特征向量；
[0046]利用所述孪生网络中的全连接层和损失层对所述整合特征向量进行分类，确定所述整合特征向量的分类标签，其中所述分类标签用于表征所述目标特征向量和所述样本特征向量之间的相似度。
[0047]在一些示例中，针对任意一个样本特征向量，通过如下方式得到一个整合特征向量：
[0048]将所述目标特征向量与所述样本特征向量进行拼接，得到一个整合特征向量；或，
[0049]将所述目标特征向量与所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能冰箱，其特征在于，包括柜体、摄像单元、控制器，其中：所述柜体用于存放对象；所述摄像单元用于拍摄用户存取对象时的原始图像；所述控制器被配置为执行：获取智能冰箱拍摄的包含对象的图像；利用孪生网络对所述图像进行特征提取，确定所述对象的目标特征向量；确定所述目标特征向量与特征集合中的每个样本特征向量之间的相似度，其中所述特征集合是利用所述孪生网络对各个已标注对象类别的样本图像进行特征提取得到的，所述特征集合包含已标注各个对象类别的样本图像的至少一个样本特征向量；将满足最大相似度的样本特征向量对应的样本图像的对象类别确定为所述对象的类别。2.根据权利要求1所述的智能冰箱，其特征在于，所述孪生网络是利用标注对象类别的训练样本图像作为输入，所述训练样本图像标注的对象类别之间的相似度作为输出，对初始孪生网络进行训练得到的。3.根据权利要求1所述的智能冰箱，其特征在于，所述控制器具体被配置为执行：根据物体检测算法对所述智能冰箱拍摄的原始图像中的人体手部进行检测，确定人体手部位置；根据所述人体手部位置，确定所述原始图像中人体手部抓取的对象在所述原始图像的对象位置；从所述原始图像的对象位置上，获取包含所述对象的图像。4.根据权利要求1所述的智能冰箱，其特征在于，所述控制器具体被配置为通过如下方式预先获取所述特征集合：获取各个已标注对象类别的样本图像；利用所述孪生网络对所述样本图像进行特征提取，确定每个样本图像的样本特征向量；根据每个样本特征向量以及与每个样本特征向量对应的样本图像标注的对象类别，确定所述特征集合。5.根据权利要求1所述的智能冰箱，其特征在于，所述控制器具体被配置为执行：将所述目标特征向量与所述特征集合中的每个样本特征向量分别进行整合，得到各个整合特征向量；利用所述孪生网络中的全连接层和损失层对所述整合特征向量进行分类，确定所述整合特征向量的分类标签，其中所述分类标签用于表征所述目标特征向量和所述样本特征向量之间的相似度。6.根据权利要求5...

【专利技术属性】
技术研发人员：马文华，孙菁，张璧程，谢飞学，曲磊，高雪松，陈维强，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：