基于深度学习的物品信息录入方法、装置、冰箱和介质制造方法及图纸

本发明专利技术提供了一种基于深度学习的物品信息录入方法、装置、冰箱和介质，方法包括：采集3D图像信息；根据3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息；根据3D空间立体坐标信息，确定指定物品的录入信息，录入信息包括体积信息和/或重量信息。通过本发明专利技术的技术方案，根据3D图像信息和预先训练好的物品图像分割模型来创建指定物品的3D空间立体坐标信息，进而实现指定物品体积信息和/或重量信息的确定，物品信息录入更加智能化和自动化，而且准确性和实时性较高，可以适用于复杂场景。

【技术实现步骤摘要】
基于深度学习的物品信息录入方法、装置、冰箱和介质
本专利技术涉及智能冰箱
，具体而言，涉及一种基于深度学习的物品信息录入方法、一种基于深度学习的物品信息录入装置、一种冰箱和一种计算机可读存储介质。
技术介绍
随着信息化技术的发展，冰箱不仅仅承载了储存食材的功能，也逐渐朝着智能家居，为用户提供更多智能化服务的方向发展，而物品信息录入及管理已经成为冰箱智能化的核心功能。相关技术中，一般通过物品包装上的体积与重量等相关信息进行人工录入或者通过刻度尺与称来测量后进行人工录入或者拍摄物品包装上的图片解析出包装上的体积与重量进行录入，存在以下技术缺陷：(1)人工录入相对比较繁琐，既浪费时间，由浪费精力，智能化水平较差。(2)拍摄解析物品包装进行录入，难以应用于复杂的场景，而且准确率较低。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的一个目的在于提供一种基于深度学习的物品信息录入方法。本专利技术的另一个目的在于提供一种基于深度学习的物品信息录入装置。本专利技术的再一个目的在于提供一种冰箱。本专利技术的又一个目的在于提供一种计算机可读存储介质。为了实现上述目的，本专利技术的第一方面的技术方案提供了一种基于深度学习的物品信息录入方法，包括：采集3D图像信息；根据3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息；根据3D空间立体坐标信息，确定指定物品的录入信息，录入信息包括体积信息和/或重量信息。在该技术方案中，通过采集3D图像信息为物品信息录入提供了数据依据，通过根据3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息，有利于实现指定物品的录入信息的确定，而且准确率较高，可适用于复杂场景，通过根据3D空间立体坐标信息，确定指定物品的录入信息，录入信息包括体积信息和/或重量信息，实现了指定物品的录入信息的自动确定和录入，而且具有较高的实时性和准确性。在上述技术方案中，优选地，根据3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息，包括：转换3D图像信息为对应的多个2D图像信息；输入多个2D图像信息至物品图像分割模型中，并确定多个2D图像信息对应的指定物品的坐标位置信息；根据3D图像信息对应的三维角度，正交结合坐标位置信息，创建指定物品的3D空间立体坐标信息。在该技术方案中，通过转换3D图像信息为对应的多个2D图像信息，有利于物品图像分割模型的识别，通过输入多个2D图像信息至物品图像分割模型中，并确定多个2D图像信息对应的指定物品的坐标位置信息，有利于实现指定物品的3D空间立体坐标信息的确定，通过根据3D图像信息对应的三维角度，正交结合坐标位置信息，创建指定物品的3D空间立体坐标信息，指定物品的3D空间立体坐标信息更加准确，进一步有利于提升指定物品的录入信息的确定准确性。需要说明的是，3D图像信息即三维立体图像信息，2D图像信息即二维平面图像信息，三维立体图像可以由某一点的冠状面、矢状面和横断面的三个二维平面图像组合在一起，作为RGB色彩模式，也即红绿蓝色彩模式的三个通道，从而与二维彩色平面图像兼容，其中，冠状面，是指通过铅垂轴与横轴的平面及与其平行的所有平面，这些平面将物品分成前后两个部分；矢状面，是将物品分成左右两部门的面，可以左右对等，也可以左右不对等；横断面，是从垂直于物品的轴心线的方向切断物品后所露出的表面，将物品分成上下两部分，可以上下对等，也可以上下不对等。在上述任一项技术方案中，优选地，根据3D空间立体坐标信息，确定指定物品的录入信息，包括：根据3D空间立体坐标信息，计算指定物品的体积信息；根据体积信息和指定物品对应的预设密度信息，计算指定物品的重量信息。在该技术方案中，通过根据3D空间立体坐标信息，计算指定物品的体积信息，实现了指定物品的体积信息的确定，有利于实时录入更加准确的体积信息，通过根据体积信息和指定物品对应的预设密度信息，计算指定物品的重量信息，实现了指定物品的重量信息的确定，有利于实时录入更加准确的重量信息，进而有利于实现智能化的物品管理。在上述任一项技术方案中，优选地，还包括：预先采集构建多种物品的3D图像信息集，并转换为对应的2D图像信息集；对应标记2D图像信息集中的每一2D图像信息的坐标位置信息；基于深度学习，以2D图像信息集中的每一2D图像信息为输入样本，依次经卷积层操作、池化层操作、全连接层操作，输出结果信息；根据结果信息和输入样本的标记信息，计算损失函数值；根据损失函数值，更新卷积层操作、池化层操作、全连接层操作的对应参数，以训练构建物品图像分割模型；判断损失函数值的绝对值是否小于预设阈值；若判定损失函数值的绝对值大于或等于预设阈值，则继续以2D图像信息集中的每一2D图像信息为输入样本，训练构建物品图像分割模型；若判定损失函数值小于预设阈值，则存储训练好的物品图像分割模型。在该技术方案中，通过预先采集构建多种物品的3D图像信息集，并转换为对应的2D图像信息集，之后对应标记2D图像信息集中的每一2D图像信息的坐标位置信息，为物品图像分割模型的预先训练构建提供了数据依据，通过基于深度学习，以2D图像信息集中的每一2D图像信息为输入样本，依次经卷积层操作、池化层操作、全连接层操作，输出结果信息，之后根据结果信息和输入样本的标记信息，计算损失函数值，有利于根据损失函数值确定物品图像分割模型是否已经训练构建达到要求，通过根据损失函数值，更新卷积层操作、池化层操作、全连接层操作的对应参数，以训练构建物品图像分割模型，实现了物品图像分割模型的逐渐训练构建完善，使得训练出来的物品图像分割模型更贴合实际，确定出来的坐标位置信息更加准确，有利于创建更加准确的3D空间立体坐标信息，通过判断损失函数值的绝对值是否小于预设阈值，并在判定损失函数值的绝对值大于或等于预设阈值时，继续以2D图像信息集中的每一2D图像信息为输入样本，训练构建物品图像分割模型，在判定损失函数值小于预设阈值，则存储训练好的物品图像分割模型，一方面，有利于提升物品图像分割模型的训练有效性，另一方面，使得训练出来的物品图像分割模型更贴合实际，准确性更高。需要说明的是，深度学习可以是卷积神经网络深度学习，也可以是递归神经网络深度学习，还可以是循环神经网络深度学习。还需要说明的是，卷积层操作是指采用指定卷积核对2D图像信息进行卷积运算，增加偏置，特征提取，得到特征图像信息，可以实现2D图像信息的降维；池化层操作是指利用空间相关性，池化降采样聚合，降低特征图像信息的冗余度；全连接层操作是指综合特征图像信息得到特征向量。还需要说明的是，第二预设阈值为接近于0的数值，比如0.001。在上述任一项技术方案中，优选地，还包括：基于深度学习，按照预设周期，以物品信息录入过程中采集的3D图像信息对应的2D图像信息为样本，训练更新物品图像分割模型。在该技术方案中，通过基于深度学习，按照预设周期，以物品信息录入过程中采集的3D图像信息对应的2D图像信息为样本，训练更新物品图像分割模型，实现了物品图像分割模型的监督学习优化，有利于提升物品图像分割模型的适用范围，也有利于提升物品图像分割模型的准确性。需要说明的是，可以以坐标位置信息确定错误的2本文档来自技高网...

【技术保护点】
1.一种基于深度学习的物品信息录入方法，其特征在于，包括：采集3D图像信息；根据所述3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息；根据所述3D空间立体坐标信息，确定所述指定物品的录入信息，所述录入信息包括体积信息和/或重量信息。

【技术特征摘要】
1.一种基于深度学习的物品信息录入方法，其特征在于，包括：采集3D图像信息；根据所述3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息；根据所述3D空间立体坐标信息，确定所述指定物品的录入信息，所述录入信息包括体积信息和/或重量信息。2.根据权利要求1所述的基于深度学习的物品信息录入方法，其特征在于，所述根据所述3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息，包括：转换所述3D图像信息为对应的多个2D图像信息；输入所述多个2D图像信息至所述物品图像分割模型中，并确定所述多个2D图像信息对应的所述指定物品的坐标位置信息；根据所述3D图像信息对应的三维角度，正交结合所述坐标位置信息，创建所述指定物品的所述3D空间立体坐标信息。3.根据权利要求1所述的基于深度学习的物品信息录入方法，其特征在于，所述根据所述3D空间立体坐标信息，确定所述指定物品的录入信息，包括：根据所述3D空间立体坐标信息，计算所述指定物品的所述体积信息；根据所述体积信息和所述指定物品对应的预设密度信息，计算所述指定物品的所述重量信息。4.根据权利要求1至3中任一项所述的基于深度学习的物品信息录入方法，其特征在于，还包括：预先采集构建多种物品的3D图像信息集，并转换为对应的2D图像信息集；对应标记所述2D图像信息集中的每一所述2D图像信息的所述坐标位置信息；基于深度学习，以所述2D图像信息集中的每一所述2D图像信息为输入样本，依次经卷积层操作、池化层操作、全连接层操作，输出结果信息；根据所述结果信息和所述输入样本的标记信息，计算损失函数值；根据所述损失函数值，更新所述卷积层操作、池化层操作、全连接层操作的对应参数，以训练构建所述物品图像分割模型；判断所述损失函数值的绝对值是否小于预设阈值；若判定所述损失函数值的绝对值大于或等于所述预设阈值，则继续以所述2D图像信息集中的每一所述2D图像信息为输入样本，训练构建所述物品图像分割模型；若判定所述损失函数值小于所述预设阈值，则存储训练好的所述物品图像分割模型。5.根据权利要求1至3中任一项所述的基于深度学习的物品信息录入方法，其特征在于，还包括：基于深度学习，按照预设周期，以物品信息录入过程中采集的所述3D图像信息对应的所述2D图像信息为样本，训练更新所述物品图像分割模型。6.一种基于深度学习的物品信息录入装置，其特征在于，包括：采集单元，用于采集3D图像信息；创建单元，用于根据所述3D图像信息和预先训练好的物品图像分割模型，创建指定物品的3D空间立体坐标信息；确定单元，用于根据所述3D空间立体坐标信息，确定所述指定物品...

【专利技术属性】
技术研发人员：唐红强，戴江，
申请(专利权)人：合肥美的智能科技有限公司，
类型：发明
国别省市：安徽,34