基于深度学习的多传感器智能冰箱控制方法和智能冰箱技术

本发明专利技术涉及一种基于深度学习的多传感器智能冰箱控制方法和智能冰箱，冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，控制方法包括：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。

【技术实现步骤摘要】
基于深度学习的多传感器智能冰箱控制方法和智能冰箱
本专利技术属于智能冰箱领域，具体涉及一种基于深度学习的多传感器智能冰箱控制方法和智能冰箱。
技术介绍
随着智能时代和互联网时代的到来，人民的生活水平不断提高，生活节奏也不断加快，智能冰箱作为智能家电的代表，已经成为各大企业争相开发的突破性产品，物品自动识别技术无疑是一项非常重要的关键技术，只有获取物品种类，才谈得上其他服务功能，深度学习的出现使高效率、高准确率的物品识别成为了可能。目前智能冰箱的功能主要包括食品管理功能、物联云服务功能和各种冰箱控制系统，其中食品管理功能包括针对冰箱内食物信息的查询功能，但是针对这一功能目前市场上普遍采用RFID射频标签以及图像识别来进行查询，这两种方法的识别率都不高，原因在于食品种类繁多，没有相对规则的形态，受限于技术本身，目前的方案无法具有相对高的食品识别率。深度学习是目前机器学习发展的最高度，人工神经网络作为深度学习中的一种方法，在物体识别、图像处理、音频识别等领域有着较高的效果。对目标识别和语音识别，人工神经网络有着可以自动学习目标特征和寓意特征的优势，减少人工干预，提取出高质量的特征，从而为提高目标识别和语音识别的准确率打下了坚实的基础。云计算是一种新的计算模式，它运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验。云计算技术的出现使得海量的视频数据处理、挖掘成为可能。
技术实现思路
针对现有技术中存在的不足，本专利技术提出了一种基于深度学习的多传感器智能冰箱控制方法，结合图像处理、深度学习、云计算实现了冰箱内部食材的种类识别、重量计算和语音识别。本专利技术采用下面的技术方案：一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。进一步的，所述第一卷积神经网络模型与第二卷积神经网络模型采用三层结构，分别为输入层、隐含层和输出层。进一步的，当向冰箱储藏室内放置食材后，关联所述待测食材种类和待测食材重量，同时显示所述信息，存储历史食材种类和相应的重量。进一步的，所述第一图像或第二图像包括静态图像与视频流图像，当为视频流图像时，对其进行解码得到一系列静态图像，取一系列静态图像的中间图像作为待测图像。进一步的，对所述第一图像和第二图像进行预处理，提取图像的ROI区域。本专利技术还提出了一种基于深度学习的多传感器智能冰箱，包括处理器和与处理器相连的：多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；压力传感器，用于获取冰箱储藏室内部来自全部食材的压力；语音采集器，用于获取语音开门或闭门指令；驱动机构，用于驱动冰箱门开启与关闭；所述处理器具有无线通信模块，处理器将所述多个摄像装置、压力传感器和语音采集器获取的数据发送至云计算平台，所述云计算平台内置有视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型，云计算平台采用视觉检测算法获取待测食材图像，采用第一卷积神经网络模型对所述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；基于所述第一压力和第二压力，得到待测食材重量；采用第二卷积神经网络模型识别语音开门或闭门指令；将所述待测食材种类的识别结果、待测食材重量的计算结果和语音识别结果返回至处理器，处理器通过驱动机构控制冰箱门开启与关闭。进一步的，在所述冰箱门外侧还具有触敏显示器，用于显示历史食材种类和相应的重量，并可选择得删除记录的食材种类及相应的重量。进一步的，在所述摄像装置的取景窗前涂有防雾层，用于在冰箱运行温度下获取清晰的待测食材图像。进一步的，所述驱动机构包括在冰箱门与冰箱本体之间设置的控制器和电机驱动模块，控制器分别与电机驱动模块和处理器相连，包括有电机和电机驱动芯片，电机的转轴与冰箱门的旋转轴连接。进一步的，对所述云计算平台内置的视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应不同的待测食材与语音。本专利技术的有益效果是：(1)将深度学习与云计算技术结合，形成了具有高准确率、高效率、大规模计算能力的后台云服务系统；(2)将图像目标识别与深度学习相结合，提高了目标识别的准确率和效率。(3)将冰箱管理系统与目标识别和语音识别相结合，使冰箱更加智能化、操作更方便。(4)本专利技术利用云计算平台，可以随时对视觉检测算法、重量算法、第一卷积神经网络模型和第二卷积神经网络模型进行修改或更换，用以适应更多食材形态的识别和语义识别。附图说明图1为本专利技术的方法流程图；具体实施方式：下面结合附图与实施例对本专利技术作进一步说明：应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。本专利技术的一种典型实施例是一种基于深度学习的多传感器智能冰箱控制方法，如图1所示：冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，该方法包括以下步骤：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。本实施例中获取的放置食材前后图像可以是静态图像，也可以是视频流，对于静态图像，我们直接采用视觉检测方法对其进行预处理，得到图像的ROI区域；对于视频流，我们首先对其进行解码操作，得到一系列的静态图像，分别选取放置食材前后的两幅图像，对其进行视觉检测，同样的，得到图像的ROI区域。通过模式识别或者特征提取对第一图像和第二图像的ROI区域进行检测，获得待测的食材图像，也就是本次放入冰箱的食材图像，将该食材图像输入至第一卷积神经网络中进行训练。本实施例中的第一卷积神经网络是预训练好的，它具有三层结构，分别为输入层、隐含层和输出层。本实施例中第一卷积神经网络的训练样本包括各种水果、蔬菜、蛋类、饮料、肉类、鱼类的规则图像，但也不限于上述类别；同时本实施例中的第一卷积神经网络并非一成不变，可以在使用过程本文档来自技高网...

【技术保护点】
一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，其特征在于，包括：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。

【技术特征摘要】
1.一种基于深度学习的多传感器智能冰箱控制方法，所述冰箱具有冰箱本体和多个门，冰箱本体和每个门均形成冰箱储藏室，其特征在于，包括：获取向冰箱储藏室内放置食材前的第一图像与放置食材后的第二图像，基于所述第一图像和第二图像采用视觉检测方法获取待测食材图像，采用预训练好的第一卷积神经网络模型对上述待测食材图像进行识别，得到冰箱储藏室内的待测食材种类；获取向冰箱储藏室内放置食材前储藏室的第一压力与放置食材后储藏室的第二压力，基于所述第一压力和第二压力，得到待测食材重量；获取语音开门或闭门指令，采用预训练好的第二卷积神经网络模型对上述待语音开门或闭门指令进行识别，用于控制冰箱门开启与关闭。2.根据权利要求1所述的方法，其特征在于：所述第一卷积神经网络模型与第二卷积神经网络模型采用三层结构，分别为输入层、隐含层和输出层。3.根据权利要求1所述的方法，其特征在于：当向冰箱储藏室内放置食材后，关联所述待测食材种类和待测食材重量，同时显示所述信息，存储历史食材种类和相应的重量。4.根据权利要求3所述的方法，其特征在于：所述第一图像或第二图像包括静态图像与视频流图像，当为视频流图像时，对其进行解码得到一系列静态图像，取一系列静态图像的中间图像作为待测图像。5.根据权利要求1所述的方法，其特征在于：对所述第一图像和第二图像进行预处理，提取图像的ROI区域。6.一种基于权利要求1的多传感器智能冰箱，其特征在于，包括处理器和与处理器相连的：多个摄像装置，用于获取冰箱储藏室内部各个区域的图像；压力传感器，用于获取冰箱储藏室内部来自全...

【专利技术属性】
技术研发人员：张卫山，孙浩云，赵德海，徐亮，卢清华，李忠伟，宫文娟，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37