一种冷藏装置存储物管理系统和冷藏装置制造方法及图纸

本发明专利技术提供一种冷藏装置存储物管理系统和冷藏装置，包括视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。本发明专利技术利用卷积神经网络通过视频集中的独立的空间流和时间流自动识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。

【技术实现步骤摘要】
一种冷藏装置存储物管理系统和冷藏装置
本专利技术涉及制冷设备
，尤其涉及一种冷藏装置存储物管理系统和冷藏装置。
技术介绍
很多人认为食物放进冷藏装置就会安全，不会出现变味或者变质。实际上，冷藏装置只是通过降温的方式，抑制细菌的繁殖速度。但是食物存放时间过长，一样会出现变质，食用后可能会出现恶心、呕吐和腹泻等情况。家用冷藏装置一般不设置统计食材的功能，食物存放期限通过用户经验决定，很容易出现遗漏导致食物变质，影响身体健康。对于大型冷冻仓储行业来说，存储物，如药品或实验制剂的统计更需要专人负责，成本较高。一旦出现遗漏，会造成批量的食物变质销毁，导致很高的经济损失。为解决上述问题，现有技术中提出了冷藏装置内食材的管理系统，如专利技术专利（申请号2014106605313）中所公开的技术方案，当检测到冷藏装置门打开时，接收用户输入的语音信息。该语音信息中包括用户对冷藏装置内食材的变更操作对应的基本食材变更信息。冷藏装置识别用户输入的语音信息，并进行预处理，生成用户对冷藏装置内食材变更操作对应的变更信息并传输至终端，使得终端生成冷藏装置内食材变更后的食材管理信息。不但看出，在上述技术方案中，为了统计冷藏装置内食材的信息，必须增加语音输入的步骤，这实际上使得整个操作变得较为复杂，并不符合人们日常使用冷藏装置的习惯。如果偶尔忘记了输入语音信息，则会使得统计信息的准确率大幅降低。综上所述，现有技术中的冷藏装置内食材管理系统存在不符合用户使用习惯，统计信息准确率低的问题。
技术实现思路
本专利技术提供一种冷藏装置存储物管理系统，旨在克服现有技术中存储物统计不符合传统使用习惯且管理成本高的缺陷。本专利技术所提供的具体技术方案包括：一种冷藏装置存储物管理系统，包括：视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。进一步的，还包括第一估算模块，用于根据冷藏装置入口视频集和卷积神经网络的输出结果估算存入或取出目标存储物的轮廓面积；第二估算模块，用于根据静态场景再次估算目标存储物轮廓面积，校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；所述视频集包括冷藏装置入口处的动态场景和冷藏装置内的静态场景；当所述卷积神经网络根据时间流确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的动态场景拆分处理的空间流估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态场景再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将两次采集的目标存储物面积进行比较，确定存储物数量。进一步的，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。进一步的，所述卷积神经网络包括第一卷积神经网络；所述第一卷积神经网络进一步包括：输入层，用于输入所述空间流；多层卷积池化层，用于提取组成所述空间流的静态成分的像素值，对静态成分中检测区域的像素值进行预处理，提取特征得到特征图；分类器，用于根据卷积池化层的输出结果，确定并输出是否有目标存储物以及目标存储物的种类并输入。进一步的，所述卷积神经网络还包括第二卷积神经网络；所述第二卷积神经网络进一步包括；输入层，用于输入所述时间流；多层卷积池化层，用于提取组成所述时间流的动态成分的特征并得到带有速度矢量特征的特征图；分类器，用于根据卷积池化层输出的特征图，确定并输出是否有目标存储物存入或取出。进一步的，所述第一卷积神经网络的卷积池化层和第二卷积神经网络的卷积池化层分别将静态成分和动态成分转换为多个通道的数据，每个通道的数据独立获取。进一步的，所述第一卷积神经网络和第二卷积神经网络的规模相同，所述第一卷积神经网络的分类器和所述第二卷积神经网络还包括全连接和Softmax层。进一步的，所述第一卷积神经网络和第二卷积神经网络的输出输入至同一个分类器中融合；用于融合的分类器为SVM。进一步的，所述视频集为冷藏装置入口处人体手部动作的动态场景以及冷藏装置内货架上的静态场景，所述空间成分为视频帧，所述运动成分为具有速度矢量的图像。本专利技术所提出的冷藏装置存储物管理系统可以利用卷积神经网络通过视频集中的独立的空间流和时间流自动识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，并通过估算模块校准和统计模块统计，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。本专利技术同时公开了一种具有上述冷藏装置存储物管理系统的冷藏装置，所述冷藏装置具有冷藏装置存储管理系统，冷藏装置存储管理系统包括视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。本专利技术所公开的冷藏装置具有自动识别和统计存储物的功能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提出的冷藏装置存储物管理系统一种实施例的流程图；图2为本专利技术所提出的冷藏装置存储物管理系统另一种实施例的流程图；图3为冷藏装置存储物管理系统识别模块中的损失函数曲线示例；图4为冷藏装置存储物管理系统识别模块中错误率曲线的示例；图5为冷藏装置存储物管理系统识别模块中学习曲线的示例。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术的具体实施例和附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术所提出的冷藏装置存储物管理系统一个实施例的流程图。在本实施例中，冷藏装置存储物管理系统可以包括训练模块、识别模块、检测模块、估算模块和统计模块，其中所述训练模块、识别模块和检测模块均是基于卷积神经网络实现的，还可以包括显示模块，用于实时显示统计模块的检测值。如图所示，本实施例所提出的冷藏装置存储物管理系统具体包括：训练模块学习检测目标存储物。在本实施例中，学习检测目标存储物即使得卷积神经网络学习区分是否为目标存储物。对于冷藏装置来说，目标存储物可以是常见的食品、也可以是药品或其它需要冷藏的物品，如实验制剂、标本等。首先建立存储目标存储物的静态图片的数据库，数据库中包括大量的图片形成训练集，训练集中静态图片的数量级可以达到十万级甚至更高。静态图片中包括多个目标存储物的互相遮挡及区分各个部位的图像。处理模块对数据库中的静态图片进行处理，本文档来自技高网...

【技术保护点】
一种冷藏装置存储物管理系统，其特征在于，包括视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。

【技术特征摘要】
1.一种冷藏装置存储物管理系统，其特征在于，包括视频输入模块，用于输入冷藏装置入口处及冷藏装置内的视频集；图像分解模块，用于将所述视频集中的单一视频拆分处理成静态成分和运动成分并分别组成空间流和时间流；卷积神经网络，用于根据所述空间流确定是否有目标存储物以及目标存储物的种类，根据所述时间流确定是否有目标存储物存入或取出。2.根据权利要求1所述的冷藏装置存储物管理系统，其特征在于，还包括：第一估算模块，用于根据冷藏装置入口视频集和卷积神经网络的输出结果估算存入或取出目标存储物的轮廓面积；第二估算模块，用于根据静态场景再次估算目标存储物轮廓面积，校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；所述视频集包括冷藏装置入口处的动态场景和冷藏装置内的静态场景；当所述卷积神经网络根据时间流确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的动态场景拆分处理的空间流估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态场景再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将两次采集的目标存储物面积进行比较，确定存储物数量。3.根据权利要求2所述的冷藏装置存储物管理系统，其特征在于，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。4.根据权利要求1至3任一项所述的冷藏装置存储物管理系统，其特征在于，所述卷积神经网络包括第一卷积神经网络；所述第一卷积神经网络进一步包括：输入层，用于输入所述空间流；多层卷积池化层，...

【专利技术属性】
技术研发人员：于海洋，
申请(专利权)人：青岛海尔智能技术研发有限公司，
类型：发明
国别省市：山东,37