一种冰箱内部食材的识别方法、设备及图像识别系统技术方案

本发明专利技术的实施例公开一种冰箱内部食材的识别方法、设备及图像识别系统，涉及图像处理领域，能够简化冰箱的结构，降低成本。该方法包括：图像处理服务器获取冰箱的储物间室内的图像，图像包括所述冰箱的储物间室内的每个层架的食材；所述图像处理服务器通过直线检测的方式将所述图像按照层架进行分离；所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别；所述图像处理服务器通将识别结果发送至终端设备。

【技术实现步骤摘要】
一种冰箱内部食材的识别方法、设备及图像识别系统
本专利技术的实施例涉及图像处理领域，尤其涉及一种冰箱内部食材的识别方法、设备及图像识别系统。
技术介绍
目前，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。在当前的食材识别方法中，由于需要通过冰箱自身携带的算法进行图像处理，因此，在冰箱中需要设置多个摄像头，以尽量保证食材图片的清晰度，从而保证识别的准确性，并且清晰的食材照片也有利于降低算法的复杂度。但是，这将使得冰箱的结构复杂，成本增加。
技术实现思路
本专利技术的实施例提供一种冰箱内部食材的识别方法、设备及图像识别系统，能够简化冰箱的结构，降低成本。第一方面，提供一种冰箱内部食材的识别方法，包括：获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；通过直线检测的方式将所述图像按照层架进行分离；对每个层架对应的图像区域包含的食材进行识别；将识别结果发送至所述终端设备。在上述方案中，由于可以将冰箱采集的图像上传至图像服务器进行图像识别，从而实现冰箱内食材的识别，因此可以降低冰箱中对图像的处理复杂度，由于图像处理服务器可以实现较为复杂的运算，这样便降低了对图像清晰度的要求，因此能够将冰箱采集的储物间室内的图像上传至图像处理服务器，则图像处理服务器便可以进行食材的识别，而不必在冰箱内设置多处摄像头，这样简化了冰箱的结构，降低了成本。第二方面，提供一种图像处理服务器，包括：获取模块，用于获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；处理模块，用于通过直线检测的方式将所述获取模块获取的图像按照层架进行分离；所述处理模块，还用于对每个层架对应的图像区域包含的食材进行识别；发送模块，用于将处理模块生成的识别结果发送至所述终端设备。第三方面，提供一种图像处理服务器，包括：通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述图像处理服务器运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述图像处理服务器执行如上述第五方面提供的方法。第四方面，提供一种计算机存储介质，包括指令，当其在计算机上运行时，使得所述计算机执行如上述第五方面提供的方法。第五方面，提供一种图像识别系统，包括冰箱、终端设备以及如上述的图像处理服务器；其中，所述冰箱中设置有图像采集装置，用于采集冰箱的储物间室内的图像，其中所述图像包括所述冰箱的储物间室内的每个层架的食材。可以理解地，上述提供的任一种图像识别系统、图像处理服务器或计算机存储介质均用于执行上文所提供的第五方面对应的方法，因此，其所能达到的有益效果可参考上文第五方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的实施例提供的一种图像识别系统的示意图；图2为本专利技术的实施例提供的一种冰箱内部食材的识别方法示意图；图3为本专利技术的实施例提供的一种图像上的候选框和识别框的设置方式示意图；图4为本专利技术的实施例提供的一种冰箱的结构示意图；图5为本专利技术的另一实施例提供的一种冰箱的结构示意图；图6为本专利技术的实施例提供的一种图像处理服务器的结构示意图；图7为本专利技术的另一实施例提供的一种图像处理服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。随着智能家用电器的发展，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。在当前的食材识别方法中，由于需要通过冰箱自身携带的算法进行图像处理，因此，在冰箱中需要设置多个摄像头，以尽量保证食材图片的清晰度，从而保证识别的准确性，并且清晰的食材照片也有利于降低算法的复杂度。但是，这将使得冰箱的结构复杂，成本增加。为解决上述问题，本专利技术的实施例提供一种冰箱内部食材的识别方法，该方法应用于如下图1示出的场景的图像识别系统，具体包括：冰箱11、图像处理服务器12以及终端设备13(例如手机、ipad等)，其中终端设备13可以为集成在冰箱11上的具有显示功能显示装置。此外，冰箱11、图像处理服务器12以及终端设备13通过无线接入设备14进行通信，示例性的，无线接入设备14可以为WiFi设备。其中，冰箱11中设置有图像采集装置，用于采集冰箱11的储物间室内的图像，其中图像包括冰箱的储物间室内的每个层架的食材。基于上述的场景本申请的实施例提供一种冰箱内部食材的识别方法，参照图2所示，包括如下步骤：101、冰箱检测冰箱门的状态，当冰箱门处于预定位置时，触发图像采集装置采集冰箱的储物间室内的图像，其中图像包括冰箱的储物间室内每个层架的食材。其中，冰箱门上设置有图像采集装置，例如：摄像头，其中该摄像头设置的位置以及角度可以使得摄像头随冰箱门移动至预定位置时，能够一次拍摄到冰箱的每个层架，示例性的，如图3所示，提供一种冰箱的箱体内部的示意图，其中该冰箱设置有五个层架。可以在冰箱门和冰箱箱体之间设置光敏传感器，这样，可以根据光敏传感器检测的光感参数确定冰箱门的状态，当根据光敏传感器的光感参数检测到冰箱门运动到预定位置时，触发摄像头对五个层架进行拍照，例如图片分辨率为1080×1920。此外，冰箱还包括灯光补偿装置；在触发图像采集装置采集冰箱内部的图像时，还可以驱动灯光补偿装置对冰箱内部的预定位置进行灯光补偿。例如，冰箱内部的第四层和第五层位置靠下，冰箱顶部的光线照射至第四层和第五层时已经比较暗，这时在第四层和第五层的位置设置灯光补偿装置，触发图像采集装置采集冰箱内部的图像时，驱动灯光补偿装置对第四层和第五层的位置进行灯光补偿。102、冰箱将图像发送至终端设备以及图像处理服务器，以便图像处理服务器对图像进行识别。示例性的，采集到图像后，冰箱通过WiFi设备把图像上传到图像处理服务器。若用户需要获知冰箱内部的食材，则通过终端设备查看对图像的识别结果，则会触发图像处理服务器中的识别程序。识别程序首先获取冰箱发送过来的图像，然后进行食材识别。当然上述仅是示例性的说明，冰箱通过WiFi设备把图像上传到图像处理服务器，可以理解的是，也可以是，冰箱通过WiFi设备把图像发送至终端设备，然后由终端设备将图像上传至图像处理服务器，具体的，当终端设备向图像处理服务器发送识别指令后，图像处理服本文档来自技高网...

【技术保护点】
1.一种冰箱内部食材的识别方法，其特征在于，包括：图像处理服务器获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；所述图像处理服务器通过直线检测的方式将所述图像按照层架进行分离；所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别；所述图像处理服务器通将识别结果发送至终端设备。

【技术特征摘要】
1.一种冰箱内部食材的识别方法，其特征在于，包括：图像处理服务器获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；所述图像处理服务器通过直线检测的方式将所述图像按照层架进行分离；所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别；所述图像处理服务器通将识别结果发送至终端设备。2.根据权利要求1所述的方法，其特征在于，所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别，包括：在每一层架对应的图像区域设置至少一个候选框，其中所述至少一个候选框横向排列；在所述候选框周围设置至少两个识别框，其中所述识别框覆盖的像素区域包含所述候选框覆盖的像素区域，并且所述至少两个识别框的像素位置不重合；通过卷积神经网络对所述识别框中的食材进行识别，获取识别结果。3.根据权利要求1所述的方法，其特征在于，所述获取识别结果之前还包括：若确定所述候选框对应的至少两个识别框的识别结果对应同一食材，则保留任一识别框的识别结果。4.一种图像处理服务器，其特征在于，包括：获取模块，用于获取冰箱的储物间室内的图像，所述图像包括所述...

【专利技术属性】
技术研发人员：刘兆祥，王国栋，刘照光，
申请(专利权)人：海信山东冰箱有限公司，
类型：发明
国别省市：山东,37