检测设备、冰箱及用户对冰箱内食材的存取行为识别方法技术

本发明专利技术是关于一种检测设备、冰箱及用户对冰箱内食材的存取行为识别方法，涉及智能家电技术领域，本发明专利技术包括：根据重力值确定用户的第一行为信息；以及根据图像确定用户的第二行为信息；根据第一行为信息和第二行为信息中的动作信息进行融合的结果，以及第一行为信息和第二行为信息中的动作信息对应的存取位置信息进行融合的结果，确定用户的最终行为信息。由于本发明专利技术能够通过两种识别方式识别的行为进行融合得到最终行为信息，提高了识别正确率。率。率。

【技术实现步骤摘要】
检测设备、冰箱及用户对冰箱内食材的存取行为识别方法


[0001]本专利技术涉及智能家电
，尤其涉及一种检测设备、冰箱及用户对冰箱内食材的存取行为识别方法。

技术介绍

[0002]随着科技的发展和生活水平的提高，人们对智能冰箱的需求日益强烈。冰箱在家庭中的角色也从一个简单的存储箱变成了食材智能管家，例如在掌握冰箱内的食材、以及存储位置后，可以根据冰箱内的食材信息进行精准的菜谱推荐。
[0003]在掌握冰箱内的食材、以及存储位置时，重要的环节是掌握冰箱内食材的变化情况，也就是识别用户的行为。现有技术中，通过一种方式进行用户的行为识别，例如，通过重力变化识别用户的行为，或者通过图像采集用户的行为的图像进行识别，然而，通过重力变化识别时，检测小质量食材会导致用户行为识别错误；通过图像识别时容易收受光照影响导致用户行为识别错误。
[0004]综上可知，现有的技术方案中，单独采用一种识别方式识别时，会导致识别错误率比较大。

技术实现思路

[0005]本专利技术提供一种检测设备、冰箱及用户对冰箱内食材的存取行为识别方法，能够通过重力和图像的方式分别进行识别，再将两个识别级别进行融合，得到用户的行为，相比于单独采用一种识别方式识别时，提高了识别正确率。
[0006]第一方面，本专利技术实施例提供的一种检测设备，包括：
[0007]接收单元、以及处理器；
[0008]所述接收单元，用于接收安装在冰箱内的传感器检测到的重力值、接收用于检测用户的行为信息的摄像头拍摄到的图像、将所述第一行为信息以及所述第二行为信息返回给用户，并接收用户的反馈结果；
[0009]所述处理器，用于根据安装在冰箱内的传感器检测到的重力值确定用户的第一行为信息；以及根据用于检测用户的行为信息的摄像头拍摄到的图像确定用户的第二行为信息；其中，所述第一行为信息的确定时间和所述第二行为信息的确定时间之间的间隔不超过第一预设时长；用户的行为信息包含用户的动作信息和目标食材在冰箱内的存取位置信息，所述目标食材是所述动作信息对应的食材；
[0010]根据所述第一行为信息和所述第二行为信息中的动作信息进行融合的结果，以及所述第一行为信息和所述第二行为信息中的动作信息对应的存取位置信息进行融合的结果，确定用户的最终行为信息。
[0011]上述方法，能够接收到安装在冰箱内的传感器检测到的重力值、接收用于检测用户的行为信息的摄像头拍摄到的图像，通过重力确定用户的第一行为信息，通过图像确定用户的第二行为信息，将两个行为信息中的动作进行融合，两个行为信息中的存取位置信
息进行融合，完成两种识别用户行为的方式识别出来的行为的融合，从而相比于单独采用一种识别方式识别时，提高了识别正确率。
[0012]在一种可能的实现方式中，所述处理器具体用于：
[0013]若所述第一行为信息和所述第二行为信息中包括多个动作信息，且相同的动作信息对应的存取位置信息相同，则确定用户的最终行为信息中的动作信息为目标行为信息中的动作信息，以及确定用户的最终行为信息中的存取位置信息为目标行为信息中的存取位置信息，其中所述目标行为信息为所述第一行为信息和所述第二行为信息中包含的动作信息最多的行为信息；
[0014]若所述第一行为信息和所述第二行为信息中没有相同的动作信息，或所述第一行为信息和所述第二行为信息中没有相同的存取位置信息，则根据所述第一行为信息的置信率和所述第二行为信息的置信率，和/或根据用户的反馈结果，确定用户的最终行为信息；其中，所述反馈结果是将所述第一行为信息以及所述第二行为信息返回给用户后接收到的。
[0015]上述设备，当第一行为信息和第二行为信息中具有相同的动作信息，且存储位置相同，且动作信息不止包括一个时，则将具有最多的动作信息的行为信息作为用户最终的行为信息，通过对于不均有相同的动作，或者存储位置不相同时，会根据置信率或者与用户沟通的过程，确定用户的最终行为信息，即完成两种识别用户行为的方式识别出来的行为的融合，从而相比于单独采用一种识别方式识别时，提高了识别正确率。
[0016]在一种可能的实现方式中，所述处理器具体用于：
[0017]若所述第一行为信息和所述第二行为信息中没有相同的动作信息，则确定所述第一行为信息的置信率，以及所述第二行为信息的置信率；将置信率高的行为信息作为用户的最终行为信息；
[0018]若所述第一行为信息和所述第二行为信息中包括多个动作信息，且相同的动作信息对应的存取位置信息不相同，则确定所述第一行为信息和所述第二行为信息中的相同的动作信息对应的存取位置信息的置信率，根据置信率高的存取位置信息，确定用户的最终行为信息中的存取位置信息，以及将目标行为信息中的动作信息作为用户的最终行为信息中的动作信息。
[0019]上述设备，在两种方式识别出来的动作信息不相同时，会根据行为信息的置信率，确定置信率高的行为信息为用户的最终行为信息，或者当存取位置不同时，根据置信率高的存取位置信息确定用户最终行为信息中的存取位置信息，这样能够通过置信率对两种方式识别出来的行为信息进行融合，实现无需用户介入的识别方式。
[0020]在一种可能的实现方式中，所述处理器具体用于：
[0021]若根据用户的反馈结果确定出用户选择行为信息，则将用户选择的行为信息作为用户的最终行为信息；
[0022]若根据用户的反馈结果确定出用户没有选择行为信息，则向用户推送多个预设的行为信息，并将用户选择的预设的行为信息，作为用户的最终行为信息；
[0023]若根据用户的反馈结果确定出用户没有选择行为信息，则向用户推送多个预设的动作信息和多个预设的存取位置信息，并将接收到的用户选择预设的存取位置信息和接收到的用户选择预设的动作信息，作为用户的最终行为信息。
[0024]上述设备，能够通过推荐用户预先设定的行为信息、识别出来的行为信息、预先设定的动作信息、预先设备的存取位置信息，使得用户进行选择，从而能够准确的对两种识别方式得到的行为进行融合，得到用户的最终行为信息。
[0025]在一种可能的实现方式中，所述处理器具体用于：
[0026]根据安装在冰箱内的传感器检测到的重力值确定出用户的第一动作信息；
[0027]若根据在第一动作信息之后的第二预设时长内传感器检测到的重力值，确定出用户的下一个动作信息，则根据确定出的第一动作信息和下一个动作信息之间的关系，确定所述第一行为信息包含的用户的动作信息；
[0028]根据检测出第一动作信息所使用的重力值的传感器的安装位置，以及检测出下一个动作信息所使用的重力值对应的传感器的安装位置，以及所述第一行为信息包含的用户的动作信息，确定所述用户的第一行为信息；
[0029]若根据在第一动作信息之后的第二预设时长内的重力值，无法确定出用户的下一个动作信息，则根据检测出第一动作信息所使用的重力值的传感器的安装位置以及第一动作信息，确定所述用户的第一行为信息。
[0030]上述方法，当根据重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测设备，其特征在于，包括：接收单元、以及处理器；所述接收单元，用于接收安装在冰箱内的传感器检测到的重力值、接收用于检测用户的行为信息的摄像头拍摄到的图像、将所述第一行为信息以及所述第二行为信息返回给用户，并接收用户的反馈结果；所述处理器，用于根据安装在冰箱内的传感器检测到的重力值确定用户的第一行为信息；以及根据用于检测用户的行为信息的摄像头拍摄到的图像确定用户的第二行为信息；其中，所述第一行为信息的确定时间和所述第二行为信息的确定时间之间的间隔不超过第一预设时长；用户的行为信息包含用户的动作信息和目标食材在冰箱内的存取位置信息，所述目标食材是所述动作信息对应的食材；根据所述第一行为信息和所述第二行为信息中的动作信息进行融合的结果，以及所述第一行为信息和所述第二行为信息中的动作信息对应的存取位置信息进行融合的结果，确定用户的最终行为信息。2.根据权利要求1所述的检测设备，其特征在于，所述处理器，具体用于：若所述第一行为信息和所述第二行为信息中包括多个动作信息，且相同的动作信息对应的存取位置信息相同，则确定用户的最终行为信息中的动作信息为目标行为信息中的动作信息，以及确定用户的最终行为信息中的存取位置信息为目标行为信息中的存取位置信息，其中所述目标行为信息为所述第一行为信息和所述第二行为信息中包含的动作信息最多的行为信息；若所述第一行为信息和所述第二行为信息中没有相同的动作信息，或所述第一行为信息和所述第二行为信息中没有相同的存取位置信息，则根据所述第一行为信息的置信率和所述第二行为信息的置信率，和/或根据用户的反馈结果，确定用户的最终行为信息；其中，所述反馈结果是将所述第一行为信息以及所述第二行为信息返回给用户后接收到的。3.根据权利要求2所述的检测设备，其特征在于，所述处理器具体用于：若所述第一行为信息和所述第二行为信息中没有相同的动作信息，则确定所述第一行为信息的置信率，以及所述第二行为信息的置信率；将置信率高的行为信息作为用户的最终行为信息；若所述第一行为信息和所述第二行为信息中包括多个动作信息，且相同的动作信息对应的存取位置信息不相同，则确定所述第一行为信息和所述第二行为信息中的相同的动作信息对应的存取位置信息的置信率，根据置信率高的存取位置信息，确定用户的最终行为信息中的存取位置信息，以及将目标行为信息中的动作信息作为用户的最终行为信息中的动作信息。4.根据权利要求2所述的检测设备，其特征在于，所述处理器具体用于：若根据用户的反馈结果确定出用户选择行为信息，则将用户选择的行为信息作为用户的最终行为信息；若根据用户的反馈结果确定出用户没有选择行为信息，则向用户推送多个预设的行为信息，并将用户选择的预设的行为信息，作为用户的最终行为信息；若根据用户的反馈结果确定出用户没有选择行为信息，则向用户推送多个预设的动作信息和多个预设的存取位置信息，并将接收到的用户选择预设的存取位...

【专利技术属性】
技术研发人员：曲磊，谢飞学，高语函，陆书轩，孙菁，张璧程，朴艺兰，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：