一种食材存取的识别方法及冰箱技术

本申请公开一种食材存取的识别方法及冰箱，包括：获取设置于冰箱内的运动相机采集的第一视频流；所述第一视频流是所述运动相机在检测到冰箱门被打开后进行采集的；根据所述第一视频流确定运动物体的运动趋势；根据所述运动趋势，确定所述运动相机的第一采集角度；控制所述运动相机按照所述第一采集角度进行旋转后，获取所述运动相机采集的第二视频流；根据所述第二视频流进行食材存取识别。该方式在对运动相机采集的第一视频流进行分析后，可控制相机旋转合适的角度，并基于相机在新的采集角度下所采集的视频流而对冰箱全空间食材存取进行精准识别，而避免了背景技术中固定安装方式的相机在动态识别过程中存在的视野盲区问题。问题。问题。

【技术实现步骤摘要】
一种食材存取的识别方法及冰箱


[0001]本申请实施例涉及智能家居领域，尤其涉及一种食材存取的识别方法及冰箱。

技术介绍

[0002]随着人工智能技术和智慧家居的发展，对冰箱食材智能化管理的要求也越来越高。现实情况下，冰箱中食材摆放往往较为拥挤且杂乱无章，浪费用户查找时间。因此，精确识别食材的存取动作和存取位置成为冰箱食材智能化管理的关键。
[0003]目前，对于冰箱食材存取动作和存取位置的识别，可采用图像识别技术中的动态识别方法，即通过固定安装在冰箱外部的相机，对用户在存放食材过程中的存取动作和存取位置进行动态识别。但该方式容易存在视野盲区，无法实现冰箱全空间食材存取的识别。

技术实现思路

[0004]本申请提供一种食材存取的识别方法及冰箱，用于更准确地对冰箱全空间食材进行识别。
[0005]第一方面，本申请实施例提供一种食材存取的识别方法，该方法包括：获取设置于冰箱内的运动相机采集的第一视频流；所述第一视频流是所述运动相机在检测到冰箱门被打开后进行采集的；根据所述第一视频流确定运动物体的运动趋势；根据所述运动趋势，确定所述运动相机的第一采集角度；控制所述运动相机按照所述第一采集角度进行旋转后，获取所述运动相机采集的第二视频流；根据所述第二视频流进行食材存取识别。
[0006]基于该方案，通过半固定化的安装方式将相机安装于冰箱内，一方面该相机具有可以旋转的属性，也即该相机为运动相机，则在对运动相机采集的第一视频流进行分析后，可确定运动相机需要进行旋转的角度(即第一采集角度)，并在运动相机经过对应角度值的旋转后，则可以基于运动相机在新的采集角度下所采集的视频流(即第二视频流)而对冰箱全空间食材存取进行识别，而避免了
技术介绍
中固定安装方式的相机在动态识别过程中存在的视野盲区问题，另一方面还可以避免
技术介绍
中相机因外置安装而可能带来的用户隐私泄露的问题。
[0007]在一种可能实现的方法中，所述获取设置于冰箱内的运动相机采集的第一视频流之前，还包括：确定所述冰箱门的开门状态；根据所述开门状态，确定所述运动相机的第二采集角度；控制所述运动相机按照所述第二采集角度进行旋转；所述第一视频流是按照所述第二采集角度进行采集的。
[0008]基于该方案，如在冰箱为双开门冰箱的场景下，根据用户对箱门的打开状态(包括仅打开左侧箱门，仅打开右侧箱门，同时打开双侧箱门)，而控制运动相机初步地进行第二采集角度的旋转，则可更好、更准确地捕捉用户后续可能操作到的冰箱的一些区域，在运动相机以第二采集角度进行旋转后，运动相机所采集的第一视频流中可更全面的覆盖到运动物体，因此提升了对冰箱全空间食材存储进行识别的准确性。
[0009]在一种可能实现的方法中，所述根据所述第一视频流确定运动物体的运动趋势，
包括：针对第一视频帧中的任一特征点，若所述特征点在第二视频帧中存在匹配特征点，则确定所述特征点的帧间运动趋势向量；所述第二视频帧是所述第一视频流中、位于所述第一视频帧之后的相邻视频帧；根据各特征点的帧间运动趋势向量，确定所述第一视频帧到所述第二视频帧的平均帧间运动趋势向量；根据所述第一视频流中各相邻视频帧之间的平均帧间运动趋势向量确定所述第一视频流的平均运动趋势向量，并将所述平均运动趋势向量作为运动物体的运动趋势。
[0010]基于该方案，由于单位时间内运动相机可以获取多张视频帧，因此为了描述运动物体的运动趋势，可以对一段视频流中的任意相邻的两帧视频帧计算同一特征点在这两帧视频帧之间的帧间运动趋势向量，并基于各特征点而计算这两帧视频帧的平均帧间运动趋势向量，最后可以根据该段视频流中的各相邻视频帧之间的平均帧间运动趋势向量而确定出它的平均运动趋势向量，也即将所确定出的平均运动趋势向量作为运动物体的运动趋势。根据该方式所确定出的运动趋势，可对运动相机需要进行调整的视频采集角度进行确定，从而让运动相机以一种最佳的、可全方位捕捉到用户作用于冰箱的手部的采集角度来采集视频流，以精准地识别用户对冰箱食材的存取。
[0011]在一种可能实现的方法中，所述根据所述运动趋势，确定所述运动相机的第一采集角度，包括：确定所述运动相机的相机坐标系到世界坐标系的转换矩阵；根据所述转换矩阵，确定所述运动相机的光轴在所述世界坐标系下的第一坐标；根据所述运动趋势在所述世界坐标系下的第二坐标和所述第一坐标，确定所述运动相机的第一采集角度。
[0012]基于该方案，在进行冰箱内食材存取识别的过程中，由于相机处于运动状态，需要将运动相机的光轴统一到世界坐标系下，也即需要确定运动相机的光轴在世界坐标系下的第一坐标，从而可以根据第一坐标和运动趋势在世界坐标系的第二坐标，来确定运动相机在采集第二视频流时的第一采集角度，从而当运动相机以第一采集角度进行视频流的采集时，可以全方位地捕捉到用户作用于冰箱的手部，以达到精准地对冰箱食材的存取识别。
[0013]在一种可能实现的方法中，所述根据所述第二视频流进行食材存取识别，包括：从所述第二视频流中确定感兴趣区域；所述感兴趣区域为用户用于存取食材的手部；根据所述感兴趣区域，确定用户对食材的存取动作；对所述感兴趣区域进行食材种类的识别，确定用户存取的食材种类。
[0014]基于该方案，在将运动相机按照第一采集角度进行旋转后，运动相机所采集的第二视频流可以用于准确地捕捉到用户作用于冰箱食材的手部，也即确定感兴趣区域；随后，一方面可以基于该感兴趣区域确定用户对食材的存取动作，另一方面还可以用于对感兴趣区域进行食材种类的识别，确定用户存取的食材种类。该方式可以提升对冰箱全空间食材存取的准确识别。
[0015]在一种可能实现的方法中，所述从所述第二视频流中确定感兴趣区域，包括：针对所述第二视频流中任意相邻的两帧视频帧，确定特征点在所述两帧视频帧间的运动位移是否满足第一设定阈值；确定满足所述第一设定阈值的第一特征点的中心点；将与所述中心点的距离满足第二设定阈值的第一特征点作为第二特征点，并将所述第二特征点所在区域作为所述感兴趣区域。
[0016]基于该方案，在确定感兴趣区域的过程中，相较于背景环境而言，用户用于存取冰箱食材的手部的运动位移远大于背景环境的运动位移，因此，对于第二视频流中的任意相
邻的两帧视频帧，可以对运动位移满足第一设定阈值的一些特征点进行粗提取，即得到第一特征点，接着，针对于第一特征点而言，可以对其取中心点，并将第一特征点中、与中心点距离相对较近的一些特征点作为第二特征点，也即将一些过于分散的第一特征点作为噪声点而进行过滤。通过该方式，可以将第二特征点所在区域作为感兴趣区域，并将该感兴趣区域作为后续的识别用户对食材存取动作以及食材种类识别的依据。
[0017]在一种可能实现的方法中，所述根据所述感兴趣区域，确定用户对食材的存取动作，包括：根据所述第二视频流中设定时长的视频帧，确定所述感兴趣区域在所述设定时长内的运动趋势；根据所述设定时长内的运动趋势与所述运动相机的光轴之间的关系，确定用户对食材的存取动作。
[0018]基于该方案，在得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种食材存取的识别方法，其特征在于，包括：获取设置于冰箱内的运动相机采集的第一视频流；所述第一视频流是所述运动相机在检测到冰箱门被打开后进行采集的；根据所述第一视频流确定运动物体的运动趋势；根据所述运动趋势，确定所述运动相机的第一采集角度；控制所述运动相机按照所述第一采集角度进行旋转后，获取所述运动相机采集的第二视频流；根据所述第二视频流进行食材存取识别。2.如权利要求1所述的方法，其特征在于，所述获取设置于冰箱内的运动相机采集的第一视频流之前，还包括：确定所述冰箱门的开门状态；根据所述开门状态，确定所述运动相机的第二采集角度；控制所述运动相机按照所述第二采集角度进行旋转；所述第一视频流是按照所述第二采集角度进行采集的。3.如权利要求1所述的方法，其特征在于，所述根据所述第一视频流确定运动物体的运动趋势，包括：针对第一视频帧中的任一特征点，若所述特征点在第二视频帧中存在匹配特征点，则确定所述特征点的帧间运动趋势向量；所述第二视频帧是所述第一视频流中、位于所述第一视频帧之后的相邻视频帧；根据各特征点的帧间运动趋势向量，确定所述第一视频帧到所述第二视频帧的平均帧间运动趋势向量；根据所述第一视频流中各相邻视频帧之间的平均帧间运动趋势向量确定所述第一视频流的平均运动趋势向量，并将所述平均运动趋势向量作为运动物体的运动趋势。4.如权利要求1所述的方法，其特征在于，所述根据所述运动趋势，确定所述运动相机的第一采集角度，包括：确定所述运动相机的相机坐标系到世界坐标系的转换矩阵；根据所述转换矩阵，确定所述运动相机的光轴在所述世界坐标系下的第一坐标；根据所述运动趋势在所述世界坐标系下的第二坐标和所述第一坐标，确定所述运动相机的第一采集角度。5.如权利要求1至4任一项所述的方法，其特征在于，所述根据所述第二视频流进行食材存取识别，包括：从所述第二...

【专利技术属性】
技术研发人员：陆书轩，高语函，陈维强，高雪松，曲磊，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：