一种信息识别方法、智能家电技术

本申请公开了一种信息识别方法、智能家电，用以通过单目彩色相机实现用户对智能家电进行操作的过程中的运动目标检测。所述方法包括：通过设置在冰箱上的第一单目彩色相机采集用户对冰箱进行食材存取操作的第一图像组，以及通过设置在冰箱上的第二单目彩色相机同时采集用户对冰箱进行食材存取操作的第二图像组；利用第一图像组确定运动目标对应的第一关键点集合，并利用第二图像组确定运动目标对应的第二关键点集合；其中，运动目标包括用户对冰箱进行食材存取操作的过程中涉及的食材图像或手部图像；将第一关键点集合中的关键点与第二关键点集合中的关键点进行关键点匹配，并利用匹配的关键点对确定运动目标三维坐标信息。息。息。

【技术实现步骤摘要】
一种信息识别方法、智能家电


[0001]本申请涉及信息
，尤其涉及一种信息识别方法、智能家电。

技术介绍

[0002]随着计算机视觉技术的发展和技术突破，图像识别、目标跟踪等技术越来越广泛地被用于家电领域，而基于计算机视觉技术的人工智能冰箱，因为其在家居生活过程中的必须性，成为当下家电领域的研究热点，冰箱食材智能化精准管理也逐渐成为冰箱领域中凸显核心竞争力的关键技术。而冰箱食材智能化管理的一大前提是要能够准确识别冰箱食材的存取动作和存取位置，以方便对冰箱中食材的精确查找和管理。
[0003]目前主要有静态检测和动态检测两种食材检测技术，静态检测指将摄像头置于冰箱内部通过比较两次所拍摄的冰箱内部图片检测食材的存取情况，动态检测主要通过捕捉食材和手部等运动目标的感兴趣区域(Region Of Interest，ROI)进行跟踪和识别。
[0004]然而，静态检测方法容易出现食材遮挡问题，即位于冰箱内侧的食材容易被位于冰箱外侧的食材所遮挡而无法有效识别，且由于摄像头无法安装于冰箱冷冻区，因此无法做到冰箱全空间食材检测。动态检测方法需要实时检测所存取的食材并进行跟踪，对用户操作进行存取动作识别以及存取位置的识别，该方法多依赖于与深度相机结合以获取用户操作的深度信息，但是冰箱场景存在大量高反射率材质导致深度信息存在较大误差，使得对用户操作检测不准确。

技术实现思路

[0005]本申请实施例提供了一种信息识别方法、智能家电，用以通过单目彩色相机实现用户对智能家电进行操作的过程中的运动目标检测，从而降低成本，并提高检测准确性。
[0006]本申请实施例提供的一种信息识别方法包括：
[0007]通过设置在智能家电上的第一单目彩色相机采集用户对所述智能家电进行操作的第一图像组，以及通过设置在所述智能家电上的第二单目彩色相机同时采集所述用户对所述智能家电进行操作的第二图像组；
[0008]利用所述第一图像组确定运动目标对应的第一关键点集合，并利用所述第二图像组确定所述运动目标对应的第二关键点集合；其中，所述运动目标包括所述用户对所述智能家电进行操作的过程中涉及的操作目标图像或手部图像；
[0009]将所述第一关键点集合中的关键点与所述第二关键点集合中的关键点进行关键点匹配，并且，利用匹配的关键点对，确定所述运动目标的三维坐标信息。
[0010]因此，该方法通过两个单目彩色相机，即第一单目彩色相机和第二单目彩色相机，对用户的家电操作动作进行图像采集，并基于采集到的图像实现了用户对家电的操作过程中的运动目标检测，从而不仅可以降低成本，还能提高检测准确性，避免了现有技术中采用深度相机获取用户操作的深度信息，而由于冰箱等家电的应用场景存在大量高反射率材质导致深度信息存在较大误差，导致对用户操作检测不准确的问题。
[0011]可选地，利用所述第一图像组确定运动目标对应的第一关键点集合，具体包括：
[0012]对于所述第一图像组中的每一帧图像上的每一像素，计算该像素与该图像上的相邻像素的灰度值之差，当得到的多个差值满足预设条件时，确定该像素为目标像素，并利用确定的目标像素生成第一目标像素集合；
[0013]利用连续多帧第一图像，对所述第一目标像素集合中的每一目标像素进行跟踪，利用跟踪结果，从所述第一目标像素集合中筛选出运动目标对应的像素点，生成第一关键点集合；
[0014]利用所述第二图像组确定运动目标对应的第二关键点集合，具体包括：
[0015]对于所述第二图像组中的每一帧图像上的每一像素，计算该像素与该图像上的相邻像素的灰度值之差，当得到的多个差值满足预设条件时，确定该像素为目标像素，并利用确定的目标像素生成第二目标像素集合；
[0016]利用连续多帧第二图像，对所述第二目标像素集合中的每一目标像素进行跟踪，利用跟踪结果，从所述第二目标像素集合中筛选出运动目标对应的像素点，生成第二关键点集合。
[0017]可选地，从所述第一目标像素集合中进行第一次筛选，得到第一筛选结果；
[0018]从所述第一筛选结果中进行第二次筛选，利用第二次筛选得到的筛选结果生成第一关键点集合；
[0019]其中，所述第一筛选结果中的像素点满足如下条件之一或组合：
[0020]在相邻两帧第一图像上的位移小于所述第一目标像素集合中所有像素在所述相邻两帧第一图像上的平均位移；
[0021]在相邻两帧第一图像上的运动方向小于所述第一目标像素集合中所有像素在所述相邻两帧第一图像上的平均运动方向。
[0022]可选地，所述第二次筛选具体包括：
[0023]确定所述第一筛选结果中的所有像素点的质心；
[0024]从所述第一筛选结果中删除与所述质心距离大于门限值的像素点，将剩余的像素点构成的集合作为第一关键点集合。
[0025]可选地，从所述第二目标像素集合中进行第一次筛选，得到第一筛选结果；
[0026]从所述第一筛选结果中进行第二次筛选，利用第二次筛选得到的筛选结果生成第二关键点集合；
[0027]其中，所述第一筛选结果中的像素点满足如下条件之一或组合：
[0028]在相邻两帧第二图像上的位移小于所述第二目标像素集合中所有像素在所述相邻两帧第二图像上的平均位移；
[0029]在相邻两帧第二图像上的运动方向小于所述第二目标像素集合中所有像素在所述相邻两帧第二图像上的平均运动方向。
[0030]可选地，所述第二次筛选具体包括：
[0031]确定所述第一筛选结果中的所有像素点的质心；
[0032]从所述第一筛选结果中删除与所述质心距离大于门限值的像素点，将剩余的像素点构成的集合作为第二关键点集合。
[0033]可选地，所述预设条件包括：
[0034]所述多个差值的绝对值超过门限值，并且超过门限值的差值的个数超过预设值。
[0035]可选地，利用匹配的关键点对，确定所述运动目标的三维坐标信息，具体包括：
[0036]利用匹配的关键点对的二维坐标，以及所述第一单目彩色相机和第二单目彩色相机的焦距、光心位置，确定所述运动目标的三维坐标信息。
[0037]可选地，该方法还包括：
[0038]根据所述运动目标的三维坐标信息，确定所述用户的操作动作和/或操作位置；
[0039]其中，根据所述运动目标的三维坐标信息，确定所述用户的操作位置，具体包括：
[0040]利用所述用户对所述智能家电进行操作过程中的所述运动目标的所有三维坐标信息，确定所述运动目标的运动轨迹；
[0041]确定所述运动轨迹与所述智能家电的垂直平面的交点坐标；
[0042]根据所述交点坐标，以及所述智能家电内部设置的用于盛放操作目标的结构的坐标区间，确定所述用户的操作位置。
[0043]可选地，该方法还包括：
[0044]利用所述第一关键点集合和所述第二关键点集合，确定所述运动目标的感兴趣区域ROI，并对所述ROI进行操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息识别方法，其特征在于，该方法包括：通过设置在智能家电上的第一单目彩色相机采集用户对所述智能家电进行操作的第一图像组，以及通过设置在所述智能家电上的第二单目彩色相机同时采集所述用户对所述智能家电进行操作的第二图像组；利用所述第一图像组确定运动目标对应的第一关键点集合，并利用所述第二图像组确定所述运动目标对应的第二关键点集合；其中，所述运动目标包括所述用户对所述智能家电进行操作的过程中涉及的操作目标图像或手部图像；将所述第一关键点集合中的关键点与所述第二关键点集合中的关键点进行关键点匹配，并且，利用匹配的关键点对，确定所述运动目标的三维坐标信息。2.根据权利要求1所述的方法，其特征在于，利用所述第一图像组确定运动目标对应的第一关键点集合，具体包括：对于所述第一图像组中的每一帧图像上的每一像素，计算该像素与该图像上的相邻像素的灰度值之差，当得到的多个差值满足预设条件时，确定该像素为目标像素，并利用确定的目标像素生成第一目标像素集合；利用连续多帧第一图像，对所述第一目标像素集合中的每一目标像素进行跟踪，利用跟踪结果，从所述第一目标像素集合中筛选出运动目标对应的像素点，生成第一关键点集合；利用所述第二图像组确定运动目标对应的第二关键点集合，具体包括：对于所述第二图像组中的每一帧图像上的每一像素，计算该像素与该图像上的相邻像素的灰度值之差，当得到的多个差值满足预设条件时，确定该像素为目标像素，并利用确定的目标像素生成第二目标像素集合；利用连续多帧第二图像，对所述第二目标像素集合中的每一目标像素进行跟踪，利用跟踪结果，从所述第二目标像素集合中筛选出运动目标对应的像素点，生成第二关键点集合。3.根据权利要求2所述的方法，其特征在于，从所述第一目标像素集合中进行第一次筛选，得到第一筛选结果；从所述第一筛选结果中进行第二次筛选，利用第二次筛选得到的筛选结果生成第一关键点集合；其中，所述第一筛选结果中的像素点满足如下条件之一或组合：在相邻两帧第一图像上的位移小于所述第一目标像素集合中所有像素在所述相邻两帧第一图像上的平均位移；在相邻两帧第一图像上的运动方向小于所述第一目标像素集合中所有像素在所述相邻两帧第一图像上的平均运动方向。4.根据权利要求3所述的方法，其特征在于，所述第二次筛选具体包括：确定所述第一筛选结果中的所有像素点的质心；从所述第一筛选结果中删除与所述质心距离大于门限值的像素点，将剩余的像素点构成的集合作为第...

【专利技术属性】
技术研发人员：陆书轩，高语函，赵启东，曲磊，陈维强，高雪松，
申请(专利权)人：青岛海信电子技术服务有限公司，
类型：发明
国别省市：