冰箱显示屏的控制方法、模组、电子设备及可读介质技术

本申请涉及一种冰箱显示屏的控制方法、模组、电子设备及可读介质，其中，方法包括：采集冰箱预设方向的目标区域的图像数据和冰箱所在空间的点云数据；识别图像数据，并在识别到图像数据中存在用户的情况下，确定用户的目标视线方向，以及根据点云数据确定用户的目标行走方向；判断目标行走方向与目标视线方向是否均为冰箱所在的方向，并在目标行走方向与目标视线方向均为冰箱所在的方向的情况下，控制显示屏亮屏。通过根据用户的运动轨迹和视线方向来预测用户是否有观看显示屏的意图，然后根据用户意图来确定是否开启显示屏，解决了由于用户走动误开显示屏的问题。户走动误开显示屏的问题。户走动误开显示屏的问题。

【技术实现步骤摘要】
冰箱显示屏的控制方法、模组、电子设备及可读介质


[0001]本申请涉及智能家居
，尤其涉及一种冰箱显示屏的控制方法、模组、电子设备及可读介质。

技术介绍

[0002]随着智能家居的发展及生活水平的提高，用户对冰箱提出了诸如智能联网、影音播放等更多功能需求。显示屏作为人机交互的重要组成部分，其结构设计亦面临不断地改善与升级，显示屏的功能也从最初图文信息显示、触控按键逐步发展至智能化的操作显示界面。为了方便用户查看或操作显示屏，一般都将显示屏设置为常亮或者直接根据用户与冰箱的距离来控制是否点亮显示屏，但是经常会有用户在冰箱附近活动，仅仅根据用户与冰箱的距离来作为显示屏开启的依据容易误开显示屏，这样会产生额外的功耗。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请提供了一种冰箱显示屏的控制方法、模组、电子设备及可读介质，以解决由于用户走动误开显示屏的技术问题。
[0005]根据本申请实施例的一个方面，本申请提供了一种冰箱显示屏的控制方法，包括：采集冰箱预设方向的目标区域的图像数据和冰箱所在空间的点云数据；识别图像数据，并在识别到图像数据中存在用户的情况下，确定用户的目标视线方向，以及根据点云数据确定用户的目标行走方向；判断目标行走方向与目标视线方向是否均为冰箱所在的方向，并在目标行走方向与目标视线方向均为冰箱所在的方向的情况下，控制显示屏亮屏。
[0006]可选地，根据点云数据确定用户的目标行走方向包括：利用点云数据生成用户的行动轨迹；将行动轨迹输入至方向预测模型，以通过方向预测模型确定用户的目标行走方向。
[0007]可选地，利用点云数据生成用户的行动轨迹包括：将点云数据按照时间进行划分，得到多帧点云数据；基于每一帧点云数据对空间进行三维重建，得到多个时刻下的空间的三维模型；按照时间顺序在多个三维模型中对用户的所在位置进行追溯，得到用户在空间的行动轨迹。
[0008]可选地，利用点云数据生成用户的行动轨迹还包括：从点云数据中提取第一人体点云数据以及空间点云数据；利用第一人体点云数据构建三维人体模型，并利用空间点云数据构建三维空间模型；从点云数据中提取多个第二人体点云数据，并利用第二人体点云数据对三维人体模型在三维空间模型中进行路径重建，以得到用户的行动轨迹，其中，第二人体点云数据为在用户的移动过程中的多个时刻采集到的点云数据。
[0009]可选地，确定用户的目标视线方向包括：获取图像数据中的人脸图像和人眼图像；从人脸图像中提取脸部特征，并基于脸部特征获取用户的初始视线方向；利用人眼图像和脸部特征确定用户的眼睛特征；将脸部特征和眼睛特征进行融合，得到融合特征，以通过融
合特征确定视线残差信息，其中，视线残差信息用于表征初始视线方向与目标视线方向之间的视线差异；利用视线残差信息对初始视线方向进行调整，得到用户的目标视线方向。
[0010]可选地，所述方法还包括按照以下方式得到方向预测模型：获取用户在空间的历史轨迹片段，其中，历史轨迹片段为基于用户在第一时刻到第二时刻之间的行走记录生成的，历史轨迹片段携带有方向标签，方向标签用于表征用户在第二时刻的下一时刻的实际方向；将历史轨迹片段作为训练集对初始模型进行训练，以通过初始模型输出训练方向；确定训练方向与方向标签的实际方向之间的方向误差；在方向误差小于或等于误差阈值的情况下，将初始模型确定为方向预测模型。
[0011]可选地，在确定训练方向与方向标签的实际方向之间的方向误差之后，所述方法还包括：在方向误差大于误差阈值的情况下，调整初始模型的模型参数；利用训练集对调整后的初始模型进行训练，直至初始模型输出的训练方向与实际方向之间的方向误差大于误差阈值，将初始模型确定为方向预测模型。
[0012]根据本申请实施例的另一方面，本申请提供了一种冰箱显示屏的控制模组，包括：数据采集模块，用于采集冰箱预设方向的目标区域的图像数据和冰箱所在空间的点云数据；方向确定模块，用于识别图像数据，并在识别到图像数据中存在用户的情况下，确定用户的目标视线方向，以及根据点云数据确定用户的目标行走方向；方向判定模块，用于判断目标行走方向与目标视线方向是否均为冰箱所在的方向，并在目标行走方向与目标视线方向均为冰箱所在的方向的情况下，控制显示屏亮屏。
[0013]根据本申请实施例的另一方面，本申请提供了一种电子设备，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。
[0014]根据本申请实施例的另一方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。
[0015]本申请实施例提供的上述技术方案与相关技术相比具有如下优点：
[0016]本申请通过一种冰箱显示屏的控制方法，包括：采集冰箱预设方向的目标区域的图像数据和冰箱所在空间的点云数据；识别图像数据，并在识别到图像数据中存在用户的情况下，确定用户的目标视线方向，以及根据点云数据确定用户的目标行走方向；判断目标行走方向与目标视线方向是否均为冰箱所在的方向，并在目标行走方向与目标视线方向均为冰箱所在的方向的情况下，控制显示屏亮屏。通过根据用户的运动轨迹和视线方向来预测用户是否有观看显示屏的意图，然后根据用户意图来确定是否开启显示屏，解决了由于用户走动误开显示屏的问题。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为根据本申请实施例提供的一种可选的冰箱显示屏的控制方法的流程图；
[0020]图2为根据本申请实施例提供的一种可选的冰箱显示屏的控制模组的框图；
[0021]图3为本申请实施例提供的一种可选的电子设备结构示意图。
具体实施方式
[0022]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0024]随着智能家居的发展及生活水平的提高，用户对冰箱提出了诸如智能联网、影音播放等更多功能需求。显示屏作为人机交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰箱显示屏的控制方法，其特征在于，包括：采集冰箱预设方向的目标区域的图像数据和所述冰箱所在空间的点云数据；识别所述图像数据，并在识别到所述图像数据中存在用户的情况下，确定所述用户的目标视线方向，以及根据所述点云数据确定所述用户的目标行走方向；判断所述目标行走方向与所述目标视线方向是否均为所述冰箱所在的方向，并在所述目标行走方向与所述目标视线方向均为所述冰箱所在的方向的情况下，控制所述显示屏亮屏。2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据确定所述用户的目标行走方向包括：利用所述点云数据生成所述用户的行动轨迹；将所述行动轨迹输入至方向预测模型，以通过所述方向预测模型确定所述用户的目标行走方向。3.根据权利要求2所述的方法，其特征在于，所述利用所述点云数据生成所述用户的行动轨迹包括：将所述点云数据按照时间进行划分，得到多帧点云数据；基于每一帧点云数据对所述空间进行三维重建，得到多个时刻下的所述空间的三维模型；按照时间顺序在多个所述三维模型中对所述用户的所在位置进行追溯，得到所述用户在所述空间的所述行动轨迹。4.根据权利要求2所述的方法，其特征在于，所述利用所述点云数据生成所述用户的行动轨迹还包括：从所述点云数据中提取第一人体点云数据以及空间点云数据；利用所述第一人体点云数据构建三维人体模型，并利用所述空间点云数据构建三维空间模型；从所述点云数据中提取多个第二人体点云数据，并利用所述第二人体点云数据对所述三维人体模型在所述三维空间模型中进行路径重建，以得到所述用户的所述行动轨迹，其中，所述第二人体点云数据为在所述用户的移动过程中的多个时刻采集到的点云数据。5.根据权利要求1所述的方法，其特征在于，所述确定所述用户的目标视线方向包括：获取所述图像数据中的人脸图像和人眼图像；从所述人脸图像中提取脸部特征，并基于所述脸部特征获取所述用户的初始视线方向；利用所述人眼图像和所述脸部特征确定用户的眼睛特征；将所述脸部特征和所述眼睛特征进行融合，得到融合特征，以通过所述融合特征确定视线残差信息，其中，所述视线残差信息用于表征所述初始视线方向与所述目标视线方向之间的视线差异；利用所述视线残差...

【专利技术属性】
技术研发人员：林兹颜，刘家逸，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：