镜子显示器及其远程控制方法技术

本申请公开了一种镜子显示器及其远程控制方法，涉及智能家居技术领域。镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。性。性。

【技术实现步骤摘要】
镜子显示器及其远程控制方法


[0001]本申请涉及智能家居
，特别涉及一种镜子显示器及其远程控制方法。

技术介绍

[0002]智能镜子包括显示面板，该显示面板可以显示镜像，且可以在该镜像上叠加显示应用控件(例如视频播放控件和音乐播放控件)。智能镜子在接收到用户针对该应用控件的触控操作后，可以执行相应的控制操作。例如，若用户触控了音乐播放控件，则智能镜子可以响应于针对该音乐播放控件的触控操作，控制扬声器播放音乐。

技术实现思路

[0003]本申请提供了一种镜子显示器及其远程控制方法，所述技术方案如下：
[0004]一方面，提供了一种镜子显示器的远程控制方法，所述镜子显示器包括摄像头和显示面板；所述方法包括：
[0005]获取所述摄像头采集的处于初始姿态的人体的第一图像；
[0006]根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
[0007]获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
[0008]根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
[0009]执行所述操作光标选中的控件所对应的操作。
[0010]另一方面，提供了一种镜子显示器，所述镜子显示器包括：处理器、摄像头和显示面板；所述处理器用于：
[0011]获取所述摄像头采集的处于初始姿态的人体的第一图像；
[0012]根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
[0013]获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
[0014]根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
[0015]执行所述操作光标选中的控件所对应的操作。
[0016]可选的，所述处理器用于：
[0017]若所述操作光标在选中的控件上的停留时长大于时长阈值，则执行所述操作光标选中的控件所对应的操作。
[0018]可选的，所述处理器用于：
[0019]根据所述第一图像中所述人体的肩部关键点与肘部关键点在所述屏幕坐标系中的位置，确定所述人体的大臂长度，并根据所述第一图像中所述人体的肘部关键点和手部关键点在所述屏幕坐标系中的位置，确定所述人体的小臂长度；
[0020]根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域；
[0021]根据所述肘部移动区域和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域。
[0022]可选的，所述肘部移动区域为矩形区域；所述处理器用于：
[0023]根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述肘部移动区域的第一顶点和第二顶点在所述屏幕坐标系中的位置；
[0024]其中，所述第一顶点和所述第二顶点为所述肘部移动区域的对角线的两个端点。
[0025]可选的，所述第一顶点为所述肘部移动区域的左上顶点，所述第二顶点为所述肘部移动区域的右下顶点；所述第一顶点在所述屏幕坐标系中的位置(x2，y2)满足：
[0026]x2＝x1‑
L1×
sin(α1)
×
sin(δ1)；
[0027]y2＝y1‑
[L1‑
L1×
cos(β)]；
[0028]所述第二顶点在所述屏幕坐标系中的位置(x3，y3)满足：
[0029]x3＝x1‑
L1×
sin(α2)
×
sin(δ2)；
[0030]y3＝y1；
[0031]其中，所述屏幕坐标系具有第一坐标轴和第二坐标轴，所述第一坐标轴的延伸方向平行于所述显示面板的像素行延伸方向，所述第二坐标轴的延伸方向平行于所述显示面板的像素列延伸方向；
[0032]x1为所述第一图像中的肘部关键点在所述第一坐标轴上的坐标，y1为所述第一图像中的肘部关键点在所述第二坐标轴上的坐标，L1为所述大臂长度；
[0033]β为所述操作姿态下大臂与所述第二坐标轴的夹角，α1为所述操作姿态下大臂与参考坐标轴的第一夹角，α2为所述操作姿态下大臂与所述参考坐标轴的第二夹角，所述参考坐标轴分别与所述第一坐标轴和所述第二坐标轴垂直；
[0034]δ1为大臂与所述参考坐标轴的夹角为α1时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角，δ2为大臂与所述参考坐标轴的夹角为α2时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角。
[0035]可选的，所述可操作区域为矩形区域；所述处理器用于：
[0036]根据所述第一顶点在所述屏幕坐标系中的位置，所述第二顶点在所述屏幕坐标系中的位置和所述小臂长度，确定所述可操作区域的第三顶点和第四顶点在所述屏幕坐标系中的位置；
[0037]其中，所述第三顶点和所述第四顶点为所述可操作区域的对角线上的两个端点。
[0038]可选的，所述肘部移动区域为所述人体的右侧手臂的肘部移动区域，所述第三顶点为所述可操作区域的左上顶点，所述第四顶点为所述可操作区域的右下顶点；所述第三顶点在所述屏幕坐标系中的位置(x4，y4)满足：
[0039]x4＝x2‑
L2×
cos(θ1)
×
cos(γ1)；
[0040]y4＝y2‑
L2×
cos(θ1)
×
sin(γ1)；
[0041]所述第四顶点在所述屏幕坐标系中的位置(x5，y5)满足：
[0042]x5＝x3+L2×
cos(θ2)
×
cos(180
‑
γ2)；
[0043]y5＝y3‑
L2×
cos(θ3)
×
sin(180
‑
γ3)；
[0044]其中，L2为所述小臂长度，γ3为所述操作姿态下小臂与所述第一坐标轴的夹角范围的下限，γ2为所述小臂与所述第一坐标轴的夹角范围的上限，γ1大于γ3且小于γ2，θ1为所述小臂与所述第一坐标轴的夹角为γ1时，所述小臂与所述屏幕坐标系所在平面的夹角，θ2为所述小臂与所述第一坐标轴的夹角为γ2时，所述小臂与所述屏幕坐标系所在平面的夹角，θ3为所述小臂与所述第一坐标轴的夹角为γ3时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种镜子显示器的远程控制方法，其特征在于，所述镜子显示器包括摄像头和显示面板；所述方法包括：获取所述摄像头采集的处于初始姿态的人体的第一图像；根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；执行所述操作光标选中的控件所对应的操作。2.根据权利要求1所述的方法，其特征在于，所述执行所述操作光标选中的控件所对应的操作，包括：若所述操作光标在选中的控件上的停留时长大于时长阈值，则执行所述操作光标选中的控件所对应的操作。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域，包括：根据所述第一图像中所述人体的肩部关键点与肘部关键点在所述屏幕坐标系中的位置，确定所述人体的大臂长度，并根据所述第一图像中所述人体的肘部关键点和手部关键点在所述屏幕坐标系中的位置，确定所述人体的小臂长度；根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域；根据所述肘部移动区域和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域。4.根据权利要求3所述的方法，其特征在于，所述肘部移动区域为矩形区域；所述根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域，包括：根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述肘部移动区域的第一顶点和第二顶点在所述屏幕坐标系中的位置；其中，所述第一顶点和所述第二顶点为所述肘部移动区域的对角线的两个端点。5.根据权利要求4所述的方法，其特征在于，所述第一顶点为所述肘部移动区域的左上顶点，所述第二顶点为所述肘部移动区域的右下顶点；所述第一顶点在所述屏幕坐标系中的位置(x2，y2)满足：x2＝x1‑
L1×
sin(α1)
×
sin(δ1)；y2＝y1‑
[L1‑
L1×
cos(β)]；所述第二顶点在所述屏幕坐标系中的位置(x3，y3)满足：x3＝x1+L1×
sin(α2)
×
sin(δ2)；y3＝y1；
其中，所述屏幕坐标系具有第一坐标轴和第二坐标轴，所述第一坐标轴的延伸方向平行于所述显示面板的像素行延伸方向，所述第二坐标轴的延伸方向平行于所述显示面板的像素列延伸方向；x1为所述第一图像中的肘部关键点在所述第一坐标轴上的坐标，y1为所述第一图像中的肘部关键点在所述第二坐标轴上的坐标，L1为所述大臂长度；β为所述操作姿态下大臂与所述第二坐标轴的夹角，α1为所述操作姿态下大臂与参考坐标轴的第一夹角，α2为所述操作姿态下大臂与所述参考坐标轴的第二夹角，所述参考坐标轴分别与所述第一坐标轴和所述第二坐标轴垂直；δ1为大臂与所述参考坐标轴的夹角为α1时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角，δ2为大臂与所述参考坐标轴的夹角为α2时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角。6.根据权利要求5所述的方法，其特征在于，所述可操作区域为矩形区域；所述根据所述肘部移动区域在所述屏幕坐标系中的...

【专利技术属性】
技术研发人员：刘晓潇，李广琴，马琳杰，胡雁，孙浩，
申请(专利权)人：青岛海信智慧生活科技股份有限公司，
类型：发明
国别省市：