用于控制设备的方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了用于控制设备的方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：响应于检测到设备开启，采集上述设备的屏幕的设定距离范围内的图像帧序列；响应于上述图像帧序列中存在设定类型的肢体动作图像，从上述图像帧序列中提取包含上述肢体动作图像的待识别图像帧序列；获取上述待识别图像帧序列内肢体动作图像对应的肢体运动特征信息，上述肢体运动特征信息用于表征上述肢体动作图像在上述待识别图像帧序列内的变化信息；基于上述肢体运动特征信息对上述设备进行控制。该实施方式实现对肢体动作的动态识别，提高了识别肢体动作的准确性和有效性，实现了通过肢体动作对设备的有效控制。

【技术实现步骤摘要】
用于控制设备的方法、装置、电子设备和计算机可读介质
本公开的实施例涉及计算机视觉
，具体涉及用于控制设备的方法、装置、电子设备和计算机可读介质。
技术介绍
随着计算机视觉技术的发展，人机交互的方式实现了由接触式交互转换为非接触式交互。其中，非接触式交互主要包括手势识别、肢体动作识别等。现有通过肢体图像(例如可以是手势图像、手臂图像、面部图像等)与设备进行交互时，设备采集的图像中的肢体图像往往只占据整个图像的很小的比例。同时，用户通过肢体图像与设备交互时，肢体通常做出连续变化的动作。因此，不易识别出肢体图像，也不易获取到肢体图像的准确信息，进而降低了用户与设备的交互性。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了用于控制设备的方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题。第本文档来自技高网...

【技术保护点】
1.一种用于控制设备的方法，包括：/n响应于检测到设备开启，采集所述设备的屏幕的设定距离范围内的图像帧序列；/n响应于所述图像帧序列中存在设定类型的肢体动作图像，从所述图像帧序列中提取包含所述肢体动作图像的待识别图像帧序列；/n获取所述待识别图像帧序列内肢体动作图像对应的肢体运动特征信息，所述肢体运动特征信息用于表征所述肢体动作图像在所述待识别图像帧序列内的变化信息；/n基于所述肢体运动特征信息对所述设备进行控制。/n

【技术特征摘要】
1.一种用于控制设备的方法，包括：
响应于检测到设备开启，采集所述设备的屏幕的设定距离范围内的图像帧序列；
响应于所述图像帧序列中存在设定类型的肢体动作图像，从所述图像帧序列中提取包含所述肢体动作图像的待识别图像帧序列；
获取所述待识别图像帧序列内肢体动作图像对应的肢体运动特征信息，所述肢体运动特征信息用于表征所述肢体动作图像在所述待识别图像帧序列内的变化信息；
基于所述肢体运动特征信息对所述设备进行控制。


2.根据权利要求1所述的方法，其中，所述采集所述设备的屏幕的设定距离范围内的图像帧序列，包括：
实时发送距离检测信号，所述距离检测信号用于检测所述设备的屏幕的设定距离范围内的物体；
响应于检测到对应所述距离检测信号的反馈信号，且所述反馈信号的持续时间超过设定时间阈值，采集图像帧序列。


3.根据权利要求1所述的方法，其中，所述设定距离范围为2至5米。


4.根据权利要求1所述的方法，其中，所述获取所述待识别图像帧序列内肢体动作图像对应的肢体运动特征信息，包括：
对于所述待识别图像帧序列内的待识别图像帧，识别该待识别图像帧内的目标肢体动作图像，为所述目标肢体动作图像设置特征点，所述特征点用于表征目标肢体动作图像对应的肢体动作结构；
将所述待识别图像帧序列内的特征点进行位置匹配，得到肢体运动特征信息。


5.根据权利要求4所述的方法，其中，所述基于所述肢体运动特征信息对所述设备进行控制，包括：
识别所述肢体运动特征信息内的至少一个肢体姿态信息，所述肢体姿态信息用于表征肢体在空间中的形状特征；
计算所述至少一个肢体姿态信息中每个肢体姿态信息的持续时间；
根据持续时间从所述至少一个肢体姿态信息中筛选出目标肢体姿态信息；
查询对应所述目标肢体姿态信息的目标控制信号，并根据所述目标控制信号控制所述设备。


6.根据权利要求5所述的方法，其中，所述识别所述肢体运动特征信息内的至少一个肢体姿态信息，包括：
通过预先设定的基准肢体姿态图像模板与所述肢体运动特征信息对应的目标肢体动作图像进行匹配，所述基准肢体姿态图像模板包括用于表征肢体在空间中的基准形状特征的基准肢体姿态信息；
响应于存在对应所述目标肢体动作图像的目标基准肢体姿态图像模板，将所述目标基准肢体姿态图像模板的基准肢体姿态信息设置为所述目标肢体动作图像的肢体姿态信息。


7.根据权利要求5所述的方法，其中，所述图像帧序列中每个图像帧包括时间戳，以及
所述计算所述至少一个肢体姿态信息中每个肢体姿态信息的持续时间，包括：
对于所述至少一个肢体姿态信息中每个肢体姿态信息，提取所述图像帧序列中连续出现该肢体姿态信息的目标图像帧序列，通过所述目标图像帧序列中的第一个目标图像帧的时间戳和最后一个目标图像帧的时间戳计算得到持续时间。


8.根据权利要求5所述的方法，其中，所述根据持续时间从所述至少一个肢体姿态信息中筛选出目标肢体姿态信息，包括：
将持续时间大于设定时间阈值的肢体姿态信息标记为目标肢体姿态信息。


9.根据权利要求5所述的方法，其中，所述根据持续时间从所述至少一个肢体姿态信息中筛选出目标肢体姿态信息，包括：
获取所述至少一个肢体姿态信息中相邻肢体姿态信息的待处理姿态转换信息，所述待处理姿态转换信息用于表征所述相邻肢体姿态信息中的前一个肢体姿态信息转换为所述相邻肢体姿态信息中的后一个肢体姿态信息过程中的变换信息，所述待处理姿态转换信息包括以下至少一项：方向信息，速度信息，轨迹信息；
通过预先设定的基准姿态转换信息与所述待处理姿态转换信息进行匹配；
响应于存在对应所述待处理姿态转换信息的目标基准姿态转换信息，将所述相邻肢体姿态信息标记为目标肢体姿态信息。


10.根据权利要求5所述的方法，其中，所述查询对应所述目标肢体姿态信息的目标控制信号，并根据所述目标控制信号控制所述设备，包括：
在所述屏幕上显示对应所述目标肢体姿态信息的标记点，所述标记点用于表征所述目标肢体姿态信息在设备屏幕上的操作位置；
确定所述标记点所在位置的操作选项，所述操作选项包括至少一条控制指令；
响应于所述操作选项中存在对应所述目标肢体姿态信息的目标控制信号，根据所述目标控制信号控制所述设备。


11.一种用于控制设备的装置，包括：
信号采集单元，响应于检测到设备开启，被配置成采集所述设备的屏幕的设定距离范围内的图像帧序列；
待识别图像帧序列提取单元，响应于所述图像帧序列中存在设定类型...

【专利技术属性】
技术研发人员：董登科，王一同，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11