一种屏幕控制方法和装置制造方法及图纸

本发明专利技术公开一种屏幕控制方法和装置。本发明专利技术的屏幕控制装置包括数据采集单元、关键点检测单元、目标跟踪单元、手势识别单元和动作识别与控制单元。本发明专利技术的屏幕控制方法包括：通过相机获取彩色图像帧、深度图像帧和IR图像帧；通过彩色图像帧获得目标部位的关键点；根据三种图像帧像素点之间的对应关系获取关键点的深度值，并获取所述关键点的空间位置信息以获取跟踪目标的运动状态信息；根据三种图像帧像素点之间的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像帧上提取手部区域的图片进行手势识别；根据运动状态信息和目标手势确定目标动作。本发明专利技术能够更准确而精细进行屏幕控制加强用户体验。

A Screen Control Method and Device

The invention discloses a screen control method and device. The screen control device of the present invention includes a data acquisition unit, a key point detection unit, a target tracking unit, a gesture recognition unit and an action recognition and control unit. The screen control method of the present invention includes: acquiring color image frame, depth image frame and IR image frame by camera; acquiring key points of target position by color image frame; acquiring depth value of key points according to corresponding relationship among pixels of three image frames, and acquiring spatial position information of key points to obtain motion state information of tracking target; and acquiring motion state information of tracking target according to three kinds of images. The corresponding relationship between the pixels in the frame and the key points of the target hand are used to segment the opponent region in the deep image frame, and the image of the hand region is extracted from the IR image frame for gesture recognition. The target action is determined according to the motion state information and the target gesture. The invention can perform screen control more accurately and finely to enhance user experience.

【技术实现步骤摘要】
一种屏幕控制方法和装置
本专利技术涉及计算机
，尤其涉及一种屏幕控制方法和装置。
技术介绍
目前大屏幕交互的方法主要是基于触摸式、激光阵列式、遥控式或语音交互式的方法，随着屏幕技术的不断提升，大屏幕清晰度和尺寸也在不断攀升，对于超大屏幕而言，触摸式交互和激光阵列式交互已经无法满足要求，正逐渐的退出舞台，而语音交互和体感交互方式正不断成为主流。语音交互式方法需要控制者不断的说出自己的需求，但需求说出的解析度不由控制者确定，具有一定的限制，且在公共场合，正确有效的捕获控制者的语音也具有一定的难度。而单纯的运动交互虽然能达到较好的控制效果，例如体感游戏，但是体感交互对于控制者的体力具有一定要求，很难做到长时间控制。
技术实现思路
本专利技术提供了一种屏幕控制方法和装置，以更准确而精细进行屏幕控制加强用户体验。本专利技术一方面提供了一种屏幕控制方法，包括：通过相机获取彩色图像帧、深度图像帧和IR图像帧，并确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；根据彩色图像帧、深度图像帧之间像素点的对应关系获取关键点本文档来自技高网...

【技术保护点】
1.一种屏幕控制方法，其特征在于，所述方法包括：通过相机获取彩色图像帧、深度图像帧和红外IR图像帧，并确定所述彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，以根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；根据三种图像帧之间像素点的对应关系和目标手部的关键点，在所述深度图像帧上对手部区域进行分割，并在所述IR图像帧上提取所述手部区域的图片进行手势识别，获取目标...

【技术特征摘要】
1.一种屏幕控制方法，其特征在于，所述方法包括：通过相机获取彩色图像帧、深度图像帧和红外IR图像帧，并确定所述彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，以根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；根据三种图像帧之间像素点的对应关系和目标手部的关键点，在所述深度图像帧上对手部区域进行分割，并在所述IR图像帧上提取所述手部区域的图片进行手势识别，获取目标手势；根据所述跟踪目标的运动状态信息和所述目标手势确定目标动作，基于所述目标动作对屏幕进行控制。2.根据权利要求1所述的方法，其特征在于，所述根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，包括：根据所述相机的相机参数和所述关键点的深度值，获得所述关键点在相机坐标系中的坐标位置；根据目标部位的关键点所包括的左右肩部关键点确定肩部中心点以及所述肩部中心点在相机坐标系中的位置坐标；建立以所述肩部中心点的位置坐标为原点的控制坐标系，并根据所述控制坐标系与所述相机坐标系之间的位置关系，确定所述关键点在所述控制坐标系中的空间位置信息。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，包括：根据预设策略从所述相机拍摄的彩色图像帧中确定初始跟踪目标；根据所述初始跟踪目标的关键点的空间位置信息，采用卡尔曼跟踪方法，对所述初始跟踪目标进行跟踪；在所述初始跟踪目标被跟踪丢失时，从所述相机拍摄的彩色图像帧中重新确定符合所述预设策略的当前跟踪目标，并对所述当前跟踪目标进行跟踪。4.根据权利要求3所述的方法，其特征在于，所述预设策略包括：确定位于所述相机中线的目标为跟踪目标；或者，确定与所述相机距离最近的目标为跟踪目标；或者，确定位于相机中线且与所述相机距离最近的目标为跟踪目标。5.根据权利要求3所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，还包括：对当前彩色图像帧中关键点的空间位置进行卡尔曼初始平滑，获得卡尔曼平滑结果；基于设定的平滑指数和设定的平滑误差，对上一彩色图像帧中关键点的空间位置的平滑结果和所述卡尔曼平滑结果进行指数平滑，获得指数平滑结果，所述设定的平滑误差指示对关键点的空间位置的最大平滑程度误差；根据指数平滑结果和上一彩色图像帧中关键点的空间位置的平滑结果确定抖动信息；根据所述抖动信息和设定的静止行为判定误差，确定当前彩色图像帧中所述关键点平滑后的空间位置，所述设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。6.根据权利要求5所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，还包括：从所述相机获取第一数量的彩色图像帧作为目标帧序列，并确定所述目标帧序列的第一个彩色...

【专利技术属性】
技术研发人员：余海桃，吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东,37