一种面向智能电视的隐式交互方法技术

本发明专利技术提供了一种面向智能电视的隐式交互方法，属于智能电器领域。所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。

【技术实现步骤摘要】

本专利技术属于智能电器领域，具体涉及一种面向智能电视的隐式交互方法。
技术介绍
伴随人机交互技术的发展，基于视觉的手势交互在人机交互领域的重要性愈发突出。与传统的WIMP交互方式相比，基于视觉的手势交互摆脱了鼠标、键盘对用户的束缚，并且能为用户提供更大的交互空间、更加逼真的交互体验。基于视觉的手势交互现已被广泛应用在虚拟装配、虚拟增强现实、体感游戏、机器人控制、智能电视交互等领域。在智能电视手势交互系统中，基于视觉的手势交互帮助用户摆脱了对遥控器的束缚，并以远距离操作的方式为用户操作智能电视提供了一种自然的交互方式。智能电视交互场景中，由于功能繁多、复杂，需要大量的简单手势命令以及简单手势命令的组合才能完成操作。大量的手势命令增加了用户的记忆负担，给用户带来了极大的认知负荷；同时，基于视觉的手势交互中存在的识别率、midas touch、复杂手势动作命令问题，限制了用户操作的准确性，同样给用户造成了极大的操作负荷。针对基于视觉的手势交互中存在的问题，武汇岳(请参考：武汇岳,张凤军,刘玉进,等.基于视觉的手势界面关键技术研究[J].计算机学报,2009,32(10):2030-2041)从认知心理学角度，将手势交互过程分为选择性处理、分配性处理、集中处理3个阶段，结合人类知觉信息加工中的注意力模型提出了一个基于非接触式的视觉手势状态转移模型；通过模仿人类视觉系统对目标对象的识别处理机制，使系统具备能够选择性处理关键性信息的能力，有效避免了Midas Touch问题。梁卓锐(请参考：梁卓锐,徐向民.面向视觉手势交互的映射关系自适应调整[J].华南理工大学学报：自然科学版,2014,42(8):52-57)提出了一种基于用户操作特点的映射关系自适应调整方法，基于Borg’s CR-10尺度心理感知实验测试用户手部移动的感知；该方法根据交互过程中的手部移动情况，在每次连续交互操作结束后对映射方程进行调整，使用户在自身物理限制的操作范围内完成全屏幕的操作覆盖，并通过降低用户手部移动的几率来提高用户体验。王西颖(请参考：王西颖,张习文,戴国忠.一种面向实时交互的变形手势跟踪方法[J].软件学报,2007,18(10):2423-2433)提出一种新颖
的变形手势实时跟踪方法，利用一组2D手势模型替代高纬度的3D手势模型，通过对图像中手指和指尖定位，将K-means聚类算法与粒子滤波相结合，实现对变形手势的快速、准确的连续跟踪，满足了实时性的要求。但是该方法对手势图像的分割质量要求较高，影响了手势交互的鲁棒性。Wei-Po Lee(请参考Lee W P,Che K,Huang J Y.A smart TV system with body-gesture control,tag-based rating and context-aware recommendation[J].Knowledge-Based Systems,2014,56(3):167-178)利用kinect体感摄影机实现了自然手势控制智能电视的交互方式，创建一种基于社交标记和用户所处的情境上下文信息的推荐系统，为用户推荐最适合用户个性化需求的服务内容。这种方法融入了用户使用智能电视的情境上下文信息内容推荐服务，在一定程度上减轻了用户的认知和操作负担，但是没有考虑用户本身的体态行为上下文信息对减轻用户交互的影响。Vatavu(请参考：Vatavu R D.User-defined gestures for free-hand TV control[C]//Proceedings of the 10th European conference on Interactive tv and video.ACM,2012:45-48)提出的用户自定义手势控制电视的交互系统中，通过研究用户完成电视基本操作任务时的用户手势动作偏好，观察用户行为，建立用户手势和电视功能之间的最佳映射关系，获得完成某一电视操作任务的最佳手势操作方式，但用户依然需要记忆大量的手势动作实现电视操作，用户的认知负担较大。田丰(请参考：田丰,邓昌智,周明骏,等.Post-WIMP界面隐式交互特征研究[J].计算机科学与探索,2007(2))提出了Post-WIMP的隐式交互方法，利用识别技术、上下文感知技术、用户修正技术来支持Post-WIMP的隐式交互；该方法使用户无需关注交互任务的执行方式和过程，只需关注任务本身，使人们以更加自然的方式来完成交互任务。徐光祐(请参考：徐光祐,陶霖密,史元春,等.普适计算模式下的人机交互[J].计算机学报,2007,30(7):1041-1053)对普适计算环境下的人机交互进行深入分析，提出了以用户和环境为主要影响因素的隐式交互模式。他将物理空间中的人机交互分为基于物理空间接口的人机交互和基于觉察上下文计算的隐式交互；隐式交互中计算系统利用上下文知识对用户的操作进行解释和理解，并把它作为对计算系统的附加输入，从而完成交互任务。觉察上下文信息的提取与感知推理是实现隐式交互的基础，叶喜勇(请参考：叶喜勇,陶霖密,王国健.基于动作理解的隐式交互[C]//第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】.2011)在老年看护人机交互应用中提出了一种动态上下文模型及ADL-DBN推理模型，实现基于动作理解的隐式交互方式；这种交互方式帮助计算机不分散人的注意力情况下理解人的意图，完成交互任务。王国建(请参考：王国建,陶霖密.支持隐式人机交互的分布式视觉系统[J].中国图象图形学报,2010,15(8):1133-1138)提出了一种支持隐式人机交互的分布式视觉系统，并将其应用在小型会议场景中。在基于视觉的手势交互中，由于上下文知识的模糊性，导致对人体动作的解释就存
在多义性(请参考：徐光祐.人机交互中的体态语言理解[M].电子工业出版社,2014)。传统的基于规则的知识表示和推理，不能有效反映交互上下文信息的模糊性。关志伟(请参考：关志伟.面向用户意图的智能人机交互[D].中国科学院软件研究所,2000)首次将FCM(请参考：Kosko,Bart.Fuzzy cognitive maps[J].International Journal of Man-Machine Studies,1986,24(1):65-75)应用于人机交互的模糊知识表示和推理，有效地实现了自然人机交互的高层认知过程。但由于FCM不能提供丰富且动态的推理机制，不能表示交互概念间因果关系测度的不确定性(请参考：马楠,杨炳儒,鲍泓,等.模糊认知图研究进展[J].计算机科学,2011,38(10):23-28)。Papageorgiou E(请参考：Papageorgiou E,Stylios C,Groumpos P.Fuzzy Cognitive Map Learning Based on Nonlinear Hebbian Rule[M]//AI 2003:Advances in Artificial Intelligence.Springer Berlin Heidelberg,2003:256-268)提出了一种通过大量本文档来自技高网...

【技术保护点】
一种面向智能电视的隐式交互方法，其特征在于：所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。

【技术特征摘要】
1.一种面向智能电视的隐式交互方法，其特征在于：所述方法包括：实时获取用户体态行为信息,检测用户位置，并检测与识别用户手势动作；同时检测智能电视的功能状态信息，获得低层次的显式交互信息；将处理后的用户体态行为信息与智能电视实时的功能状态信息相结合，建立基于用户行为和智能电视状态的多层次动态上下文推理模型，获得高层次的隐含交互信息；将隐含交互信息可视化，识别用户在可视化隐含信息指导下完成的手势动作，建立显隐信息融合的隐式交互行为模型，完成交互任务。2.根据权利要求1所述的面向智能电视的隐式交互方法，其特征在于：所述用户位置是指用户相对智能电视上摄像头的水平距离、角度，检测用户位置具体如下：通过Kinect获取人体主要关节点的三维坐标数据，根据人体头部节点和人体重心坐标信息，确定人体相对智能电视的位置。3.根据权利要求2所述的面向智能电视的隐式交互方法，其特征在于：所述检测与识别用户手势动作包括用户手部静态行为的识别和用户手部动态行为的识别，具体如下：基于Kinect实现手势部位的检测与分割，通过OpenNI SDK获取人手质心坐标，在人手坐标领域内的三维空间提取出手的部位，再使用肤色模型分割方法对获取的人手部位进行处理，得到初步的人手图像，对初步的人手图像进行去噪、膨胀、腐蚀处理，得到最终的人手图像；采用HCDF-H算法进行用户手部静态行为的识别；用户手部动态行为的识别。4.根据权利要求3所述的面向智能电视的隐式交互方法，其特征在于：所述采用HCDF-H算法进行用户手部静态行为的识别具体如下：首先标准化手势图像为32*32尺寸，并计算手势重心点到手势最远点作为主方向向量，沿主方向将手势图像分为8个子区域，求出子区域像素点数量，生成手势坐标点分布特征向量，再使用类-Hausdorff距离与手势模板库中每种手势的对比，得出最终识别结果。5.根据权利要求4所述的面向智能电视的隐式交互方法，其特征在于：所述用户手部动态行为的识别包括：Step1.输入手势图像帧，空间人手三维质心坐标，初始化动态手势类型特征向量DGT；Step2.根据手势质心坐标，以每连续T帧图像计算一次连续T帧图像的静态手势运动距离d，并以连续T帧图像更新一次d；Step3.若d<D，开始识别触发动态手势的静态手势Gesture_start，D为阈值；Step4.若Gesture_start识别成功，获取此时的静态手势质心点坐标S手势并转入Step5；Step5.进行动态手势质心轨迹提取，并将轨迹质心点三维坐标存储在data数组中；Step6.再次判断连续T帧手势运动距离d，若d<D则识别结束静态手势Gesture_end；计算data数组长度length；Step7.若Gesture_end识别成功，获取此时的静态手势质心坐标E；Step8.若length>20，根据触发动态手势的静态手势质心点S、结束动态手势的静态手势质心点E的坐标值，判断动态手势运动方向，否则，再次判断d，若d>D执行step9，否则返回step8；Step9.判断动态...

【专利技术属性】
技术研发人员：冯志全，徐治鹏，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37