【技术实现步骤摘要】
一种基于图像流的远距离大屏交互控制方法
本专利技术涉及一种基于图像流的远距离大屏交互控制方法，属于计算机应用人机交互领域。
技术介绍
近年来，随着科技的发展，移动智能设备由于其便捷性已经逐渐普及，因此越来越多的研究考虑将移动设备用于替代或集成原始的操作设备，赋予移动设备更多的权力来进行多种多样的交互操作。其中使用移动设备来远距离操控大屏幕，已成为了近年来人机交互领域的研究热点之一，例如使用智能手机、平板电脑等，由于这些移动设备便于手持与携带，同时又集成了触摸屏、摄像头、惯性传感器、陀螺仪和磁力计等多种传感器，能感知周边环境和用户的行为动作，对其可实现的交互行为有着极大的想象空间。由于大屏幕具有高分辨率、大尺寸的特性，大屏显示设备得到了广泛的应用，可应用于多种科学信息可视化和群组协同工作的场景，因此对大屏幕交互方式的研究显得尤为重要。大屏幕一般都会使用PC端的操作系统，采用鼠标的交互操作来点选目标，然而大屏幕的大尺寸特性使得其一次性能展现更多的内容，高分辨率特性使其能够同时呈现更多的局部细节，大屏幕交互场景中用户往往既...
【技术保护点】
1.一种基于图像流的远距离大屏交互控制方法，其特征在于：包括大屏幕端与智能手机端，在智能手机端利用智能手机内置惯性传感器的姿态角信息远距离控制大屏幕端的大屏上的矩形光标，大屏上的矩形光标区域内容截图作为图像流实时传输到智能手机端，在智能手机端利用触摸控制信息确认点选目标点，再通过惯性传感器控制模式或触摸屏控制模式实现对选中目标点的多种交互操作；所述方法包括初始化阶段、光标控制阶段、截图点选阶段和交互手势阶段，具体实现为：/n第一步，在初始化阶段，智能手机端和大屏幕端分别运行一个应用程序，同时智能手机端和大屏幕端通过蓝牙或Wifi建立双向通讯；/n第二步，智能手机端在物理上将...
【技术特征摘要】
1.一种基于图像流的远距离大屏交互控制方法，其特征在于：包括大屏幕端与智能手机端，在智能手机端利用智能手机内置惯性传感器的姿态角信息远距离控制大屏幕端的大屏上的矩形光标，大屏上的矩形光标区域内容截图作为图像流实时传输到智能手机端，在智能手机端利用触摸控制信息确认点选目标点，再通过惯性传感器控制模式或触摸屏控制模式实现对选中目标点的多种交互操作；所述方法包括初始化阶段、光标控制阶段、截图点选阶段和交互手势阶段，具体实现为：
第一步，在初始化阶段，智能手机端和大屏幕端分别运行一个应用程序，同时智能手机端和大屏幕端通过蓝牙或Wifi建立双向通讯；
第二步，智能手机端在物理上将屏幕分为上下两个分区，上分区作为接收截图图像流区域，称为触控操作区；下分区作为惯性传感器控制开关区域，称为运动控制区，智能手机端的应用程序向大屏幕端发送惯性传感器的姿态角信息或触控信息，并接收大屏幕端矩形光标的截图图像流数据，显示在触控操作区；
第三步，大屏幕端的应用程序创建一个矩形光标，矩形光标的宽高比与智能手机端的触控操作区完全相似，大屏幕端实时向智能手机端发送矩形光标的区域图像流，并接收智能手机端的惯性传感器的姿态角信息，即航向角和俯仰角信息分别映射为矩形光标在大屏幕端的x和y坐标，还接收智能手机端的触控信息映射为大屏幕端的鼠标相关操作；
第四步，通过长按智能手机端的运动控制区，智能手机端的应用程序将惯性传感器采集的姿态角信息发送给大屏幕端，控制大屏幕端的矩形光标移动以框选目标点进行粗略定位，同时大屏幕端实时传输矩形光标范围内的内容至智能手机端的触控操作区显示，进入光标控制阶段；
第五步，在光标控制阶段，当所述矩形光标移动到目标附近后抬离手指，大屏幕端的矩形光标固定，智能手机端不再发送惯性传感器信息，此时智能手机端触发模式切换由惯性传感器控制模式切换为触摸屏控制模式，进入截图点选阶段；
第六步，在截图点选阶段，通过在智能手机端的触控操作区触摸截图中要选取的目标点进行精确定位，根据触控操作区点选的相对位置反算大屏幕端的绝对位置，判断选中大屏幕端的目标点，进入交互手势阶段；
第七步，在交互手势阶段，当选中目标点后，通过长按与抬离智能手机端的运动控制区，在大屏幕端对该选中点与矩形光标进行拖拽操作；通过双击触控操作区的该选中点实现大屏幕端的双击操作；通过长按触控操作区的该选中点实现大屏幕端的右击操作。
2.根据权利要求1所述的方法，其特征在于：所述第二步中，运动控制区的高度为拇指宽度的1.5倍～2.5倍，以避免手指移动导致模式的误切换，根据人体工学尺寸拇指宽度为15mm～25mm，触控操作区的高度为智能手机端...
【专利技术属性】
技术研发人员：厉彬，李林林，张凤军，梁赓，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。