一种移动终端及其交互式投影的方法和系统技术方案

本发明专利技术公开了一种移动终端及其交互式投影的方法和系统，属于移动终端技术领域。该交互式投影的方法应用于移动终端，该方法包括：移动终端获取移动终端投影在投影显示设备上的预览图像；将获取到的预览图像与移动终端的屏幕形成坐标映射；当移动终端采集到投影显示设备上的光斑时，查询与光斑的坐标相对应的屏幕的映射坐标；执行移动终端屏幕上与查询到的映射坐标对应位置的操作项。本发明专利技术使得用户不仅可以利用移动终端进行投影，还可以通过操作投影的画面操控移动终端的屏幕的显示，进而改变投影画面的显示，克服了利用专门的红外摄像机带来的成本高且不方便携带的缺陷。

【技术实现步骤摘要】
一种移动终端及其交互式投影的方法和系统
本专利技术涉及移动终端
，具体涉及一种移动终端及其交互式投影的方法和 系统。
技术介绍
随着智能手机在显示技术和摄像技术的不断发展。现有技术已经能将智能手机屏 幕的显示内容投影到其它大屏幕显示设备，如wifi display，MHL等技术。通过操控智能手 机的输入设备，获得良好的影音娱乐等体验。 但是，用户无法操控被投影的大屏幕显示设备，如智能手机里的一个应用投影到 大屏幕上进行显示，只能通过触摸智能手机的屏幕来操控该应用，而无法直接触摸大屏幕 来进行操控。在计算机领域虽有交互式投影的成熟应用，但大多数情况需要使用专门的红 外摄像机，不如智能手机低成本而且方便携带。同时，在智能手机端，由于摄像头的相机畸 变和测光要求，对定位的精度和难度有较高的要求，目前的技术还无法实现。
技术实现思路
本专利技术提供一种移动终端及其交互式投影的方法和系统，以达到通过对投影画面 的操作进而操控移动终端的目的，克服上述利用专门的红外摄像机带来的成本高又不方便 携带的缺陷。 本专利技术解决上述技术问题的技术方案如下。 根据本专利技术的一个方面，提供的一种交互式投影的方法，该方法应用于移动终端， 该方法包括：移动终端获取移动终端投影在投影显示设备上的预览图像；将获取到的预览 图像与移动终端的屏幕形成坐标映射；当移动终端采集到投影显示设备上的光斑时，查询 与光斑的坐标相对应的屏幕的映射坐标；执行移动终端屏幕上与查询到的映射坐标对应位 置的操作项。 优选地，上述光斑为激光笔发出的可见光光斑，针对上述移动终端采集投影显示 设备上的光斑，该方法还包括：移动终端的摄像头采集经滤光片过滤后的投影显示设备上 的预览图像；获取预览图像上最亮的点，并将该最亮的点作为采集到的光斑。 优选地，该方法还包括：通过屏幕上的点与预览图像上的点的映射关系建立畸变 模型；利用畸变模型矫正预览图像中的畸变部分。 优选地，上述执行移动终端屏幕上与查询到的映射坐标对应位置的操作项包括： 打开移动终端屏幕上与查询到的映射坐标对应位置的应用程序。 根据本专利技术的另一个方面，提供的一种移动终端，该移动终端包括：预览图像获取 模块，用于移动终端获取移动终端投影在投影显示设备上的预览图像；坐标映射模块，用于 将获取到的预览图像与移动终端的屏幕形成坐标映射；光斑采集模块，用于当移动终端采 集到投影显示设备上的光斑时，查询与光斑的坐标相对应的屏幕的映射坐标；执行模块，用 于执行移动终端屏幕上与查询到的映射坐标对应位置的操作项。 toon] 优选地，上述移动终端还包括：过滤模块，用于移动终端的摄像头采集经滤光片过 滤后的投影显示设备上的预览图像；最亮点获取模块，用于获取预览图像上最亮的点，并将 该最亮的点作为采集到的光斑。 优选地，上述坐标映射模块还包括：畸变模型建立模块，用于通过屏幕上的点与预 览图像上的点的映射关系建立畸变模型；矫正模块，用于利用畸变模型矫正预览图像中的 畸变部分。 根据本专利技术的又一个方面，提供的一种交互式投影的系统，该系统包括：上述的移 动终端，该移动终端上设有投影显示设备的接口；投影显示设备，与移动终端连接，用于显 示预览图像和接收光斑；激光笔，用于发出可见光的光斑。 优选地，上述一种交互式投影的系统还包括：滤光片，设在移动终端的摄像头的前 面，用于对进入移动终端的摄像头的光线强度进行衰减。 本专利技术提供了一种移动终端及其交互式投影的方法和系统，使得用户不仅可以利 用移动终端进行投影，还可以通过操作投影的画面操控移动终端的屏幕的显示，进而改变 投影画面的显示。 【附图说明】 图1为根据本专利技术的一个实施例的交互式投影方法的流程图； 图2为根据本专利技术的一个实施例的光斑的获取方法的流程图； 图3为根据本专利技术的一个实施例的移动终端的示范性结构框图； 图4为根据本专利技术的一个实施例的坐标映射模块的示范性结构框图； 图5为根据本专利技术的一个实施例的交互式投影系统的结构示意图。 【具体实施方式】 以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并 非用于限定本专利技术的范围。 图1为根据本专利技术的一个实施例的交互式投影方法的流程图，下面结合图1来描 述根据本专利技术的一个实施例的交互式投影方法的流程图，该方法应用于移动终端，该移动 终端包括但不限于手机、平板电脑以及其它便携式电子设备，如图1所示，该方法包括以下 步骤。 S10、移动终端获取移动终端投影在投影显示设备上的预览图像。 其中，上述投影显示设备可以是大尺寸电视机显示器，也可以是大屏幕投影仪。在 获取上述预览图像时，还需要调整移动终端的位置，使得移动终端的摄像头能完全预览投 影显示设备上的图像并获取该图像，使得获取到的预览图像是移动终端投影在投影显示设 备上的全部画面。可以通过移动终端的接口将该移动终端屏幕显示的内容输出到投影显示 设备上。 S20、将获取到的预览图像与移动终端的屏幕形成坐标映射。 S30、当移动终端采集到投影显示设备上的光斑时，查询与光斑的坐标相对应的屏 幕的映射坐标。 S40、触发手机驱动程序的上报事件，执行移动终端屏幕上与查询到的映射坐标对 应位置的操作项。 其中，上述执行移动终端屏幕上与查询到的映射坐标对应位置的操作项包括：打 开移动终端屏幕上与查询到的映射坐标对应位置的应用程序。 其中，上述光斑为激光笔发出的可见光光斑。 考虑到手机摄像头的相机畸变，拍摄预览图像中间位置近似认为无畸变，而边角 存在畸变，上述交互式投影的方法还可以包括： 通过屏幕上的点与预览图像上的点的映射关系建立畸变模型； 利用畸变模型矫正预览图像中的畸变部分。 上述畸变模型以及根据畸变模型矫正图像上畸变部分（预览图像的边角）的方案 是已知的算法，本专利技术的专利技术点之一在于在移动终端上使用了该技术算法，该技术算法具 体解释为： (1)打开移动终端开发模式下的指针位置选项，并缩放页面，用细笔点击手机屏幕 上靠中心的9个宫格图标。此时，手机会上报原始图标的坐标位置，同时在手机拍摄预览界 面，点击图标也能显示相应的图标坐标位置，这样就可以产生9组相对应的坐标。 (2)通过9组坐标的对应关系建立起关于单应矩阵的方程，然后多个坐标的对应 关系可得到单应矩阵的方程组，对方程组进行奇异值分解求得单应矩阵。 (3)通过单应矩阵的逆变换，可以计算出手机屏幕的坐标到手机拍摄预览图像无 畸变部分的坐标。 (4)按照步骤（1)选取另外9组手机边角位置坐标，形成9组手机拍摄预览图像畸 变部分的坐标与对应的手机屏幕的坐标。 (5)通过对应关系建立合适的相机畸变模型，利用畸变模型参数，将移动终端拍摄 的预览图像中的畸变部分的坐标映射成预览图像无畸变的坐标。 (6)利用步骤（4)的手机屏幕的坐标和步骤（5)产生的手机拍摄预览图像无畸变 的坐标和重新计算步骤（3)所述的单应矩阵。 (7)重复上述步骤多次，选取比较准确的参数值，该比较准确的参数值可以为求得 的多组参数值的平均值。 图2为根据本专利技术的一个实施例的光斑的获取方法本文档来自技高网...

【技术保护点】
一种交互式投影的方法，其特征在于，该方法应用于移动终端，该方法包括：所述移动终端获取所述移动终端投影在投影显示设备上的预览图像；将获取到的所述预览图像与所述移动终端的屏幕形成坐标映射；当所述移动终端采集到所述投影显示设备上的光斑时，查询与所述光斑的坐标相对应的屏幕的映射坐标；执行所述移动终端屏幕上与所述查询到的映射坐标对应位置的操作项。

【技术特征摘要】
1. 一种交互式投影的方法，其特征在于，该方法应用于移动终端，该方法包括： 所述移动终端获取所述移动终端投影在投影显示设备上的预览图像； 将获取到的所述预览图像与所述移动终端的屏幕形成坐标映射； 当所述移动终端采集到所述投影显示设备上的光斑时，查询与所述光斑的坐标相对应 的屏幕的映射坐标； 执行所述移动终端屏幕上与所述查询到的映射坐标对应位置的操作项。2. 根据权利要求1所述的方法，其特征在于，所述光斑为激光笔发出的可见光光斑。3. 根据权利要求2所述的方法，其特征在于，针对所述移动终端采集投影显示设备上 的光斑，该方法还包括： 所述移动终端的摄像头采集经滤光片过滤后的所述投影显示设备上的预览图像； 获取所述预览图像上最亮的点，并将该最亮的点作为所述采集到的光斑。4. 根据权利要求1所述的方法，其特征在于，该方法还包括： 通过所述屏幕上的点与所述预览图像上的点的映射关系建立畸变模型； 利用所述畸变模型矫正所述预览图像中的畸变部分。5. 根据权利要求1至4任一项所述的方法，其特征在于，所述执行所述移动终端屏幕上 与所述查询到的映射坐标对应位置的操作项包括： 打开所述移动终端屏幕上与所述查询到的映射坐标对应位置的应用程序。6. -种移动终端，其特征在于，该移动终端包括： 预览图像获取模块，用于所述移动终端获取所述移动终端投影...

【专利技术属性】
技术研发人员：龚银银，
申请(专利权)人：深圳市中兴移动通信有限公司，
类型：发明
国别省市：广东;44