跨设备交互的方法、装置、投屏系统及终端制造方法及图纸

本申请提供了一种跨设备交互的方法、装置、投屏系统及终端。在实施例中，该方法应用于投屏系统，投屏系统包括第一终端和第二终端，第一终端和第二终端之间投屏连接，该方法包括：第二终端显示第一终端发送的第一画面；第二终端根据用户针对第一画面在第二终端做出的目标操作生成操作事件；其中，目标操作为截屏操作、录屏操作或指关节操作；第一终端确定操作事件对应的操作指令，基于第一画面执行操作指令。由此，通过本申请实施例提供的技术方案，使得投屏的终端可响应用户对被投屏的终端的截屏操作、录屏操作或指关节操作，实现跨设备的用户交互，确保用户体验。确保用户体验。确保用户体验。

【技术实现步骤摘要】
跨设备交互的方法、装置、投屏系统及终端


[0001]本申请涉及通信
，尤其涉及跨设备交互的方法、装置、投屏系统及终端。

技术介绍

[0002]随着投屏技术的发展，投屏的使用给用户带来了极大的方便。根据投屏技术，可以将具有投屏功能的投屏设备所显示的内容投屏到其他具有显示功能的显示设备中进行显示，显示设备显示的内容可以包括投屏设备中显示的各类媒体信息和各种操作数据画面等内容。例如，以将手机作为投屏设备，将电视作为显示设备，将手机的屏幕显示的界面投屏到电视进行显示为例进行说明。在用户通过手机观看视频或者使用直播软件进行直播时等，可以将手机的显示界面投屏到电视进行显示，通过电视进行视频的观看或者直播内容的显示。在将手机的显示界面投屏到电视上之后，通过手机端完成截屏、录屏等操作。但是当手机端和电视端距离较远时，比如，手机在房间A中，用户在房间B中看电视，用户需要到房间A中操作手机才能实现交互，导致用户的使用体验较差。

技术实现思路

[0003]本申请实施例提供了一种跨设备交互的方法、装置、投屏系统及终端，使得投屏的终端可响应用户对被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨设备交互的方法，其特征在于，应用于投屏系统，所述投屏系统包括第一终端和第二终端，所述第一终端和所述第二终端之间投屏连接，所述方法包括：所述第二终端显示所述第一终端发送的第一画面；所述第二终端根据用户针对所述第一画面做出的目标操作生成操作事件；其中，所述目标操作为截屏操作、录屏操作或指关节操作；所述第一终端确定所述操作事件对应的操作指令，基于所述第一画面执行所述操作指令。2.根据权利要求1所述的方法，其特征在于，所述目标操作为指关节操作；所述第二终端根据用户针对所述第一画面做出的目标操作生成操作事件，包括：所述第二终端根据用户针对所述第一画面做出的指关节操作生成第一输入事件；其中，所述第一输入事件包括指关节触摸信息和指关节按压信息；所述第二终端当基于指关节算法识别到所述第一输入事件由所述用户的指关节产生时，确定所述第一输入事件的指关节标识；所述第二终端将所述第一输入事件和所述指关节标识封装为操作事件；所述第一终端确定所述操作事件对应的操作指令，包括：所述第一终端识别所述操作事件，以确定所述用户针对所述第一画面做出的指关节动作；所述第一终端基于所述指关节动作，确定所述操作事件对应的操作指令。3.根据权利要求1所述的方法，其特征在于，所述第二终端在显示所述第一画面之前显示有目标画面；所述第一画面为下拉菜单画面；所述目标操作为针对所述下拉菜单画面中的截屏按钮或录屏按钮所在区域的点击操作；所述第二终端存储有所述下拉菜单画面的布局信息；所述操作指令为所述目标画面的截屏指令或者录屏指令；所述第二终端根据用户针对所述第一画面做出的目标操作生成操作事件，包括：所述第二终端根据用户针对所述下拉菜单画面中的截屏按钮或录屏按钮所在区域做出的点击操作生成第二输入事件；其中，所述第二输入事件包括手指点击操作信息；所述第二终端根据所述下拉菜单画面的布局信息和所述第二输入事件，确定截屏按钮或录屏按钮的标识；所述第二终端将所述截屏按钮或录屏按钮的标识和所述第二输入事件封装成操作事件。4.根据权利要求1所述的方法，其特征在于，所述目标操作为按压所述第二终端的截屏按键；所述第二终端根据用户针对所述第一画面做出的目标操作生成操作事件，包括：所述第二终端根据用户按压所述第二终端的截屏按键生成操作事件；其中，所述操作事件包括按键时间信息和键值；所述第二终端判断所述操作事件不是本地事件时，将所述操作事件发送至所述第一终端；所述第一终端确定所述操作事件对应的操作指令，包括：所述第一终端识别所述操作事件为截屏事件时，确定所述操作事件对应的操作指令为截屏指令。
5.根据权利要求1所述的方法，其特征在于，所述第一终端和所述第二终端之间的投屏方式为异源投屏；所述第一终端设置有所述第二终端的虚拟屏幕；其中，所述第一画面为与所述虚拟屏幕的屏幕尺寸适配的画面，所述虚拟屏幕的屏幕尺寸和所述第二终端的屏幕尺寸适配；所述操作事件携带所述第二终端的设备标识，以使所述第一终端识别所述第二终端的设备标识以确定所述第二终端的虚拟屏幕。6.根据权利要求1所述的方法，其特征在于，所述第一终端和所述第二终端之间的投屏方式为镜像投屏；所述基于所述第一画面执行所述操作指令，包括：对所述第一终端显示的画面执行所述操作指令，其中，所述第一画面为所述第一终端显示的画面的镜像。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：将基于所述第一画面执行所述操作指令得到的第二画面发送至所述第二终端，以使所述第二终端显示所述第二画面。8.一种跨设备交互的方法，其特征在于，应用于第一终端，所述方法包括：将第一画面发送至与第二终端，以使所述第二终端显示所述第一画面；其中，所述第一终端和所述第二终端之间投屏连接；接收所述第二终端发送的操作事件；其中，所述操作事件为所述第二终端根据用户针对所述第一画面做出的目标操作生成，所述目标操作为截屏操作、录屏操作或指关节操作；确定所述操作事件对应的操作指令；基于所述第一画面执行所述操作指令。9.根据权利要求8所述的方法，其特征在于，所述目标操作为指关节操作，所述操作事件为所述第二终端封装第一输入事件和第一输入事件的指关节标识生成；其中，所述第一输入事件根据用户针对所述第一画面做出的指关节操作生成，所述指关节标识当基于指关节算法识别到所述第一输入事件由所述用户的指关节产生时确定；所述确定所述操作事件对应的操作指令，包括：识别所述操作事件，以确定所述用户针对所述第一画面做出的指关节动作；基于所述指关节动作，确定所述操作事件对应的操作指令。10.根据权利要求8所述的方法，其特征在于，所述第二终端在显示的第一画面之前显示有目标画面；所述第一画面为下拉菜单画面；所述目标操作为针对所述下拉菜单画面中的截屏按钮或录屏按钮所在区域在所述第二终端做出的点击操作；所述操作指令为所述目标画面的截屏指令或者录屏指令；所述操作事件包括所述用户点击的所述下拉菜单画面中的截屏按钮或录屏按钮的标识；所述方法还包括：接收所述第二终端发送的第二输入事件；其中，所述第二输入事件为所述第二终端根据用户针对所述目标画面的滑动操作生成，所述第二输入事件包括手指滑动操作信息；当识别所述第二输入事件为显示下拉菜单时，将内部存储的所述下拉菜单画面和所述下拉菜单画面的布局信息发送至所述第二终端，以使所述第二终端在显示的目标画面的基础上显示所述下拉菜单画面，并根据用户针对所述下拉菜单画面中的截屏按钮或录屏按钮
所在区域的点击操作生成的第三输入事件和所述下拉菜单画面的布局信息确定所述截屏按钮或录屏按钮的标识；其中，所述第三输入事件包括手指点击操作信息。11.根据权利要求8所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：任国锋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：