终端的录屏交互方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种终端的录屏交互方法、装置、计算机设备和存储介质。该方法包括：响应于录屏任务启动指令，对终端屏幕进行实时录屏；获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理；根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备，本发明专利技术实施例的技术方案在对录屏内容中的每一个视频帧进行正常图像处理的同时，最大程度的减少对CPU的消耗，一定程度上避免了录屏过程中录屏进程的强制关闭，提高了录屏类直播的直播顺畅度。

【技术实现步骤摘要】
终端的录屏交互方法、装置、计算机设备及存储介质
本专利技术实施例涉及信息交互
，尤其涉及一种终端的录屏交互方法、装置、计算机设备及存储介质。
技术介绍
目前，随着视频直播技术和游戏行业的不断发展，越来越多的游戏玩家选择将游戏视频直播给其他用户观看。游戏视频的直播过程主要是通过游戏玩家对游戏终端进行录屏后，将录屏内容经由直播服务器转发给其他观众端实现。现有技术中，在游戏终端将录屏内容发送至直播服务器之前，需要对录屏内容中的每一帧进行一定的图像处理(例如，增加水印或者屏幕翻转等操作)，以适配其他观众端的播放。目前，主要使用游戏终端的CPU(CentralProcessingUnit，中央处理器)实现上述图像处理过程。专利技术人在实现本专利技术的过程中，发现现有技术存在如下技术缺陷：由CPU执行上述图像的方式，对CPU的消耗很大。特别是对于CPU开销上限有限制的操作系统(例如，iOS操作系统)，当录屏过程中的CPU消耗超过系统设置的开销上限时，会造成录屏进程的强制关闭，大大影响了录屏类直播的直播顺畅度。
技术实现思路
本专利技术实施例提供一种终端的录屏交互方法、装置、计算机设备及存储介质，在对录屏内容中的每一个视频帧进行正常图像处理的同时，最大程度的减少对CPU的消耗。第一方面，本专利技术实施例提供了一种终端的录屏交互方法，包括：响应于录屏任务启动指令，对终端屏幕进行实时录屏；获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理；根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备。第二方面，本专利技术实施例还提供了一种终端的录屏交互装置，包括：实时录屏模块，用于响应于录屏任务启动指令，对终端屏幕进行实时录屏；图像处理模块，用于获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各所述视频帧进行至少一项图像处理；音视频数据合成模块，用于根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备。第三方面，本专利技术实施例还提供了一种计算机设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例提供的终端的录屏交互方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例提供的终端的录屏交互方法。本专利技术实施例的技术方案通过在对终端屏幕进行实时录屏后，获取录屏过程中产生的各视频帧和与匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理的技术手段，在进行视频帧的图像处理过程中，不再一视同仁针对不同的录屏终端均使用CPU进行图像处理，而是个性化的根据不同的终端性能选择使用终端中不同的处理器对各视频帧进行处理，在对录屏内容中的每一个视频帧进行正常图像处理的同时，最大程度的减少对CPU的消耗，一定程度上避免了录屏过程中录屏进程的强制关闭，提高了录屏类直播的直播顺畅度。附图说明图1是本专利技术实施例一中的一种终端的录屏交互方法的流程图；图2是本专利技术实施例二中的一种终端的录屏交互方法的流程图；图3是本专利技术实施例三中的一种终端的录屏交互方法的流程图；图4是本专利技术实施例四中的一种终端的录屏交互方法的流程图；图5是本专利技术实施例五中的一种终端的录屏交互方法的流程图；图6是本专利技术实施例六中的一种图像处理装置的结构示意图；图7是本专利技术实施例七中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的一种终端的录屏交互方法的流程图，本实施例可适用于终端进行屏幕录屏后，调用合适的处理器对录屏过程中产生的各视频帧进行图像处理的情况，该方法可以由终端的录屏交互装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在各种可以提供录屏服务的终端设备中，例如，手机、平板电脑、或者台式机等。如图1所示，该方法包括：S110、响应于录屏任务启动指令，对终端屏幕进行实时录屏。在本实施例中，直播类应用程序为了满足主播的游戏直播需求，为主播提供了录屏功能(也即，屏幕捕捉功能)，当主播选择开启录屏功能时，会相应触发生成录屏任务启动指令，该录屏任务启动指令，具体是指用于触发所述主播类应用程序开始进行实时录屏的指令。一般来说，用户在直播主界面中，需要经过一级或者多级下级展开窗口或者控制面板，达到录屏按钮所在窗口或者控制面板，该录屏按钮用于触发生成该录屏任务启动指令。相应的，用户可以通过自主选择的方式，通过上述一级或者多级展开窗口或者控制面板，人为搜索该录屏按钮，并通过点击该录屏按钮的方式，触发生成录屏任务启动指令；或者，为了进一步简便用户的操作，降低用户使用录屏功能的门槛，可以在检测到用户的录屏需求时，直播类平台自动拉起一级或者多级展开窗口或者控制面板，并通过遍历搜索的方式搜索得到该录屏按钮，通过模拟用户点击该录屏按钮的方式，可以直接触发生成该录屏任务启动指令。S120、获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理。在本实施例中，当用户选择录屏功能后，直播类应用程序会同时捕捉屏幕显示内容，例如，每隔一个采集间隔捕捉一个屏幕截图作为视频帧，上述连续捕捉的多个视频帧用于构成录屏视频。同时，通过采集终端中的音频输出设备输出的音频内容(典型的，当前终端显示屏幕中显示的应用程序的音频，也即应用音频)以及麦克风音频(典型的，主播在游戏中输入的主播音频)，并将上述两种音频进行组合，可以得到与该连续的视频帧匹配的音频数据。一般来说，直接通过屏幕截图获取的视频帧不能直接作为直播内容使用，需要进行一定图像处理。例如，主播在通过手机玩游戏时，一般会选择横握手机的方式，如果对直接录屏获取的视频帧不进行处理直接进行直播，不符合观众端的观看习惯，因此需要首先对视频帧进行旋转操作；又例如，由于主播在进行游戏时，所选择的终端设备各有不同，屏幕大小以及分辨率也各不相同，为了统一后续的播放格式，需要在得到该视频帧后，首先按照统一的格式标准，对该视频帧进行缩放处理。在另一个具体的例子中，一般来说，录屏得到的视频中需要增加主播信息、直播间信息或者特效信息等屏幕截图中所没有的内容，因为，需要基于上述信息，需要对录屏得本文档来自技高网...

【技术保护点】
1.一种终端的录屏交互方法，其特征在于，包括：/n响应于录屏任务启动指令，对终端屏幕进行实时录屏；/n获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理；/n根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备。/n

【技术特征摘要】
1.一种终端的录屏交互方法，其特征在于，包括：
响应于录屏任务启动指令，对终端屏幕进行实时录屏；
获取录屏过程中产生的各视频帧和匹配的音频数据，并根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理；
根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备。


2.根据权利要求1所述的方法，其特征在于，在响应于录屏任务启动指令，对终端屏幕进行实时录屏之前，还包括：
根据用户的录屏任务发起请求，打开录屏入口面板，并在所述录屏入口面板中搜索用于启动录屏任务的录屏按钮；
向所述录屏按钮发送模拟点击事件后，关闭所述录屏入口面板，所述模拟点击事件用于触发所述录屏按钮生成所述录屏启动指令。


3.根据权利要求1所述的方法，其特征在于，在根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理之前，还包括：
获取所述终端的终端型号、操作系统版本号以及录屏应用的应用标识作为终端性能参数；
将所述终端性能参数发送至服务器，接收所述服务器反馈的与所述终端性能参数匹配的配置信息。


4.根据权利要求1所述的方法，其特征在于，根据与终端性能参数匹配的配置信息，调用匹配的处理器对各视频帧进行至少一项图像处理，包括：
根据所述配置信息中的图片加工策略，调用匹配的处理器，对各所述视频帧进行图像加工处理；
所述图像加工处理包括下述至少一项：旋转、缩放以及二次渲染。


5.根据权利要求4所述的方法，其特征在于，在根据所述配置信息中的图片加工策略，调用匹配的处理器，对各所述视频帧进行图像加工处理之前，还包括：
根据所述配置信息中的颜色空间处理策略，对各所述视频帧进行颜色空间转换。


6.根据权利要求1-5任一项所述的方法，其特征在于，响应于录屏任务启动指令，对终端屏幕进行实时录屏，具体包括：
通过主进程，响应于录屏任务启动指令，建立录屏线程；
通过所述录屏线程，对终端屏幕进行实时录屏；
根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备，具体包括：
通过所述主进程，根据图像处理后的各所述视频帧以及所述匹配的音频数据，合成得到音视频数据，并将所述音视频数据发送至匹配的接收设备。

【专利技术属性】
技术研发人员：苏庆辉，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44