【技术实现步骤摘要】
本申请涉及终端，尤其涉及一种多窗口投屏方法、电子设备及系统。
技术介绍
1、随着电子设备应用显示技术的发展，为满足用户对多屏协同操作的需求，越来越多的电子设备支持多窗口投屏技术。多窗口投屏技术是通过将一个电子设备(如第一设备)上启动的多个应用界面投屏至另一个电子设备(如第二设备)，以实现在第一设备和第二设备上的镜像操控和输入协同。
2、在第一设备向第二设备投屏时，首先第一设备根据码率将投屏数据进行编码，然后将编码后的投屏数据传输至第二设备，最后第二设备对接收到的投屏数据进行解码，并在窗口中显示。相对于单窗口投屏，电子设备进行多窗口投屏时需要处理的投屏数据量较大。因此，需要对每个投屏窗口(也即显示的应用程序)进行合理的码率分配，以确保每个应用的投屏数据都可以成功的投屏至第二设备。
技术实现思路
1、本申请实施例提供一种多窗口投屏方法、电子设备及系统，能够在多窗口投屏时自适应调整每个应用的码率，从而保证每个应用对应的投屏窗口显示画面的清晰度和流畅度，改善投屏过程中投屏窗口显示画面容易出现卡顿和跳帧等问题，提高用户的使用体验。
2、为达到上述目的，本申请的实施例采用如下技术方案：
3、第一方面，本申请实施例提供一种多窗口投屏方法，包括：第一设备获取用于表征将多个应用的投屏数据投屏到多个投屏窗口的投屏特征的第一投屏参数。第一设备根据第一投屏参数确定第一组码率，第一组码率包括多个应用中每个应用的第一码率。然后，第一设备以第一组码率将多个应用的投屏数据投屏到
4、本申请实施例提供的多窗口投屏方法，第一设备可以根据用于表征将多个应用的投屏数据投屏到多个投屏窗口的投屏特征的投屏参数，自适应调整每个应用(即对应的投屏窗口)的码率，并以该码率将每个应用的画面发送至第二设备，第二设备对每个应用的画面分别通过一个投屏窗口进行展示。这样，可以保证每个应用对应的投屏窗口显示画面的清晰度和流畅度，防止投屏窗口显示画面出现卡顿和跳帧等情况，提高用户的使用体验。
5、结合第一方面，在一种可选择的实现方式中，第一投屏参数包括下述至少一项参数：网络状态信息、用户体验信息和窗口状态信息。通过网络状态信息表征多个应用在投屏时所用的传输信道的状态，通过用户体验信息表征用户对每个应用的投屏图像的质量体验，通过窗口状态信息用于表征每个投屏窗口的实时状态。这种实现方式中，可以将多个应用的投屏数据投屏到多个投屏窗口的投屏特征进行量化，由网络状态信息、用户体验信息和窗口状态信息中的至少一项作为第一投屏参数，这样，以便于根据第一投屏参数确定每个应用的码率。
6、结合第一方面，在一种可选择的实现方式中，所述方法还包括：第一设备根据网络状态信息确定可用于多个应用投屏的总码率；根据窗口状态信息确定每个应用的码率分配权重系数；根据用户体验信息确定每个应用对应的质量体验评分。在满足约束条件的情况下，对于任一应用，第一设备根据应用的码率分配权重系数以及应用对应的质量体验评分，确定应用的第一码率，其中约束条件包括多个应用对应的第一码率的总和等于总码率。这种实现方式中，首先，第一设备根据网络状态信息、窗口状态信息和用户体验信息可以分别确定总码率、码率分配权重系数和质量体验评分。然后，再根据总码率、码率分配权重系数和质量体验评分确定每个应用的码率。这样，第一设备根据网络状态、窗口状态和用户体验，合理地分配每个应用的码率。使每个应用对应的投屏窗口显示画面的质量达到用户的需求，提高用户体验。
7、结合第一方面，在一种可选择的实现方式中，网络状态信息包括网络带宽参数和信道干扰参数，则总码率为网络带宽参数与信道干扰参数的乘积。这种实现方式中，网络带宽参数用于表征传输信道的带宽，信道干扰参数用于表征传输信道的干扰情况。网络带宽参数和信道干扰参数可以真实地反映出当前的网络状态，这样，基于网络带宽参数和信道干扰参数，可以更加准确地确定可用于多个应用投屏的总码率。
8、结合第一方面，在一种可选择的实现方式中，基于历史时刻网络带宽参数和历史时刻信道干扰参数，通过时间序列预测法可以预测得到网络带宽参数和信道干扰参数。这种实现方式中，根据时间序列预测法预测得到的网络带宽参数和信道干扰参数，更接近真实地网络状态。可以提高根据测得到的网络带宽参数和信道干扰参数确定用于多个应用投屏的总码率的准确性。
9、结合第一方面，在一种可选择的实现方式中，用户体验信息包括每个应用对应的用户体验评分，应用对应的用户体验评分为用户对应用的投屏图像的质量体验评分。这种实现方式中，用户体验评分用于表征用户对应用的投屏图像质量的主观体验，通过用户体验评分可以将用户的主观体验进行量化，以便于基于用户体验评分确定每个应用的码率。
10、结合第一方面，在一种可选择的实现方式中，用户体验评分根据图像质量评价评分和对应的预设图像质量评价权重系数得到。具体的，用户体验评分为图像质量评价评分与预设图像质量评价权重系数的乘积。这种实现方式中，图像质量评价评分为通过图像质量评价方法对图像质量进行的客观评价结果。可选的，图像质量评价评分包括以下的一个或多个评分：峰值信噪比(peak signal-to-noise ratio，psnr)评分，结构相似度(structural similarity，ssim)评分或均方误差(mean square error，mse)评分。预设图像质量评价权重系数表征了不同的图像质量评价方法对于用户体验的影响。这样，基于图像质量评价评分和预设图像质量评价权重系数确定的用户体验评分，可以真实地反映出用户对应用的投屏图像质量的体验以便于基于用户体验评分合理地确定每个应用的码率。
11、结合第一方面，在一种可选择的实现方式中，窗口状态信息包括每个应用的码率分配权重系数。这种实现方式中，窗口状态信息用于表征每个投屏窗口的实时状态，基于每个投屏窗口的实时状态，可以确定每个应用的码率分配权重系数，以用于进一步根据码率分配权重系数确定每个应用的码率。
12、结合第一方面，在一种可选择的实现方式中，码率分配权重系数根据下述至少一项系数得到：用户注意力权重系数、图像复杂度权重系数和预设权重系数。码率分配权重系数为用户注意力权重系数、图像复杂度权重系数和预设权重系数的乘积。这种实现方式中，用户注意力权重系数用于表征用户在该投屏窗口投入的注意力情况，图像复杂度权重系数用于表征投屏窗口对应应用的图像复杂度，预设权重系数用于表征该投屏窗口预设的权重情况。这样，通过用户注意力权重系数、图像复杂度权重系数和预设权重系数可以将窗口状态信息进行量化，以便于确定每个应用的码率分配权重系数。
13、结合第一方面，在一种可选择的实现方式中，用户注意本文档来自技高网...
【技术保护点】
1.一种多窗口投屏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一投屏参数包括下述至少一项参数：网络状态信息、用户体验信息和窗口状态信息；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，所述网络带宽参数和所述信道干扰参数为通过时间序列预测法，对历史时刻网络带宽参数和历史时刻信道干扰参数预测得到。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述用户体验信息包括每个应用对应的用户体验评分，所述应用对应的用户体验评分为用户对所述应用的投屏图像的质量体验评分。
7.根据权利要求6所述的方法，其特征在于，所述用户体验评分根据图像质量评价评分和对应的预设图像质量评价权重系数得到。
8.根据权利要求6或7所述的方法，其特征在于，所述图像质量评价评分包括以下的一个或多个评分：峰值信噪比PSNR评分，结构相似度SSIM评分或均方误差MSE评分。
9.根据权利要求2-8
10.根据权利要求9所述的方法，其特征在于，所述码率分配权重系数根据下述至少一项系数得到：用户注意力权重系数、图像复杂度权重系数和预设权重系数。
11.根据权利要求10所述的方法，其特征在于，所述码率分配权重系数为所述用户注意力权重系数、所述图像复杂度权重系数和所述预设权重系数的乘积。
12.根据权利要求9或10所述的方法，其特征在于，所述用户注意力权重系数根据历史时间段内对所述窗口界面的操作频率和对应的预设频率权重系数得到。
13.根据权利要求12所述的方法，其特征在于，所述历史时间段内对所述窗口界面的操作频率包括：第一历史时间段内对所述窗口界面的第一操作频率，第二历史时间段内对所述窗口界面的第二操作频率，其中，所述第一历史时间段大于所述第二历史时间段；
14.根据权利要求10-13任一项所述的方法，其特征在于，所述图像复杂度权重系数根据所述窗口界面的历史多帧图像的复杂度，以及每帧图像对应的预设复杂度权重系数得到。
15.根据权利要求10-14任一项所述的方法，其特征在于，所述预设权重系数根据窗口启动的应用权重系数和预设窗口权重系数得到。
16.一种电子设备，其特征在于，所述设备包括：
17.根据权利要求16所述的设备，其特征在于，所述第一投屏参数包括下述至少一项参数：网络状态信息、用户体验信息和窗口状态信息，所述获取模块还用于：
18.一种电子设备，其特征在于，包括：存储器、一个或多个处理器；所述存储器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1-15任一项所述的多窗口投屏方法。
19.一种多窗口投屏系统，其特征在于，所述系统包括第一设备和第二设备；其中，
20.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-15任一项所述的多窗口投屏方法。
21.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-15任一项所述的多窗口投屏方法。
...【技术特征摘要】
1.一种多窗口投屏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一投屏参数包括下述至少一项参数：网络状态信息、用户体验信息和窗口状态信息；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，所述网络带宽参数和所述信道干扰参数为通过时间序列预测法，对历史时刻网络带宽参数和历史时刻信道干扰参数预测得到。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述用户体验信息包括每个应用对应的用户体验评分，所述应用对应的用户体验评分为用户对所述应用的投屏图像的质量体验评分。
7.根据权利要求6所述的方法，其特征在于，所述用户体验评分根据图像质量评价评分和对应的预设图像质量评价权重系数得到。
8.根据权利要求6或7所述的方法，其特征在于，所述图像质量评价评分包括以下的一个或多个评分：峰值信噪比psnr评分，结构相似度ssim评分或均方误差mse评分。
9.根据权利要求2-8任一项所述的方法，其特征在于，所述窗口状态信息包括每个应用的码率分配权重系数。
10.根据权利要求9所述的方法，其特征在于，所述码率分配权重系数根据下述至少一项系数得到：用户注意力权重系数、图像复杂度权重系数和预设权重系数。
11.根据权利要求10所述的方法，其特征在于，所述码率分配权重系数为所述用户注意力权重系数、所述图像复杂度权重系数和所述预设权重系数的乘积。
12.根据权利要求9或10所述的方法，其特征在于，所述用户注意力权重系数根据历史时间段内对所述窗口界面的操作频率...
【专利技术属性】
技术研发人员：许豪灿，梅森，胡传丰，黄中帅，郑博文，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。