投屏数据处理方法和装置制造方法及图纸

本申请实施例公开了一种投屏数据处理方法，用于减少无线投屏过程中的时延。本申请实施例方法包括：投屏发送端获取网络状态信息，根据所述网络状态信息确定待投屏图像的目标分辨率；此外，还可以根据待投屏图像是否处于全屏场景确定待合成的图层，由此，可以减少投屏时的数据发送量，减少投屏时延，此外，投屏接收端可以对待投屏图像进行超分，避免因发送端减少数据发送量造成画质受损。本方案通过降低投屏时延，保证投屏画质提升用户体验。保证投屏画质提升用户体验。保证投屏画质提升用户体验。

【技术实现步骤摘要】
投屏数据处理方法和装置


[0001]本申请涉及投屏
，尤其涉及一种投屏数据处理方法和装置。

技术介绍

[0002]近年来，随着智能终端飞速发展，手机、平板、电脑、投影仪以及智能电视不断迭代更新，无线投屏技术使得多屏幕之间交互以及相应的应用场景也变得越来丰富、流行。正是这样的背景下，手机为中心的流媒体资源在设备间无缝流转正快速成为刚需。
[0003]无线投屏是近一两年在多屏幕之间交互的一种模式，常见的场景有屏幕镜像、游戏投屏、多屏互动等。其中主流无线投屏协议有：数字生活网络联盟(digital living network alliance，DLNA)、苹果的隔空播放(Airplay)以及Wi-Fi联盟指定的无线显示标准(Miracast)。
[0004]当前主流这3种无线投屏方式，时延基本维持在100ms-2000ms左右，时延较大，无法满足游戏应用中直接无线投屏玩游戏的场景，用户体验较差。

技术实现思路

[0005]本申请实施例提供了一种投屏数据处理方法，用于降低投屏时延，提升用户体验。
[0006]本申请实施例的第一方面提供了一种投屏数据处理方法，包括：终端获取网络状态信息，所述网络状态信息用于指示所述终端和投屏设备之间的通信链路的质量；所述终端根据所述网络状态信息确定待投屏图像的目标分辨率；所述终端根据所述目标分辨率合成图像数据，并将所述图像数据发送给所述投屏设备，所述图像数据用于所述投屏设备显示所述待投屏图像。
[0007]所述待投屏图像可以理解为一个静态的图像，比如图片；也可以理解为一系列动态图像，比如视频等。
[0008]本申请实施例提供的投屏数据处理方法，终端通过获取指示终端和投屏设备之间的通信链路质量的网络状态信息，确定待投屏图像的目标分辨率，基于实时的网络状态信息对目标分辨率进行调整，相较现有技术中以固定的分辨率发送图像，可以更灵活地适应当前场景，本方法考虑网络状态信息来确定目标分辨率，可以在无线网络通信质量较差时通过调整分辨率来减少图像数据的数据量，从而降低投屏时图像画面的延迟，提升用户体验。
[0009]在第一方面的一种可能的实现方式中，所述目标分辨率与所述通信链路的质量正相关。
[0010]本申请实施例提供的投屏数据处理方法，例如在通信链路质量较差时以较低的分辨率发送图像以减少时延，在通信链路质量较好时以较高的分辨率发送图像以提升投屏画质。
[0011]在第一方面的一种可能的实现方式中，所述网络状态信息包括接收信号强度指示RSSI。
[0012]本申请实施例提供的投屏数据处理方法，通过RSSI信号可以对通信链路的质量进行衡量，包括基于WI-FI协议构建的无线通信链路或者蜂窝移动网络协议构建的无线通信链路等。可选地，预设RSSI的数值与目标分辨率之间的对应关系，由此，可以基于RSSI信号确定当前网络状态下的目标。
[0013]在第一方面的一种可能的实现方式中，所述终端根据所述网络状态信息确定待投屏图像的目标分辨率包括当所述RSSI的数值大于或等于第一阈值，则所述终端确定所述目标分辨率为第一分辨率；当所述RSSI的数值小于所述第一阈值且大于或等于第二阈值，则所述终端确定所述目标分辨率为所述第一分辨率的二分之一，所述第二阈值小于所述第一阈值；当所述RSSI的数值小于所述第二阈值，则所述终端确定所述目标分辨率为所述第一分辨率的三分之一。
[0014]本申请实施例提供的投屏数据处理方法，通过预设的RSSI的数值范围以及第一分辨率，可以将终端和投屏设备之间的通信链路的质量划分为三种情况，通信链路的质量越低，则对应的目标分辨率越低，合成的待投屏图像的数据量越小，可以减少通信链路的质量的影响，降低投屏时延。
[0015]在一种可能的实现方式中，第一分辨率为待合成的图层的分辨率，该信息可以通过获取SurfaceFlinger侧当前帧所有的图层信息来获得，图层信息中包含图层的应用名、图层的源真实分辨率等。
[0016]在第一方面的一种可能的实现方式中，所述方法还包括：所述终端确定当前的使用场景；所述终端根据所述目标分辨率合成图像数据包括：所述终端根据所述使用场景和所述目标分辨率有选择性地合成图像数据。
[0017]本申请实施例提供的投屏数据处理方法，还考虑找那个的当前的使用场景，结合场景以及目标分辨率有选择性地合成图像数据可以进一步地降低无线投屏时的数据量。
[0018]在第一方面的一种可能的实现方式中，所述终端确定当前的使用场景包括：所述终端确定所述待投屏图像是否处于全屏场景；所述终端根据所述使用场景和所述目标分辨率有选择性地合成图像数据包括：当所述终端确定所述待投屏图像处于全屏场景时，所述终端根据所述目标分辨率仅对所述待投屏图像的所有图层中的应用图层进行合成；或者，当所述终端确定所述待投屏图像处于非全屏场景时，所述终端根据所述目标分辨率对所述应用图层和所述待投屏图像的系统图层进行合成。
[0019]本申请实施例提供的投屏数据处理方法，终端还可以确定当前的图像显示场景信息是否为全屏的显示场景，若是，则只需要合成应用图层并经编码发送给投屏设备，由此，可以进一步减少投屏的数据发送量，降低无线投屏时延，提升用户体验。
[0020]在第一方面的一种可能的实现方式中，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的源分辨率大于或等于第三阈值时，所述终端确定所述待投屏图像处于全屏场景；当所述应用图层的源分辨率小于第三阈值时，所述终端确定所述待投屏图像处于非全屏场景。
[0021]终端显示的待投屏图像可能存在两种场景的场景，一个是全屏的显示场景，例如全屏的游戏画面，以及视频应用中的全屏画面，全屏的显示场景可称为全屏场景；另一个是非全屏的显示场景，例如桌面场景，或者小窗口播放的视频画面，也称为非全屏场景。本实施例提供了一种确定待投屏图像是否处于全屏场景的具体方法，即确定应用图层的源分辨
率，由于在不同的显示场景下，应用图层的源分辨率会改变，在全屏场景中的分辨率高于非全屏场景中的分辨率，通过第三阈值的设置，可以通过比较，简单但粗略地确定当前待投屏图像是否处于全屏场景。
[0022]在第一方面的一种可能的实现方式中，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的像素长宽比和屏幕的像素长宽比相同时，所述终端确定所述待投屏图像处于全屏场景；当所述应用图层的像素长宽比和屏幕的像素长宽比不相同时，所述终端确定所述待投屏图像处于非全屏场景。
[0023]本实施例提供了一种确定待投屏图像是否处于全屏场景的另一种具体方法，即判断应用图层的像素长宽比和屏幕的像素长宽比是否相同，由于在不同的显示场景下，应用图层的像素长宽比一般会改变，在全屏场景中，应用图层的像素长宽比和屏幕的像素长宽比相同；而非全屏场景中，应用图层的像素长宽比和屏幕的像素长宽比可能不相同，本方案可以简单但粗略地确定当前待投屏图像是否处于全屏场景。
[0024]在第一方面的一种可能的实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种投屏数据处理方法，其特征在于，包括：终端获取网络状态信息，所述网络状态信息用于指示所述终端和投屏设备之间的通信链路的质量；所述终端根据所述网络状态信息确定待投屏图像的目标分辨率；所述终端根据所述目标分辨率合成图像数据，并将所述图像数据发送给所述投屏设备，所述图像数据用于所述投屏设备显示所述待投屏图像。2.根据权利要求1所述的方法，其特征在于，所述目标分辨率与所述通信链路的质量正相关。3.根据权利要求1或2所述的方法，其特征在于，所述网络状态信息包括接收信号强度指示RSSI。4.根据权利要求3所述的方法，其特征在于，所述终端根据所述网络状态信息确定待投屏图像的目标分辨率包括：当所述RSSI的数值大于或等于第一阈值，则所述终端确定所述目标分辨率为第一分辨率；当所述RSSI的数值小于所述第一阈值且大于或等于第二阈值，则所述终端确定所述目标分辨率为所述第一分辨率的二分之一，所述第二阈值小于所述第一阈值；当所述RSSI的数值小于所述第二阈值，则所述终端确定所述目标分辨率为所述第一分辨率的三分之一。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：所述终端确定当前的使用场景；所述终端根据所述目标分辨率合成图像数据包括：所述终端根据所述使用场景和所述目标分辨率有选择性地合成图像数据。6.根据权利要求5所述的方法，其特征在于，所述终端确定当前的使用场景包括：所述终端确定所述待投屏图像是否处于全屏场景；所述终端根据所述使用场景和所述目标分辨率有选择性地合成图像数据包括：当所述终端确定所述待投屏图像处于全屏场景时，所述终端根据所述目标分辨率仅对所述待投屏图像的所有图层中的应用图层进行合成；或者，当所述终端确定所述待投屏图像处于非全屏场景时，所述终端根据所述目标分辨率对所述应用图层和所述待投屏图像的系统图层进行合成。7.根据权利要求6所述的方法，其特征在于，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的源分辨率大于或等于第三阈值时，所述终端确定所述待投屏图像处于全屏场景；当所述应用图层的源分辨率小于第三阈值时，所述终端确定所述待投屏图像处于非全屏场景。8.根据权利要求6所述的方法，其特征在于，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的像素长宽比和屏幕的像素长宽比相同时，所述终端确定所述待投屏图像处于全屏场景；
当所述应用图层的像素长宽比和屏幕的像素长宽比不相同时，所述终端确定所述待投屏图像处于非全屏场景。9.根据权利要求6所述的方法，其特征在于，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的源分辨率大于或等于第三阈值，且所述应用图层的像素长宽比和屏幕的像素长宽比相同时，所述终端确定所述待投屏图像处于全屏场景；当所述应用图层的源分辨率小于第三阈值，或者，所述应用图层的像素长宽比和屏幕的像素长宽比不相同时，所述终端确定所述待投屏图像处于非全屏场景。10.根据权利要求6所述的方法，其特征在于，所述终端确定所述待投屏图像是否处于全屏场景包括：当所述应用图层的源分辨率大于或等于第三阈值，且所述应用图层的像素长宽比和屏幕的像素长宽比相同，且预设的图层标识集合中包括所述应用图层的标识时，所述终端确定所述待投屏图像处于全屏场景；当所述应用图层的源分辨率小于第三阈值，或者，所述应用图层的像素长宽比和屏幕的像素长宽比不相同，或者，预设的图层标识集合中不包括所述应用图层的标识时，所述终端确定所述待投屏图像处于非全屏场景。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述终端根据所述目标分辨率合成图像数据包括：所述终端根据所述目标分辨率和第一帧率合成图像数据，其中所述第一帧率比所述待投屏图像在所述终端上显示的帧率要低。12.一种投屏数据处理方法，其特征在于，包括：投屏设备接收第一分辨率的待投屏图像；所述投屏设备通过图形处理器GPU，根据预设的神经网络模型对所述第一分辨率的待投屏图像进行超分，获取第二分辨率的图像；所述投屏设备显示所述第二分辨率的图像。13.根据权利要求12所述的方法，其特征在于，所述方法还包括：所述待投屏图像包括第一图像帧；所述投屏设备通过图形处理器GPU，根据预设的神经网络模型对所述第一分辨率的图像数进行超分，获取第二分辨率的所述图像数据包括：所述投屏设备在一个音视频同步周期中进行第一图像帧的解码和超分，以获取解码后的第二分辨率的图像数据。14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：当所述待投屏图像的第一帧率小于第四阈值时，所述投屏设备对所述待投屏图像进行插帧，以获取第二帧率的待投屏图像。15.根据权利要求12至14中任一项所述的方法，其特征在于，所述第一分辨率的待投屏图像包括如权利要求1至11中任一项所述的合成后的图像数据。16.一种投屏数据处理装置，其特征在于，包括：获取单元，用于获取网络状态信息，所述网络状态信息用于指示所述终端和投屏设备
之间的通信链路的质量；确定单元，用于根据所述网络状态信息确定待投屏图像的目标分辨率；合成单元，用于根据所述目标分辨率合成图像数据，并将...

【专利技术属性】
技术研发人员：石鑫栋，李俊，王术，吴江铮，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：