一种显示处理方法、装置、计算机设备及可读存储介质制造方法及图纸

本申请实施例公开了一种显示处理方法、装置、计算机设备及可读存储介质，该方法包括：检测到对终端设备中的直播画面进行投屏显示的需求，从终端设备获取直播画面的码流数据；获取与码流数据的首开时长相关的目标控制参数，并根据目标控制参数分析码流数据的编码过程，得到码流数据的编码参数；基于编码参数生成码流数据的解码参数，并采用解码参数解码得到相应图像帧的解码图像；从采用解码参数解码得到的解码图像中，确定出未完成图像渲染的解码图像的参考数量，并根据参考数量确定图像渲染速度，以按照图像渲染速度对未完成图像渲染的解码图像进行图像渲染和显示，可有效降低进行投屏显示的延迟时间，提升投屏显示效率。提升投屏显示效率。提升投屏显示效率。

【技术实现步骤摘要】
一种显示处理方法、装置、计算机设备及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种显示处理方法、装置、计算机设备及可读存储介质。

技术介绍

[0002]随着互联网技术的发展，视频直播以其新颖的展现形式被广泛地应用在如在线视频会议、游戏赛事直播、在线课堂等等场景中。在直播中通常由推流端（即采集数据的设备端）采用某种传输协议封装数据并将封装好的数据推送到网络中，再由播放端从网络中拉流显示，从而实现将设备端中的画面和音频投屏到播放端进行实时显示的效果。经实践证明，通常播放端相对于推流端有一定的延迟时间，而延迟时间过大会直接影响直播的实时性，导致直播效果不佳。因此，如何降低推拉流过程中投屏显示的延迟时间是当前研究的热点问题。

技术实现思路

[0003]本申请实施例提供一种显示处理方法、装置、计算机设备及可读存储介质，可以降低推拉流过程中投屏显示的延迟时间，实现低延迟投屏效果，提升投屏显示效率，并在长时间播放场景下保持低延迟的持续性。
[0004]一方面，本申请实施例提供了一种显示处理方法，包括：检测到对终端设备中的直播画面进行投屏显示的需求，从所述终端设备获取所述直播画面的码流数据；所述码流数据包含一个或多个图像帧，任一图像帧是所述终端设备对相应的一个直播画面进行编码得到的；获取与所述码流数据的首开时长相关的目标控制参数，并根据所述目标控制参数分析所述码流数据的编码过程，得到所述码流数据的编码参数；基于所述编码参数生成所述码流数据的解码参数，并采用所述解码参数解码得到所述码流数据中相应图像帧的解码图像；其中，任一解码图像在完成图像渲染后进行显示；从采用所述解码参数解码得到的解码图像中，确定出未完成图像渲染的解码图像的参考数量，并根据所述参考数量确定图像渲染速度，以按照所述图像渲染速度对所述未完成图像渲染的解码图像进行图像渲染和显示。
[0005]一方面，本申请实施例提供了一种显示处理装置，包括：获取模块，用于检测到对终端设备中的直播画面进行投屏显示的需求，从所述终端设备获取所述直播画面的码流数据；所述码流数据包含一个或多个图像帧，任一图像帧是所述终端设备对相应的一个直播画面进行编码得到的；分析模块，用于获取与所述码流数据的首开时长相关的目标控制参数，并根据所述目标控制参数分析所述码流数据的编码过程，得到所述码流数据的编码参数；解码模块，用于基于所述编码参数生成所述码流数据的解码参数，并采用所述解码参数解码得到所述码流数据中相应图像帧的解码图像；其中，任一解码图像在完成图像
渲染后进行显示；渲染模块，用于从采用所述解码参数解码得到的解码图像中，确定出未完成图像渲染的解码图像的参考数量，并根据所述参考数量确定图像渲染速度，以按照所述图像渲染速度对所述未完成图像渲染的解码图像进行图像渲染和显示。
[0006]相应地，本申请实施例提供了一种计算机设备，包括：处理器、存储器、网络接口、输入设备以及输出设备；处理器与存储器、网络接口相连，其中，网络接口用于提供网络通信功能，存储器用于存储程序代码，输入设备用于接收输入的指令，以产生与计算机设备的设置以及功能控制有关的信号输入，所述输出设备用于输出数据信息，处理器用于调用程序代码，以执行本申请实施例中显示处理方法。
[0007]相应地，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本申请实施例中显示处理方法。
[0008]在本申请实施例中，可以响应于对终端设备中的直播画面进行投屏显示的投屏显示需求，获取到对终端设备的直播画面进行编码之后得到的码流数据，并获取与码流数据的首开时长有关的目标控制参数，基于该目标控制参数分析码流数据的编码过程，得到编码参数，进而得到码流数据的解码参数，再采用解码参数对码流数据中的图像帧进行解码处理，得到解码图像，解码图像可在渲染之后被显示，接着可确定未完成图像渲染的解码图像的参考数量，并基于该参考数量确定图像渲染速度，之后按照确定出的图像渲染速度对解码图像进行渲染和显示。在这个过程中，由于目标控制参数可控制对码流数据的分析时长，当目标控制参数的参数值较小时，基于和首开时长有关的目标控制参数分析码流数据的编码过程所花费的分析时长较小，这样能够在一定程度上可加快启动对码流数据的解码工作，使得首开时长更小，降低首开延时，加快第一帧投屏显示，降低投屏显示的时延；而在渲染阶段，图像渲染速度并不是始终不变的，而是基于当前解码和渲染的情况确定，具体可根据未完成图像渲染的解码图像的数量来确定图像渲染速度，这样，图像渲染速度与待渲染的解码图像的累积数量相适配，可实现图像渲染速度和解码速度之间的动态平衡，在未完成图像渲染的解码图像的数量过多时，可通过较大的图像渲染速度提升渲染效率，从而进一步降低终端设备的直播画面的投屏显示的时延，提升直播实时性，并且由于待渲染的解码图像的数量是在动态变化的，渲染阶段可图像持续性地监测未完成图像渲染的解码图像的数量，进而确定相应的图像渲染速度，采用这样的方式设置图像渲染速度，在长时间播放场景下可保持持续性地低延迟。
附图说明
[0009]图1a是本申请实施例提供的一种显示处理系统的架构图；图1b是本申请实施例提供的一种音视频数据处理链路的示意图；图2是本申请实施例提供的一种显示处理方法的流程示意图；图3a是本申请实施例提供的一种示例性地解码和渲染之间的关系示意图；图3b是本申请实施例提供的一种示例性地游戏直播赛事的场景示意图；图3c是本申请实施例提供的一种示例性地游戏画面投屏显示的示意图；图4是本申请实施例提供的另一种显示处理方法的流程示意图；
图5a是本申请实施例提供的一种示例性地目标程序执行结果的示意图；图5b是本申请实施例提供的一种低延迟参数的设置示意图；图6是本申请实施例提供的又一种显示处理方法的流程示意图；图7a是本申请实施例提供的一种拆帧过程中所涉及的函数调用示意图；图7b是本申请实施例提供的一种获取帧结束符的代码内容示例的示意图；图7c是本申请实施例提供的一种示例性地图像渲染速度的设置流程图；图7d是本申请实施例提供的一种对声音处理库的参数进行初始化的示意图；图7e是本申请实施例提供的一种对声音进行平滑处理的流程示意图；图8是本申请实施例提供的一种显示处理装置的结构示意图；图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0010]本申请实施例提出了一种显示处理方法，终端设备可以显示直播画面，当需要对终端设备中的直播画面进行推流之后投屏显示时，终端设备可以对直播画面进行编码，生成码流数据，然后终端设备可将码流数据发送（即推流）至播放设备（一种计算机设备）对应的服务器，从而使得播放设备可从该服务器中进行码流数据的获取（即拉流），这样，播放设备就实现了从终端设备获取直播画面的码流数据，另外，该播放设备可基于与首开时长相关的目标控制参数，对拉取到的码流数据的编码过程进行分析处理，并得到该码流数据的编码参数，并进一步基于获取的编码参数生成关于该码流数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示处理方法，其特征在于，所述方法包括：检测到对终端设备中的直播画面进行投屏显示的需求，从所述终端设备获取所述直播画面的码流数据；所述码流数据包含一个或多个图像帧，任一图像帧是所述终端设备对相应的一个直播画面进行编码得到的；获取与所述码流数据的首开时长相关的目标控制参数，并根据所述目标控制参数分析所述码流数据的编码过程，得到所述码流数据的编码参数；基于所述编码参数生成所述码流数据的解码参数，并采用所述解码参数解码得到所述码流数据中相应图像帧的解码图像；其中，任一解码图像在完成图像渲染后进行显示；从采用所述解码参数解码得到的解码图像中，确定出未完成图像渲染的解码图像的参考数量，并根据所述参考数量确定图像渲染速度，以按照所述图像渲染速度对所述未完成图像渲染的解码图像进行图像渲染和显示。2.如权利要求1所述的方法，其特征在于，与所述首开时长相关的目标控制参数是在确定延迟降低功能被启用后的初始化阶段获取的，所述初始化阶段还用于得到所述码流数据的编码参数；所述根据所述目标控制参数分析所述码流数据的编码过程，得到所述码流数据的编码参数，包括：在所述初始化阶段，根据所述目标控制参数的参数值确定需从所述码流数据中读取出的数据量大小；按照所述数据量大小从所述码流数据中读取出相应数据量大小的分析数据，并对所述分析数据的编码过程进行分析处理，得到相应的编码参数；其中，得到的编码参数被作为所述码流数据的编码参数。3.如权利要求2所述的方法，其特征在于，所述目标控制参数包括探帧参数和时长参数，所述探帧参数的参数值用于指示读取数据的帧数量，所述时长参数的参数值用于指示读取数据的数据时长；所述根据所述目标控制参数的参数值确定需从所述码流数据中读取出的数据量大小，包括：将所述探帧参数的参数值和所述时长参数的参数值指示的数据量大小，作为需从所述码流数据中读取出的数据量大小；其中，从所述码流数据中读取出的分析数据的帧数量等于所述探帧参数的参数值指示的帧数量，所述分析数据的数据时长等于所述时长参数的参数值指示的数据时长。4.如权利要求2所述的方法，其特征在于，在所述延迟降低功能被启用后的初始化阶段还规定了进行分析处理时参考的分析参数，所述分析参数包含缓存参数和优化参数中的一个或多个，所述缓存参数对应的参数值用于指示不缓存所述分析数据，所述优化参数对应的参数值用于指示对所述分析数据中的无用帧进行优化后再进行分析处理；所述对所述分析数据的编码过程进行分析处理，包括：基于所述分析参数中所包含的优化参数的参数值的指示，对读取出的分析数据进行无用帧优化处理，并直接对优化后的分析数据的编码过程进行分析处理；所述分析数据中的无用帧是指：在对所述分析数据的编码过程进行分析处理时，无需参考的图像帧。5.如权利要求1所述的方法，其特征在于，所述采用所述解码参数解码得到所述码流数据中相应图像帧的解码图像之后，还包括：将得到的解码图像存储在缓存器中，所述缓存器中的解码图像在完成渲染后进行显示；
所述从采用所述解码参数解码得到的解码图像中，确定出未完成图像渲染的解码图像的参考数量，包括：在完成对任一解码图像帧的渲染和显示后，回调到所述缓存器，以获取所述缓存器中包含的解码图像的图像总量，并将所述图像总量作为未完成图像渲染的解码图像的参考数量。6.如权利要求1所述的方法，其特征在于，所述根据所述参考数量确定图像渲染速度，包括：将所述参考数量与预设数量进行对比，并在所述参考数量大于预设数量时，对正常渲染速度进行加速处理，并采用加速后的渲染速度作为图像渲染速度；当所述参考数量小于等于所述预设数量时，采用所述正常渲染速度进行渲染处理。7.如权利要求6所述的方法，其特征在于，所述当所述参考数量小于等于所述预设数量时，采用所述正常渲染速度进行渲染处理，包括：当所述参考数量小于等于所述预设数量时，若当前的渲染速度为加速后的渲染速度，则判断所述参考数量是否小于目标数量；在确定所述参考数量小于所述目标数量时，将加速后的渲染速度调整为所述正常渲染速度，并采用所述正常渲染速度进行渲染处理。8.如权利要求1所述的方法，其特征在于，所述码流数据是通过调用目标程序进行分析处理的；所述获取与所述码流数据的首开时长相关的目标控制参数，包括：获取在采用所述目标程序对所述码流数据进行分析处理时需调用的解码函数，并从调用的解码函数中确定出导致首开时长产生的目标解码函数；所述首开时长是指在开始对所述码流数据进行解码处理，至进行首屏图像显示的时长；从所述目标解码函数中获取到进行分析处理时对应的参考字段，并将所述参考字段作为与所述码流数据的首开时长相关的目标控制参数。9.如权利要求1所述的方法，其特征在于，所述码流数据包含的一个或多个图像帧按照对应的播放时间顺序依...

【专利技术属性】
技术研发人员：王俊凯，张丹，刘剑，魏定强，陈超，王胜韬，李松桔，余颖，金泗涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：