实况流送显控制方法及装置制造方法及图纸

本发明专利技术提供一种实况流送显控制方法及装置，应用于网络显示终端设备上，该方法包括：获取一帧解码数据存入送显缓存队列，并记录入队列时间；从队列中按读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，并根据当前帧的送显状态，在标准送显时间的基础上，以预设的修正延时时长确定当前帧的送显时间；根据帧延时时长与预设的帧延时时长上下限的关系，更新下一帧的送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。本发明专利技术解决了观看视频实况流时流畅性和实时性的不兼容问题，达到实时性和流畅性最均衡的状态。

Display control method and apparatus for live streaming

The invention provides a live stream display control method and device applied to the network display terminal device, the method comprises: obtaining a frame decoding data is stored in the sending queue into the queue, and record the time; from the queue according to the reading order to read a data frame as the basis, to send significant time in the last frame on the standard delay time as the preset time interval calculation standard of the current frame sending time, and according to the sending state of the current frame, based on the standard of the sending time, to correct the delay preset length of time to send the current frame display; according to the frame length and the preset delay time frame extension always long on the lower limit of sending status updates in the next frame; the current frame delay time length for the current frame from the sending queue to the sending time length. The invention solves the problem of incompatibility between fluency and real-time when watching video live stream, and achieves the most balanced state of real-time and fluency.

【技术实现步骤摘要】
实况流送显控制方法及装置
本专利技术涉及视频监控领域，尤其涉及一种实况流送显控制方法及装置。
技术介绍
在观看网络摄像机实况时，希望能够看到延时最低、流畅性最好的实况图像。但是由于前端编码延时、网络抖动、后端解码延时等因素的存在，如果直接将解码后的图像送显，人眼会观察到明显的实况不流畅的现象。为了让实况播放流畅，一般方法是采用缓存N帧送显图像的缓存机制来平滑送显帧图像数据，达到提高流畅性的效果。但是缓存的数据越多，流畅性越好，带来的延时就会越大，导致实时性变差。因此，低延时和高流畅性作为一对矛盾体，找到一种均衡的方法尤为重要。
技术实现思路
有鉴于此，本专利技术提供了一种实况流送显控制装置，该装置应用于网络显示终端设备上，该装置包括：入队时间记录单元，用于在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；送显时间计算单元，用于从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；送显状态更新单元，用于若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。本专利技术还提供了一种实况流送显控制方法，该方法应用于网络显示终端设备上，该方法包括：步骤A，在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；步骤B，从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；步骤C，若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。本专利技术解决了观看视频实况流时流畅性和实时性的不兼容问题，达到实时性和流畅性最均衡的状态。附图说明图1是本专利技术一种实施方式中实况流送显控制装置的逻辑结构及其基础硬件环境的示意图。图2是本专利技术一种实施方式中实况流送显控制方法的流程图。具体实施方式以下结合附图对本专利技术进行详细说明。本专利技术提供一种实况流送显控制装置，该装置应用在网络显示终端设备上，以下以软件实现为例进行说明，但是本专利技术并不排除诸如硬件或者逻辑器件等其他实现方式。如图1所示，该网络显示终端设备包括CPU、内存、非易失性存储器以及其他硬件。该实况流送显控制装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括入队时间记录单元、送显时间计算单元以及送显状态更新单元。请参考图2具体的实施步骤。步骤101，入队时间记录单元在获取一帧解码数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；步骤102，送显时间计算单元从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；步骤103，送显状态更新单元判断若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；其中，当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。为了保证实况播放的流畅性，通常需要在设备内存中开辟一块数据缓冲区，用于存放N帧送显数据。理想状态下，进入送显缓存队列的帧应以固定的时间间隔均匀送显，以保证实况的流畅性，但由于帧入队列时具有波动性，若送显缓存队列中堆积的帧过多，仍以固定的时间间隔送显，必然会导致实时性变差。本专利技术通过动态调整送显间隔，使其在一个合理的范围内，以保证流畅性与实时性的均衡，具体过程如下。网络显示终端设备在接收到网络摄像机的视频数据后，对接收到的每一帧视频数据进行解码，解码后的数据存入送显缓存队列中，并记录存入该送显缓存队列的时间，该时间用于后续计算中保证帧数据送显的实时性。存入送显缓存队列中的帧在送显之前，需确认其送显时间。在从缓存队列中读取帧数据时，通常读取当前队列中最先存入的帧数据作为当前帧进行处理，其计算过程如下：TcsCurStd=TcsLast+TdStd公式（1）其中，TcsLast为上一帧送显时间；TdStd为预设的标准延时时长；TcsCurStd为当前帧的标准送显时间。通过公式（1）计算出当前帧的标准送显时间。此公式为理想状态下当前帧送显时间的计算公式，每一帧数据以固定时间间隔均匀送显，以保证实况送显的流畅性。所述延时时长是指一帧数据从进入送显缓存队列到送显时间的长度。在实际的送显过程中，由于帧入队列时具有波动性，若始终以固定时间间隔送显，则送显缓存队列中的数据可能会出现过多或过少的情况，若缓存队列中积压的数据过多，则会导致送显实时性变差，数据送显延时过大，若缓存队列中的数据过少，则会导致送显流畅性不佳，数据送显过快，后续数据可能还未进入送显缓存队列，但已到标准送显时间，因此，显示终端设备会出现图像卡顿现象。为了解决上述送显过程中出现的问题，在实际送显过程中，需根据当前帧的送显状态，在获得当前帧的标准送显时间后，对该送显时间进行修正，计算出尽可能同时满足实时性和流畅性要求的送显时间。具体计算过程如下：若当前帧送显状态为延迟送显状态，则TcsCur=TcsCurStd+TdModVal公式（2）若当前帧送显状态为提前送显状态，则TcsCur=TcsCurStd-TdModVal公式（3）若当前帧送显状态为标准送显状态，则TcsCur=TcsCurStd公式（4）其中，TcsCurStd为当前帧的标准送显时间；TdModVal为预设的修正延时时长；TcsCur为当前帧的送显时间。通过上述当前帧送显时间的计算，可以看出，当前帧送显时间是否需要修正，取决于当前帧的送显状本文档来自技高网...

【技术保护点】
一种实况流送显控制装置，该装置应用于网络显示终端设备上，其特征在于，该装置包括：入队时间记录单元，用于在获取解码后的一帧数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；送显时间计算单元，用于从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；送显状态更新单元，用于若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。

【技术特征摘要】
1.一种实况流送显控制装置，该装置应用于网络显示终端设备上，其特征在于，该装置包括：入队时间记录单元，用于在获取解码后的一帧数据后，将该帧数据存入送显缓存队列中，并记录该帧数据入队列时间；送显时间计算单元，用于从送显缓存队列中按照读取顺序读取一帧数据作为当前帧，在上一帧送显时间的基础上，以预设的标准延时时长为时间间隔计算当前帧的标准送显时间，若当前帧送显状态为延迟送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长延迟当前帧的送显时间，若当前帧送显状态为提前送显状态，则在当前帧的标准送显时间基础上，以预设的修正延时时长提前当前帧的送显时间，若当前帧送显状态为标准送显状态，则当前帧的标准送显时间即为当前帧的送显时间；送显状态更新单元，用于若当前帧延时时长小于预设的帧延时时长下限，则更新下一帧的送显状态为延迟送显状态；若预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限，则更新下一帧的送显状态为提前送显状态，否则下一帧的送显状态为标准送显状态；所述当前帧延时时长为当前帧从入送显缓存队列到所述送显时间的长度。2.如权利要求1所述的实况流送显控制装置，其特征在于：所述送显状态更新单元在进行下一帧送显状态更新前，先判断当前帧的送显状态；若当前帧送显状态为标准送显状态，则在当前帧延时时长小于预设的帧延时时长下限时，更新下一帧的送显状态为延迟送显状态，并设置延迟送显次数值为n；在预设的统计帧数内最小的帧延时时长大于或者等于预设的帧延时时长上限时，更新下一帧的送显状态为提前送显状态，并设置提前送显次数值为m；若当前帧送显状态为延迟送显状态时，在以预设的修正延时时长延迟当前帧的送显时间后，延迟送显次数递减一次，根据当前延迟送显次数的值判断是否结束延迟送显，如果否，则下一帧送显状态保持为延迟送显状态，如果是，则下一帧送显状态更新为标准送显状态；若当前帧送显状态为提前送显状态时，在以预设的修正延时时长提前当前帧的送显时间后，提前送显次数递减一次，根据当前提前送显次数的值判断是否结束提前送显，如果否，则下一帧送显状态保持为提前送显状态，如果是，则下一帧送显状态更新为标准送显状态。3.如权利要求2所述的实况流送显控制装置，其特征在于：根据预设的帧延时时长下限与当前帧延时时长的差值除以预设的修正延时时长确定所述延迟送显次数值n；根据该最小的帧延时时长与预设的帧延时时长上限的差值除以预设的修正延时时长确定所述提前送显次数值m。4.如权利要求1所述的实况流送显控制装置，其特征在于：根据帧入送显缓存队列的波动状态，动态刷新统计帧数、帧延时时长下限以及帧延时时长上限。5.如权利要求4所述的实况流送显控制装置，其特征在于：若帧入送显缓存队列的波动具有周期性，则检测该周期帧数，设置预设的统计帧数大于该周期帧数，若帧入送显缓存队列的波动没有周期性，则根据波动的剧烈程度，设置帧延时时长下...

【专利技术属性】
技术研发人员：汪辉，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33