视频流处理方法以及相关设备技术

本申请实施例公开了一种视频流处理方法以及相关设备，用于同步多路视频流。本申请实施例方法包括：处理设备根据第一采集时刻和第二采集时刻的差值，以及第一编码数据的第一首帧PTS，放置第二编码数据的第二首帧PTS对应的帧数据和第三编码数据的第三首帧PTS对应的帧数据，使得第二首帧PTS与第三首帧PTS同步。其中，第一编码数据、第三编码数据分别是对第一视频流中的第一图像帧集合、第三图像帧集合编码得到的，第二编码数据是对第二视频流中的第二图像帧集合编码得到的。第一图像帧集合中首帧图像的采集时刻为第一采集时刻，第二图像帧集合以及第三图像集合中首帧图像的采集时刻为第二采集时刻，第二采集时刻在第一采集时刻之后。之后。之后。

【技术实现步骤摘要】
视频流处理方法以及相关设备


[0001]本申请实施例涉及通信领域，尤其涉及视频流处理方法以及相关设备。

技术介绍

[0002]在对体育赛事、舞蹈、杂技以及武术等具有观赏性的活动进行录制时，为了追求多角度多方位的观赏效果，通常会在不同的采集角度架设多台采集设备对被目标区域进行拍摄，以完成视频流的采集。在实际拍摄的过程中，如何保证各个采集设备采集的是目标区域在同一时刻的状态，是需要解决的问题。
[0003]一种视频流处理方法中，主控处理模块可以根据控制指令，向各个处理模块分发视频采集指令。同时，视频流处理系统中的信号发生器，可以控制各个拍摄设备同步启动拍摄或者停止拍摄，以达到各个拍摄设备采集的是同一时刻的目的。
[0004]在这种视频流处理方法中，由于多路拍摄设备采集的视频流是持续传输的，在网络情况复杂(如发生丢包、时延或抖动等)时，各个视频流中的首个视频帧到达播放设备的时间不一致，使得各路视频流之间无法同步，影响播放效果。

技术实现思路

[0005]本申请实施例提供了视频流处理方法以及相关设备，通过对齐各路视频流中的编码数据的首帧显示时间戳(presentation time stamp，PTS)，使得在不同采集角度的多个采集设备在同一时刻对目标区域采集得到的图像帧，在解码后可以同步显示，从而实现各路视频流之间的同步，提升了播放效果。
[0006]本申请实施例第一方面提供了一种视频流处理方法，包括：
[0007]在视频流的传输过程中，处理设备可以接收到第一编码数据的第一采集时刻和第二编码数据的第二采集时刻。其中，第一编码数据是对第一视频流中的第一图像帧集合编码得到的数据，第二编码数据是对第二视频流中的第二图像帧集合编码得到的数据。第一采集时刻是第一编码数据中首帧图像的采集时刻，第二采集时刻是第二编码数据中首帧图像的采集时刻。第一视频流和第二视频流是不同的采集设备在不同的采集角度，对目标区域采集得到的，第二视频流可以是一路视频流，也可以是多路视频流，具体此处不做限定。
[0008]需要说明的是，本申请实施例中，第一图像帧集合、第二图像帧集合或者第三图像帧集合是指至少一个图像帧的集合，且第一图像帧集合，第二图像帧集合和第三图像帧集合中包括的图像帧的数量和格式是相同的。以第一图像帧集合为例，第一图像帧集合可以包括1个关键帧(I帧)，24个帧间预测编码帧(P帧)，且I帧为首帧。第一图像帧集合也可以只包括1个I帧。除此之外，还可以有其他的可能，例如，第一图像帧集合中包括1个I帧，4个双向预测编码帧(B帧)，2个P帧，且I帧为首帧，B帧和P帧按照2个B帧1个P帧的排列方式分布在I帧之后。各个图像帧集合中图像帧的格式和数量与采集设备的设置参数有关，具体此处不做限定。因此，各个编码数据中包括有多个视频帧，每个视频帧都有与之对应的PTS，处理设备可以获取到第一编码数据中的第一首帧PTS，第二编码数据中的第二首帧PTS，以及第三
编码数据中的首帧PTS。并根据第一采集时刻和第二采集时刻的差值，放置第二编码数据中的首帧PTS对应的帧数据以及第三编码数据中的第三首帧PTS对应的帧数据，使得第二首帧PTS与第三首帧PTS对齐。其中，第三编码数据是对第一视频流中的第三图像帧集合编码得到的，第三图像帧集合中首帧图像的采集时刻为第二采集时刻。第三首帧PTS的取值与第二首帧PTS的取值相同。
[0009]本申请实施例中，根据各路视频流中采集时刻的差值，对齐各路视频流中的编码数据的首帧PTS，使得在不同采集角度的多个采集设备在同一时刻对目标区域采集得到的图像帧，在解码后可以同步显示，从而实现各路视频流之间的同步，提升了播放效果。
[0010]结合第一方面，本申请实施例第一方面的第一种实现方式中，处理设备可以接收到控制设备下发的转封装指令，并根据该转封装指令，对编码数据进行封装。具体来说，可以是将第一编码数据封装至第一自适应比特率流媒体(dynamic adaptive streaming over HTTP，DASH)分片中，将第二编码数据封装至第二DASH分片中，将第三编码数据封装至第三DASH分片中。也即是说，处理设备可以使用DASH协议，传输视频流。
[0011]本申请实施例中，将对网络环境敏感的视频流以DASH分片的形式传输，由于DASH分片具有可追溯可统计的特点，增加了视频流传输的灵活性和可靠性。
[0012]结合第一方面的第一种实现方式，本申请实施例第一方面的第二种实现方式中，处理设备还可以根据基准PTS，确定出各个DASH分片的序号。处理设备在收到转封装指令之前，还可以接收第四编码数据，并接收控制设备下发的探测指令。处理设备可以根据探测指令，确定第四编码数据的第四首帧PTS为基准PTS。其中，第四编码数据是对第一视频流中第四图像帧集合进行编码得到的。第四图像帧中集合首帧图像的采集时刻在第一采集时刻之前。与第一图像帧集合类似，本申请实施例中，第四图像帧集合也是指至少一个图像帧的集合，且第四图像帧集合中包括的图像帧的数量和格式与第一图像帧集合相同，上文已经进行了说明，此处不再赘述。
[0013]结合第一方面的第二种实现方式，本申请实施例第一方面的第三种实现方式中，控制设备向处理设备下发的转封装指令中，还可以包括基准PTS。处理设备可以根据基准PTS与各个编码数据中首帧图像帧的PTS，确定出各个编码数据所在的DASH分片的序号。具体来说，可以是处理设备根据第一首帧PTS与基准PTS之间的差值，确定第一DASH分片的序号；根据第二首帧PTS与基准PTS之间的差值，确定第二DASH分片的序号。由于第二编码数据的采集时刻在第一编码数据的采集时刻之后，且第二编码数据和第三编码数据的采集时刻相同，所以，第二DASH分片的序号大于第一DASH分片的序号，且第二DASH分片的序号等于第三DASH分片的序号。
[0014]结合第一方面的第一种至第三种实现方式中的任一种，本申请实施例第一方面的第四种实现方式中，各个DASH分片中包括的图像帧的数量是相同的，也即是说各个DASH分片的时长是一致的。
[0015]本申请实施例中，处理设备可以根据基准PTS与各个编码数据中首帧图像帧的PTS，确定出各个编码数据所在的DASH分片的序号，从而使得相同序号的DASH分片中的帧PTS相同，到达同步的效果。
[0016]结合第一方面的第二种实现方式，本申请实施例第一方面的第五种实现方式中，处理设备还可以根据探测指令，确定第四图像帧集合中首帧图像的采集时刻为参考起始时
间(availability start time，AST)，AST用于查找各个视频流中DASH分片的序号。
[0017]本申请实施例中，可以根据指定的采集时刻，以及AST，计算出DASH分片的序号,提高了视频制作的效率。
[0018]结合第一方面的第一种至第五种实现方式中的任一种，本申请实施例第一方面的第六种实现方式中，处理设备可以在一个媒体描述信息(media presentation desc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流处理方法，其特征在于，包括：处理设备获取第一采集时刻和第二采集时刻，所述第一采集时刻为第一图像帧集合中首帧图像的采集时刻，所述第二采集时刻为第二图像帧集合中首帧图像的采集时刻，所述第一图像帧集合包含于第一视频流中，所述第二图像帧集合包含于第二视频流中，所述第一视频流和所述第二视频流是不同的采集设备在不同的采集角度对目标区域采集得到的，所述第二采集时刻在所述第一采集时刻之后；所述处理设备获取第一编码数据中的第一首帧显示时间戳PTS，并根据所述第一采集时刻和所述第二采集时刻的差值，放置第二编码数据中的第二首帧PTS对应的帧数据和第三编码数据中的第三首帧PTS对应的帧数据，以使所述第二首帧PTS与所述第三首帧PTS同步，所述第一编码数据是对所述第一图像帧集合编码后得到的数据，所述第二编码数据是对所述第二图像帧集合编码后得到的数据，第三编码数据是对所述第一视频流中的第三图像帧集合编码后得到的数据，所述第三首帧PTS为所述第三图像帧集合中首帧图像的PTS，所述第二首帧PTS的取值与所述第三首帧PTS的取值相同。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述处理设备接收控制设备发送的转封装指令；所述处理设备根据所述转封装指令，将所述第一编码数据封装至第一自适应比特率流媒体DASH分片中，将所述第二编码数据封装至第二DASH分片中，将所述第三编码数据封装至第三DASH分片中。3.根据权利要求2所述的方法，其特征在于，在所述处理设备接收所述控制设备发送的转封装指令之前，所述方法还包括：接收第四编码数据，所述第四编码数据是对所述第一视频流中第四图像帧集合编码得到的，所述第四图像帧集合中首帧图像的采集时刻在所述第一采集时刻之前；所述处理设备接收所述控制设备发送的探测指令；根据所述探测指令，确定所述第四编码数据的第四首帧PTS为基准PTS，所述基准PTS用于确定各个视频流中DASH分片的序号。4.根据权利要求3所述的方法，其特征在于，所述转封装指令中携带所述基准PTS，所述方法还包括：所述处理设备根据所述第一首帧PTS与所述基准PTS之间的差值，确定所述第一DASH分片的序号；所述处理设备根据所述第二首帧PTS与所述基准PTS之间的差值，确定所述第二DASH分片的序号，所述第二DASH分片的序号大于所述第一DASH分片的序号，且所述第二DASH分片的序号等于所述第三DASH分片的序号。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述第一DASH分片，所述第二DASH分片以及所述第三DASH分片各自包含的图像帧的数量相同。6.根据权利要求3所述的方法，其特征在于，在所述处理设备接收控制设备发送的探测指令之后，所述方法还包括：所述处理设备根据所述探测指令，确定所述第四图像帧集合中首帧图像的采集时刻为参考起始时间AST，所述AST用于查找所述各个视频流中DASH分片的序号。7.根据权利要求2至6中任一项所述的方法，其特征在于，所述方法还包括：
所述处理设备在一个媒体描述信息mpd文件中，发送所述第一DASH分片，所述第二DASH分片以及所述第三DASH分片，所述一个mpd文件中包括所述AST。8.根据权利要求2至6中任一项所述的方法，其特征在于，所述方法还包括：所述处理设备在第一mpd文件中，发送所述第一DASH分片和所述第二DASH分片，所述第一mpd文件中包括所述AST；所述处理设备在第二mpd文件中，发送所述第三DASH分片，所述第二mpd文件中包括所述AST。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：若所述处理设备在收到所述第二编码数据后的预设时间内，未接收到第五编码数据，则在DASH分片序列中跳过所述第五编码数据所在的DASH分片的序号，所述第五编码数据是对所述第一视频流中第五图像帧集合编码得到的，所述第五图像帧集合中首帧图像的采集时刻在所述第二采集时刻之后。10.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：若所述处理设备在收到所述第三编码数据后的预设时间内，未接收到第六编码数据，则在DASH分片序列中跳过所述第六编码数据所在的DASH分片的序号，所述第六编码数据是对所述第二视频流中第六图像帧集合编码得到的，所述第六图像帧集合中首帧图像的采集时刻在所述第二采集时刻之后。11.一种视频流处理方法，其特征在于，包括：控制设备向处理设备发送探测指令，所述探测指令用于所述处理设备确定基准PTS，所述基准PTS用于确定各个视频流中DASH分片的序号；接收探测结果，所述探测结果包括所述基准PTS；发送转封装指令，所述转封装指令中包括所述基准PTS，所述封装指令用于触发所述处理设备封装第一视频流和第二视频流。12.根据权利要求11所述的方法，其特征在于，所述探测指令还用于所述处理设备确定AST，所述探测结果还包括所述AST，所述转封装指令中还包括所述AST，所述AST用于查找所述DASH分片。13.一种视频流处理装置，其特征在于，包括：获取单元，用于获取第一采集时刻和第二采集时刻，所述第一采集时刻为第一图像帧集合中首帧图像的采集时刻，所述第二采集时刻为第二图像帧集合中首帧图像的采集时刻，所述第一图...

【专利技术属性】
技术研发人员：王德贵，屈小刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：