视频混流方法、视频混流装置及存储介质制造方法及图纸

本发明专利技术提供一种视频混流方法，其包括：接收视频混流请求；从第一视频终端和/或第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；从第一视频终端获取第一视频画面，从第二视频终端获取第二视频画面；根据对齐帧信息，对第一视频画面和第二视频画面进行画面帧对齐操作；对对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。本发明专利技术还提供一种视频混流装置，本发明专利技术的视频混流方法及视频混流装置通过第一视频画面和第二视频画面的对齐帧信息对混流后的视频画面进行对齐操作，避免了第一视频画面和第二视频画面的顺序错误。

【技术实现步骤摘要】
视频混流方法、视频混流装置及存储介质
本专利技术涉及视频处理领域，特别是涉及一种视频混流方法、视频混流装置及存储介质。
技术介绍
随着科技的发展，视频直播应用得到越来越多的用户青睐，其中互动直播为视频直播中的一种重要应用。互动直播中，主播终端和连麦观众终端会进行互联操作，如第三方观众想要看到连麦的场景，则需要对主播终端的视频画面以及连麦观众终端的视频画面进行混流操作。现有的视频混流方式一般为服务器端对主播终端的视频画面和连麦观众终端的视频画面进行混流操作。这种混流操作不额外增加第三方观众对应终端的宽带资源和计算资源，有利于第三方观众对混流后的视频画面进行观看。但是主播视频画面和连麦观众视频画面是由两个独立的客户端能生成的，没有一致的参照时间，主播视频画面和连麦观众视频画面的网络耗时不同和互不相关视频的GOP(groupofpicture，图像群组)大小不同，使得服务器端进行视频画面混流操作时，会遇到主播视频画面和连麦观众视频画面的视频画面对齐问题，即服务器端进行画面混流操作时会出现主播视频画面和连麦观众视频画面的顺序错误，如主播的对话和观众的对话对应不上，这样导致观众无法理解混流操作后的视频画面内容，影响第三方观众对混流后的视频画面的观看。
技术实现思路
本专利技术实施例提供一种可对混流视频画面中的主播视频画面和连麦观众视频画面进行自动对齐操作的视频混流方法以及视频混流装置；以解决现有的视频混流方法以及视频混流装置中主播视频画面和连麦观众视频画面的顺序错误，影响第三方观众对混流后的视频画面的观看的技术问题。本专利技术实施例提供一种视频混流方法，其包括：接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。本专利技术实施例还提供一种视频混流装置，其包括：视频混流请求接收模块，用于接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；对齐帧信息获取模块，用于从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；视频画面获取模块，用于从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；画面帧对齐模块，用于根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及视频混流模块，用于对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。本专利技术实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述的视频混流方法。相较于现有技术，本专利技术的视频混流方法及视频混流装置通过第一视频画面和第二视频画面的对齐帧信息对混流后的视频画面进行对齐操作，避免了第一视频画面和第二视频画面的顺序错误；有效的解决了现有的视频混流方法以及视频混流装置中主播视频画面和连麦观众视频画面的顺序错误，影响第三方观众对混流后的视频画面的观看的技术问题。附图说明图1为本专利技术的视频混流方法的第一实施例的流程图；图2为本专利技术的视频混流方法的第一实施例的对齐帧信息的生成流程图；图3为本专利技术的视频混流方法的第一实施例的步骤S104的流程图；图4为本专利技术的视频混流方法的第二实施例的流程图；图5为本专利技术的视频混流方法的第二实施例的步骤S404的流程图；图6为本专利技术的视频混流装置的第一实施例的结构示意图；图7为本专利技术的视频混流装置的第一实施例的画面帧对齐模块的结构示意图；图8为本专利技术的视频混流装置的第二实施例的结构示意图；图9为本专利技术的视频混流装置的第二实施例的画面帧对齐模块的结构示意图；图10为本专利技术的视频混流方法以及视频混流装置的具体实施例的视频混流过程示意图；图11为本专利技术的视频混流方法及视频混流装置的具体实施例的第一视频画面和第二视频画面的对齐操作示意图；图12为本专利技术的视频混流装置所在的电子设备的工作环境结构示意图。具体实施方式请参照图式，其中相同的组件符号代表相同的组件，本专利技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本专利技术具体实施例，其不应被视为限制本专利技术未在此详述的其它具体实施例。在以下的说明中，本专利技术的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本专利技术原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。本专利技术的视频混流方法及视频混流装置可设置在任何的电子设备中，用于根据第一视频画面(如主播视频画面)和第二视频画面(如连麦观众视频画面)生成对应混流视频画面。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为进行视频画面混流操作的视频画面处理服务器，该视频画面处理服务器可通过第一视频画面和第二视频画面的对齐帧信息对混流后的视频画面进行对齐操作，避免了第一视频画面和第二视频画面的顺序错误，保证了第三方观众对混流后的视频画面的观看质量。请参照图1，图1为本专利技术的视频混流方法的第一实施例的流程图。本实施例的视频混流方法可使用上述的电子设备进行实施，本实施例的视频混流方法包括：步骤S101，接收视频混流请求，其中视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；步骤S102，从第一视频终端和/或第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；步骤S103，从第一视频终端获取第一视频画面，从第二视频终端获取第二视频画面；步骤S104，根据对齐帧信息，对第一视频画面和第二视频画面进行画面帧对齐操作；步骤S105，对对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。下面详细说明本实施例的视频混流方法的各步骤的具体流程。在步骤S101中，视频混流装置接收视频混流请求，该视频混流请求为对第一视频终端(如主播终端)的第一视频画面(如主播视频画面)和第二视频终端(如连麦观众终端)的第二视频画面(如连麦观众视频画面)进行视频混流操作的请求。该视频混流请求可由第一视频终端发出，也可有第二视频终端，或由第三方观众终端发出均可。在步骤S102中，视频混流装置从第一视频终端和本文档来自技高网...

【技术保护点】
1.一种视频混流方法，其特征在于，包括：接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。

【技术特征摘要】
1.一种视频混流方法，其特征在于，包括：接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二视频终端的第二视频画面进行视频混流操作的请求；从所述第一视频终端和/或所述第二视频终端，获取第一视频画面和第二视频画面的对齐帧信息；从所述第一视频终端获取第一视频画面，从所述第二视频终端获取第二视频画面；根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作；以及对所述对齐操作后的第一视频画面以及第二视频画面进行视频混流操作。2.根据权利要求1所述的视频混流方法，其特征在于，所述对齐帧信息通过以下步骤生成：所述第一视频终端将所述第一视频画面发送至所述第二视频终端；所述第二视频终端展示所述第一视频画面，并根据第二视频终端用户操作生成所述第二视频画面；以及所述第二视频终端根据正在展示的第一视频画面的画面帧的显示时间以及正在展示的对应的第二视频画面的画面帧的显示时间，生成第一视频画面和第二视频画面的对齐帧信息。3.根据权利要求2所述的视频混流方法，其特征在于，所述对齐帧信息为第一视频画面的画面帧的显示时间以及对应的第二视频画面的画面帧的显示时间；或第一视频画面的画面帧的显示时间与对应的第二视频画面的画面帧的显示时间的显示时间差信息。4.根据权利要求1所述的视频混流方法，其特征在于，所述根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作的步骤包括：设定所述第一视频画面的第一对齐画面帧；根据所述对齐帧信息以及所述第一视频画面的第一对齐画面帧，获取对应的第二视频画面的第一对齐画面帧；以及使用所述第一视频画面的第一对齐画面帧和所述第二视频画面的第一对齐画面帧进行画面帧对齐操作。5.根据权利要求4所述的视频混流方法，其特征在于，所述第一视频画面的第一对齐画面帧为所述第一视频画面的当前画面帧。6.根据权利要求4所述的视频混流方法，其特征在于，所述根据所述对齐帧信息，对所述第一视频画面和所述第二视频画面进行画面帧对齐操作的步骤还包括：如根据所述对齐帧信息以及所述第一视频画面的第一对齐画面帧，无法获取到对应的第二视频画面的第一对齐画面帧；则设定所述第二视频画面的第二对齐画面帧；根据所述对齐帧信息以及所述第二视频画面的第二对齐画面帧，获取对应的第一视频画面的第二对齐画面帧；以及使用所述第一视频画面的第二对齐画面帧和所述第二视频画面的第二对齐画面帧进行画面帧对齐操作。7.根据权利要求6所述的视频混流方法，其特征在于，所述第二视频画面的第二对齐画面帧为所述第二视频画面的当前画面帧。8.一种视频混流装置，其特征在于，包括：视频混流请求接收模块，用于接收视频混流请求，其中所述视频混流请求为对第一视频终端的第一视频画面和第二...

【专利技术属性】
技术研发人员：兰玉龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44