一种实时视频处理方法及装置制造方法及图纸

本发明专利技术提供一种实时视频处理方法及装置，该方法包括：发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明专利技术中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。 1

A real-time video processing method and device

The present invention provides a real-time video processing method and device. The method includes: sending the current video frame by the sending end, detecting whether there is a trigger control event at present, obtaining the control signaling corresponding to the trigger control event, inserting the control signaling into the current video frame and transmitting the current video frame after the insertion to the receiving end. If it does not exist, the current video frame is directly transmitted to the receiving end. The receiving end receives the current video frame transmitted by the sending end; determines whether the current video frame contains control signaling; if so, the current video frame is played according to the control signaling; if not, the current video frame is directly played. In the invention, the sending terminal inserts the control signal into the video frame, so that the control signal reaches the receiving end at the same time as the video frame. Synchronization of video rendering and control signaling is implemented at the receiving end. The control signaling is triggered by the trigger control event triggered by the user actively, and increases the interactive means between the sender and the receiver, and improves the user's participation and experience in real-time video. One

【技术实现步骤摘要】
一种实时视频处理方法及装置
本专利技术涉及数据处理
，具体而言，涉及一种实时视频处理方法及装置。
技术介绍
目前，在监控系统及即时通讯等各个应用领域中都需要进行实时视频的传输，发送端在传输实时视频的同时还需要传输控制信令，以使接收端根据控制信令处理实时视频。当前，相关技术中传输实时视频时，视频流与控制信令是在不同通道分别进行传输的。通过不同通道传输很难确保视频流与其对应的控制信令同时到达接收端。为了实现视频流与控制信令的同步，相关技术中添加了缓冲区，并进行时间戳同步，但在实时视频交互场景下，会造成更高的时间延迟。而且基于UDP(UserDatagramProtocol，用户数据报协议)传输视频流及控制信令时，必然存在丢包现象，为了保证视频流与其对应的控制信令均能到达接收端，也会相应的增加程序设计以及实现的复杂度。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种实时视频处理方法及装置，以解决现有技术中视频流与控制信令在不同通道分别传输，导致视频流与控制信令不同步的问题。第一方面，本专利技术实施例提供了一种实时视频处理方法，所述方法包括：采集当前视频帧；检测当前是否存在触发控制事件；若检测到触发控制事件，则获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中，传输插入操作后的所述当前视频帧给接收端；若未检测到触发控制事件，则直接传输所述当前视频帧给接收端。结合第一方面，本专利技术实施例提供了上述第一方面的第一种可能的实现方式，其中，所述将所述控制信令插入所述当前视频帧中，包括：解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；将所述控制信令插入所述SEI中。结合第一方面，本专利技术实施例提供了上述第一方面的第二种可能的实现方式，其中，所述触发控制事件为预设用户行为；所述检测当前是否存在触发控制事件，包括：识别所述当前视频帧包含的用户图像；提取所述用户图像的图像特征；根据所述图像特征，确定所述用户图像中是否存在预设用户行为；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。结合第一方面，本专利技术实施例提供了上述第一方面的第三种可能的实现方式，其中，所述触发控制事件为存在响度大于预设分贝阈值的声音；所述检测当前是否存在触发控制事件，包括：采集所述当前视频帧的同时，录制所述当前视频帧对应的音频文件；判断所述音频文件包含的声音的响度是否大于所述预设分贝阈值；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。第二方面，本专利技术实施例提供了一种实时视频处理方法，所述方法包括：接收发送端传输的当前视频帧；确定所述当前视频帧是否包含控制信令；如果是，则根据所述控制信令播放所述当前视频帧；如果否，则直接播放所述当前视频帧。结合第二方面，本专利技术实施例提供了上述第二方面的第一种可能的实现方式，其中，所述确定所述当前视频帧是否包含控制信令，包括：解析所述当前视频帧，从所述当前视频帧中定位出SEI；查看所述SEI中是否包含控制信令。结合第二方面，本专利技术实施例提供了上述第二方面的第二种可能的实现方式，其中，所述根据所述控制信令播放所述当前视频帧，包括：确定所述控制信令对应的操作指令；在播放所述当前视频帧的同时执行所述操作指令。第三方面，本专利技术实施例提供了一种实时视频处理装置，所述装置包括：采集模块，用于采集当前视频帧；检测模块，用于检测当前是否存在触发控制事件；插入模块，用于当所述检测模块检测到触发控制事件时，获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中；传输模块，用于传输插入操作后的所述当前视频帧给接收端；所述传输模块还用于当所述检测模块未检测到触发控制事件时，直接传输所述当前视频帧给接收端。结合第三方面，本专利技术实施例提供了上述第三方面的第一种可能的实现方式，其中，所述插入模块包括：定位单元，用于解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；插入单元，用于将所述控制信令插入所述SEI中。第四方面，本专利技术实施例提供了一种实时视频处理装置，所述装置包括：接收模块，用于接收发送端传输的当前视频帧；确定模块，用于确定所述当前视频帧是否包含控制信令；播放模块，用于当所述确定模块确定所述当前视频帧包含控制信令时，根据所述控制信令播放所述当前视频帧；以及，用于当所述确定模块确定所述当前视频帧不包含控制信令时，直接播放所述当前视频帧。在本专利技术实施例中，发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本专利技术中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例1所提供的一种实时视频处理方法的流程图；图2示出了本专利技术实施例1所提供的一种实时视频处理方法的另一种流程图；图3示出了本专利技术实施例1所提供的一种实时视频传输示意图；图4示出了本专利技术实施例2所提供的一种实时视频处理方法的流程图；图5示出了本专利技术实施例2所提供的一种实时视频处理方法的另一种流程图；图6示出了本专利技术实施例3所提供的一种实时视频处理装置的结构示意图；图7示出了本专利技术实施例4所提供的一种实时视频处理装置的结构示意图；图8示出了本专利技术实施例6所提供的一种实时视频处理装置的结构示意图；图9示出了本专利技术实施例8所提供的一种实时视频处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。考虑到相关技术中传输实时视频时，视频流与控制信令是在不同通道分别进行传输的，导致视频流与其对应的控制信令很容易出现不同步的问题。而且现有技术中为了解决该不同步问题，添加了缓冲区，并进行时间戳同步，如此会造成很高的时间延迟。基于此，本专利技术实施例提供了一种实时视频处理方法及装置，下面通过实施例进行描述。实施例1本文档来自技高网...

【技术保护点】
1.一种实时视频处理方法，其特征在于，所述方法包括：

【技术特征摘要】
1.一种实时视频处理方法，其特征在于，所述方法包括：采集当前视频帧；检测当前是否存在触发控制事件；若检测到触发控制事件，则获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中，传输插入操作后的所述当前视频帧给接收端；若未检测到触发控制事件，则直接传输所述当前视频帧给接收端。2.根据权利要求1所述的方法，其特征在于，所述将所述控制信令插入所述当前视频帧中，包括：解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；将所述控制信令插入所述SEI中。3.根据权利要求1所述的方法，其特征在于，所述触发控制事件为预设用户行为；所述检测当前是否存在触发控制事件，包括：识别所述当前视频帧包含的用户图像；提取所述用户图像的图像特征；根据所述图像特征，确定所述用户图像中是否存在预设用户行为；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。4.根据权利要求1所述的方法，其特征在于，所述触发控制事件为存在响度大于预设分贝阈值的声音；所述检测当前是否存在触发控制事件，包括：采集所述当前视频帧的同时，录制所述当前视频帧对应的音频文件；判断所述音频文件包含的声音的响度是否大于所述预设分贝阈值；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。5.一种实时视频处理方法，其特征在于，所述方法包括：接收发送端传输的当前视频帧；确定所述当前视频帧是否包含控制信令；如果是，则根据所述控制信令播放所述当前视频帧；如...

【专利技术属性】
技术研发人员：张光，
申请(专利权)人：北京三体云联科技有限公司，
类型：发明
国别省市：北京,11