视频通信中的视频标注技术制造技术

本发明专利技术提出了一种在视频通信中标注视频的方法、设备和系统，包括：设备一通过网络将用户甲的视频流一发送至用户乙的设备二，其中用户乙与用户甲在进行视频通信；通过网络接收从设备二发送的用户乙的视频流二；处理器使用视频流二获知用户乙对视频流一所采取的反应；并将用户乙的反应与视频流一相关联。设备包含一个处理器以及耦合到处理器的存储器。配置存储器使其用于存储指令，处理器执行该指令后可运行处理操作以实现该方法。

Video annotation technology in video communication

【技术实现步骤摘要】
视频通信中的视频标注技术
本专利技术涉及视频通信技术，具体领域为视频通信系统中的视频标注技术。
技术介绍
视频质量是人们在实时多媒体通信系统中的一个主要关注点。在此类系统中，视频数据可通过网络(如互联网)在发送方和接收方(如移动电话或个人计算机)之间传输。采用一些基于客观测量的方法可以评估和控制视频质量，该客观测量可包括峰值信噪比(PSNR)和结构相似性(SSIM)等。编码和压缩的视频数据可被打包成数据包用于网络传输。在出现网络抖动的情况下，来自发送方的数据包可能在传输过程中丢失，并且可能无法到达接收方。在一些情况下，接收的数据包可能包含损坏的数据而无法在接收器处恢复。在数据包丢失或损坏的情况下，接收器可能无法完全解码相关视频。影响视频质量的另一个因素是网络带宽不稳定(或“网络拥塞”)。现代视频编码器可以根据网络条件的变化调整编码方案和参数(如视频编码比特率、帧速率和/或帧分辨率)，这可能导致视频质量上下波动。实时多媒体通信系统中发生的所有这些情况都会影响用户体验。
技术实现思路
下文将阐述在视频通信系统中采用视频标本文档来自技高网...

【技术保护点】
1.一种在视频通信中标注视频的方法，包括：/n设备一通过网络将用户甲的视频流一发送至用户乙的设备二，其中用户乙与用户甲在进行视频通信；/n通过网络接收从设备二处发送的用户乙的视频流二；/n处理器使用视频流二获知用户乙对视频流一所采取的反应；并且/n将用户乙的反应与视频流一相关联。/n

【技术特征摘要】
20180620 US 16/013,2801.一种在视频通信中标注视频的方法，包括：
设备一通过网络将用户甲的视频流一发送至用户乙的设备二，其中用户乙与用户甲在进行视频通信；
通过网络接收从设备二处发送的用户乙的视频流二；
处理器使用视频流二获知用户乙对视频流一所采取的反应；并且
将用户乙的反应与视频流一相关联。


2.根据权利要求1所述的方法，其中是由设备一和/或在网络上与设备一相连的服务器来获得用户乙对视频流一所采取的反应。


3.根据权利要求1所述的方法，其中获知用户乙对视频流一所采取的反应包括：
通过分析下列两者至少其中之一来获知用户乙的反应：从视频流二的解码图像中选择的解码图像和从视频流二中解码的音频。


4.根据权利要求3所述的方法，其中将用户乙的反应与视频流一相关联包括：
根据与解码图像相关联的时间戳一，找到与时间戳二相关联的视频流一的其中一段，其中时间戳一与时间戳二之间的时间差小于预定阈值；以及
将用户乙的反应与视频流一的这一段相关联。


5.根据权利要求3所述的方法，其中
根据用户乙的面部表情、用户乙的情绪、用户乙的姿势、用户乙的语音特征以及用户乙的话语含义等至少其中之一来获知用户乙的反应，
通过分析解码的图像来获知面部表情、情绪和姿势，并且
通过分析音频来获知语音特征和话语的语义。


6.根据权利要求5所述的方法，其中
采用卷积神经网络(CNN)技术、k近邻(k-NN)技术、支持向量机(SVM)技术等其中之一从视频流二的解码图像中获知用户乙的面部表情和情绪；
在与视频流二相关联的音频中获知用户乙的语音特征；以及
采用自动语音识别(ASR)技术从音频中获知用户乙的话语的语义。


7.根据权利要求1所述的方法，还包括：
根据用户乙针对视频流一所采取的反应，在设备一处更新用于对视频流一进行编码的参数，其中该参数包括比特率、帧速率、分辨率和前向纠错(FEC)率等其中至少之一。


8.一台用于在视频通信中标注视频的设备，包括
一个处理器；以及
一个耦合至处理器的存储器，配置存储器为可存储指令，处理器执行指令后可运行处理操作以用于：
设备一通过网络将用户甲的视频流一发送至用户乙的设备二，其中用户乙与用户甲在进行视频通信；
通过网络接收从设备二处发送的用户乙的视频流二；
通过视频流二来获知用户乙对视频流一所采取的反应；并且
将用户乙的反应与视频流一相关联。


9.根据权利要求8所述的设备，其中存储器中包含由处理器执行的操作指令以获知用户乙对视频流一所采取的反应还包含由处理器执行的操作指令以用于：
使用视频流二来获知用户乙对视频流一中的多段内容分别采取的各个反应。


10.根据权利要求8所述的设备，其中存储器中包含由处理器执行的操作指令以获知用户乙对视频流一所采取的反应还包含由处理器执行的操作指令以用于：
通过分析从视频流二的解码图像中选择的解码图像和/或从视频流二中解码的音频来获知用户乙的反应。


11.根据权利要求10所述的设备，其中存储器中包含由处理器执行的操作指令以获知用户乙对视频流一所采取的反应还包含由处理器执行的操作指令以用于：
根据与解码图像相关联的时间戳一，找到与时间戳二相关联的视频流一的其中一段，其中时间戳一与时间戳二之间的时间差小于预定阈值；以及
将用户乙的反应与视频流一的这一段...

【专利技术属性】
技术研发人员：钟声，冯越，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：上海;31