视频即时通讯中测试音视频同步的方法、装置及系统制造方法及图纸

本公开是关于一种视频即时通讯中测试音视频同步的方法、装置及系统。本公开视频即时通讯中测试音视频同步的方法，包括：根据测试素材的第一音频信号采用预设规则形成第一音频波形图，并将第一音频波形图显示在测试素材的第一视频信号的视频画面上形成第二视频信号；将第一音频信号和第二视频信号通过视频即时通讯方式发送给接收端的终端设备；播放接收到的音频信号和视频信号，同时对播放中的音频信号和视频信号进行采集形成第二音频信号和第三视频信号；根据第二音频信号和第一音频波形图分析获取音视频的同步结果。本公开实现对视频即时通讯性能的评估、辅助视频引擎的开发与优化等，具备高效率的测试效率，高精度的测试评估。

【技术实现步骤摘要】

本公开涉及即时通讯技术，尤其涉及视频即时通讯中测试音视频同步的方法、装置及系统。
技术介绍
移动4G通信技术逐步发展和成熟，使视频会议、视频通话等各种视频即时通讯的移动服务得到大规模的发展和应用。从技术角度看，视频即时通讯需要经过采集、处理、压缩、传输、解压缩、渲染等过程，整个通讯过程中音频数据和视频数据是分别处理和传输的。但由于网络的复杂性、移动终端的多样性等因素，视频即时通讯过程中很容易产生音频和视频不同步的现象。相关技术中，思博伦公司的视频测试系统(Chromatic)可以对视频即时通讯中音视频的同步情况进行测试，该测试系统先对测试素材进行处理，将视频的每一帧图像进行帧号标记，再用一组循环的双音多频(dual-tonemulti-frequency，简称：DTMF)声音信号做为音频内容，确定每一帧图像对应的音频DTMF信号；通过视频即时通讯将处理后的音视频发送给接收终端；用高速摄像机和音频设备采集接收终端的音视频数据，识别并提取每一帧图像的帧号标记，同时识别每一帧图像对应的DTMF信号，形成DTMF序列；对比发送终端和接收终端两侧的视频信号和音频信号的时序，分析音频和视频的同步性。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种视频即时通讯中测试音视频同步的方法、装置及系统。根据本公开实施例的第一方面，提供一种视频即时通讯中测试音视频同
步的方法，包括：发送端的终端设备根据测试素材的第一音频信号采用预设规则形成第一音频波形图，并将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号；所述发送端的终端设备将所述第一音频信号和所述第二视频信号通过视频即时通讯方式发送给接收端的终端设备；所述接收端的终端设备播放接收到的音频信号和视频信号，同时对播放中的音频信号和视频信号进行采集形成第二音频信号和第三视频信号，所述第三视频信号包括显示了所述第一音频波形图的视频画面；所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果。本公开的实施例提供的技术方案可以包括以下有益效果：通过在发送端的视频画面上显示反映发送端的音频信号的音频时序、特性的音频波形，并将该视频画面传输给接收端，由接收端对实际接收的音频信号和发送端的音频信号进行分析比较，从而获取视频即时通讯过程中的音视频同步结果，实现对视频即时通讯性能的评估、辅助视频引擎的开发与优化等，具备高效率的测试效率，高精度的测试评估。优选的，所述发送端的终端设备将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号，包括：所述发送端的终端设备根据所述第一音频信号与所述第一视频信号的时序对应关系，将所述第一音频波形图显示在所述第一视频信号的视频画面上形成所述第二视频信号。本公开的实施例提供的技术方案可以包括以下有益效果：由于音视频播放过程中，视频信号是由一帧一帧有时序的图像组成，相应的每帧图像也有对应的音频信号，因此发送端的终端设备可以第一音频信号与第一视频信号的时序对应关系，在视频画面上显示由第一音频信号形成的第一音频波形图，这样在视频画面上直观的反映出了对应时间范围内的音频波形变化情况。进一步的，所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频
的同步结果，包括：所述接收端的终端设备根据所述第二音频信号采用所述预设规则形成第二音频波形图；所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图获取所述同步结果。所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图获取所述同步结果，包括：所述接收端的终端设备根据所述第二音频信号与所述第三视频信号的时序对应关系，将所述第二音频波形图显示在所述第三视频信号的视频画面上；所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图的重合度获取所述同步结果。本公开的实施例提供的技术方案可以包括以下有益效果：通过在采集的第三视频信号的视频画面上根据第二音频信号形成并显示第二音频波形图，并对视频画面上的两个音频波形图进行重合度的比较，可以直观的获取到音视频的同步结果，提高测试效率。进一步的，所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果，包括：所述接收端的终端设备根据所述第一音频波形图采样获取第一音频特征信息；所述接收端的终端设备根据所述第二音频信号采集获取第二音频特征信息；所述接收端的终端设备通过信号处理分析比较所述第一音频特征信息和所述第二音频特征信息获取所述同步结果。本公开的实施例提供的技术方案可以包括以下有益效果：通过分别根据第二音频信号和第一音频波形图得到二者分别对应的音频特征信息，再通过信号处理分析比较二者获取音视频的同步结果，可以直观的获取到音视频的同步结果，提高测试效率。根据本公开实施例的第二方面，提供一种终端设备，包括：波形形成模块，被配置为根据测试素材的第一音频信号采用预设规则形成第一音频波形图；图像处理模块，被配置为将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号；发送模块，被配置为将所述第一音频信号和所述第二视频信号通过视频即时通讯方式发送给接收端的终端设备。进一步的，所述图像处理模块，被配置为根据所述第一音频信号与所述第一视频信号的时序对应关系，将所述第一音频波形图显示在所述第一视频信号的视频画面上形成所述第二视频信号。根据本公开实施例的第三方面，提供一种终端设备，包括：播放模块，被配置为播放接收到的音频信号和视频信号；采集模块，被配置为对播放中的音频信号和视频信号进行采集形成第二音频信号和第三视频信号，所述第三视频信号包括显示了所述第一音频波形图的视频画面；分析模块，被配置为根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果。进一步的，所述分析模块包括：波形形成单元和第一同步分析单元；所述波形形成单元，被配置为根据所述第二音频信号采用所述预设规则形成第二音频波形图；所述第一同步分析单元，被配置为分析比较所述第二音频波形图和所述第一音频波形图获取所述同步结果。进一步的，所述第一同步分析单元，被配置为根据所述第二音频信号与所述第三视频信号的时序对应关系，将所述第二音频波形图显示在所述第三视频信号的视频画面上；分析比较所述第二音频波形图和所述第一音频波形图的重合度获取所述同步结果。进一步的，所述分析模块包括：采样单元、采集单元以及第二同步分析单元；所述采样单元，被配置为根据所述第一音频波形图采样获取第一音频特征信息；所述采集单元，被配置为根据所述第二音频信号采集获取第二音频特征信息；所述第二同步分析单元，被配置为通过信号处理分析比较所述第一音频特征信息和所述第二音频特征信息获取所述同步结果。根据本公开实施例的第四方面，提供一种终端设备，包括：处理器和用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行根据测试素本文档来自技高网...

【技术保护点】
一种视频即时通讯中测试音视频同步的方法，其特征在于，包括：发送端的终端设备根据测试素材的第一音频信号采用预设规则形成第一音频波形图，并将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号；所述发送端的终端设备将所述第一音频信号和所述第二视频信号通过视频即时通讯方式发送给接收端的终端设备；所述接收端的终端设备播放接收到的音频信号和视频信号，同时对播放中的音频信号和视频信号进行采集形成第二音频信号和第三视频信号，所述第三视频信号包括显示了所述第一音频波形图的视频画面；所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果。

【技术特征摘要】
1.一种视频即时通讯中测试音视频同步的方法，其特征在于，包括：发送端的终端设备根据测试素材的第一音频信号采用预设规则形成第一音频波形图，并将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号；所述发送端的终端设备将所述第一音频信号和所述第二视频信号通过视频即时通讯方式发送给接收端的终端设备；所述接收端的终端设备播放接收到的音频信号和视频信号，同时对播放中的音频信号和视频信号进行采集形成第二音频信号和第三视频信号，所述第三视频信号包括显示了所述第一音频波形图的视频画面；所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果。2.根据权利要求1所述的方法，其特征在于，所述发送端的终端设备将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号，包括：所述发送端的终端设备根据所述第一音频信号与所述第一视频信号的时序对应关系，将所述第一音频波形图显示在所述第一视频信号的视频画面上形成所述第二视频信号。3.根据权利要求1或2所述的方法，其特征在于，所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果，包括：所述接收端的终端设备根据所述第二音频信号采用所述预设规则形成第二音频波形图；所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图获取所述同步结果。4.根据权利要求3所述的方法，其特征在于，所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图获取所述同步结果，包括：所述接收端的终端设备根据所述第二音频信号与所述第三视频信号的时
\t序对应关系，将所述第二音频波形图显示在所述第三视频信号的视频画面上；所述接收端的终端设备分析比较所述第二音频波形图和所述第一音频波形图的重合度获取所述同步结果。5.根据权利要求1或2所述的方法，其特征在于，所述接收端的终端设备根据所述第二音频信号和所述第三视频信号中的所述第一音频波形图分析获取在所述视频即时通讯过程中音视频的同步结果，包括：所述接收端的终端设备根据所述第一音频波形图采样获取第一音频特征信息；所述接收端的终端设备根据所述第二音频信号采集获取第二音频特征信息；所述接收端的终端设备通过信号处理分析比较所述第一音频特征信息和所述第二音频特征信息获取所述同步结果。6.一种终端设备，其特征在于，包括：波形形成模块，被配置为根据测试素材的第一音频信号采用预设规则形成第一音频波形图；图像处理模块，被配置为将所述第一音频波形图显示在所述测试素材的第一视频信号的视频画面上形成带音频波形的第二视频信号；发送模块，被配置为将所述第一音频信号和所述第二视频信号通过视频即时通讯方式发送给接收端的终端设备。7.根据权利要求6所述的终端设备，其特征在于，所述图像处理模块，被配置为根据所述第一音频信号与所述第一视频信号的时序对应关系，将所述第一音频波形图显示在所述第一视频信号的视频画面上形成所述第二视频信号。8.一种终端设备，其特征在于，包括：播放模块，被配置为播放接收到的音频信号和...

【专利技术属性】
技术研发人员：李滨，张亚勇，董欣，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京;11