一种基于HTML5的不同帧率音视频的同步方法及装置制造方法及图纸

本发明专利技术提供了一种基于HTML5的不同帧率音视频同步方法及装置，其中的方法包括：从服务端接收视频流和音频流；基于采样率对音频流中包含的音频帧数据按照固定时长进行播放；实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，实现不同帧率音视频的同步。本发明专利技术提供的方法中，视频帧可以以音频帧时间轴为参考，实现视音频同步播放。

A synchronization method and device of audio and video with different frame rates based on HTML5

【技术实现步骤摘要】
一种基于HTML5的不同帧率音视频的同步方法及装置
本专利技术涉及音视频处理
，具体涉及一种基于HTML5的不同帧率音视频的同步方法及装置。
技术介绍
在HTML5标准出现以前，浏览器上实现实时音视频流的播放，一般都采用自定义开发插件或flashplayer插件的方式。自定义开发插件需要针对不同的浏览器开发不同的插件版本，IE使用ActiveX架构开发，NPAPI架构浏览器(firefox、chrome、Safari)需采用NPAPI架构开发，费时费力。采用flash插件方案，虽然解决了跨浏览器问题，但flash插件是个封闭保护插件，开放的接口有限，同时其音视频流格式也是其专有的，必须使用专有的后台服务，导致其可扩展性十分有限，难于在实时流直播中大量应用。同时，以上两种方案，均需要在浏览器中进行插件安装，因浏览器的安全等级保护导致用户使用起来很不方便。HTML5是Web标准最巨大的飞跃。HTML5并非仅仅用来表示Web内容，它也将Web带入一个成熟的应用平台，在这个平台上，视频，音频，动画等都被标准化。随着HTML5的发展，各个浏本文档来自技高网...

【技术保护点】
1.一种基于HTML5的不同帧率音视频的同步方法，其特征在于，所述方法包括：/n从服务端接收视频流和音频流；/n基于采样率对音频流中包含的音频帧数据按照固定时长进行播放；/n实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，实现不同帧率音视频的同步。/n

【技术特征摘要】
1.一种基于HTML5的不同帧率音视频的同步方法，其特征在于，所述方法包括：
从服务端接收视频流和音频流；
基于采样率对音频流中包含的音频帧数据按照固定时长进行播放；
实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，实现不同帧率音视频的同步。


2.如权利要求1所述的方法，其特征在于，从服务端接收视频流和音频流，包括：
采用websocket从服务端接收h264视频流和aac音频流。


3.如权利要求1所述的方法，其特征在于，基于采样率对音频流中包含的音频帧数据按照固定时长进行播放，包括：
基于预设封装规则对接收的视频流和音频流分视轨音轨进行封装，设置音频帧的封装参数，对音频流中包含的音频帧数据按照固定时长进行播放。


4.如权利要求3所述的方法，其特征在于，封装参数包括时间单元数和封装的音频帧的时间长度，设置音频帧的封装参数，对音频流中包含的音频帧数据按照固定时长进行播放，包括：
根据音频的采样率计算当前音频帧的播放时间；
确定音频帧播放的时间单元数；
根据当前音频帧的播放时间和音频帧播放的时间单元数，确定封装的音频帧的时间长度，并根据封装的音频帧的时间长度对音频流中包含的音频帧数据进行播放。


5.如权利要求4所述的方法，其特征在于，实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，包括：
记录视频帧数据之间的时间间隔，实时监测视频帧帧率；
根据实时监测的视频帧帧率和音频帧播放的时间单元数，确定视频帧的封装时间长度，并根据视频帧的封装时间长度调整每帧视频数据的播放时长，实现不同帧率音视频的同步。


6.如权利要求5所述的方法，其特征在于，记录视频帧数据之间的时间间隔，实时监...

【专利技术属性】
技术研发人员：董明洲，
申请(专利权)人：武汉长江通信产业集团股份有限公司，武汉长江通信智联技术有限公司，
类型：发明
国别省市：湖北;42