一种手术录播方法及系统技术方案

本发明专利技术涉及一种手术录播方法，具体包括对目标设备采用电源分流管理，建立流媒体服务器与目标设备的通信连接，同时建立目标设备的本地通信连接，获取所有源的图像数据和音频数据编码后编码插入音视频交织队列，对音视频交织队列的数据进行音视频同步处理，打包成FLV文件格式发送到流媒体服务器或局域网，同时生成MP4文件格式保存至本地，该方法引入引入电源分流管理，对系统供电进行分流管理，对音视频同步处理引入音视频时间戳及源反馈机制，并在传输过程中对网络抗性优化，解决画面和声音不同步现象，而且延时率较高问题，同时公开了手术录播系统用于实施该手术播方法。术录播系统用于实施该手术播方法。术录播系统用于实施该手术播方法。

【技术实现步骤摘要】
一种手术录播方法及系统


[0001]本专利技术涉及音视频数据处理
，具体涉及针对采集音影像数据采集、处理及形成音视频文件并实现推流的一种手术录播方法及系统。

技术介绍

[0002]随着音视频技术的发展，手术录播系统已经成为医疗教学、培训、交流的一个重要的技术手段。传统的手术录播系统将摄像机、无线麦克风、录播主机(或计算机)临时搭配或是简单组装成一个小的设备，无法对所有设备进行统一的电源管理，并且只能实现局域网内传播或只能向指定的流媒体服务器传输。而在音视频的同步处理上，不能全部做到音视频同步处理，经常会出现画面和声音不同步现象，而且延时率较高。

技术实现思路

[0003]针对上述问题，本专利技术提出一种手术录播方法，手术录播内容向互联网或局域网推流，并解决推流过程中音画不同步或延迟率较高的问题，并建立手术录播系统实现该录播方法。
[0004]为实现以上目的，采用以下技术方案：
[0005]第一方面提出一种手术录播方法，一种手术录播方法，具体包括，
[0006]对目标设备采用电源分流管理，提供不同电压电流等级的电源；
[0007]建立流媒体服务器与目标设备的通信连接，用于向互联网开起推流，同时建立目标设备的本地通信连接，用于向局域网开启推流；
[0008]获取所有源的图像数据和音频数据；
[0009]编码图像数据和音频数据，插入音视频交织队列；
[0010]对音视频交织队列的数据进行音视频同步处理，打包成FLV文件格式发送到流媒体服务器或局域网，同时生成MP4文件格式保存至本地，
[0011]音视频同步处理在进行视频在渲染时，每一帧视频根据与音频的时间戳对比，来调整立即渲染还是延迟渲染。
[0012]进一步地，视频在渲染步骤如下：定义一个音频序列，时间戳是A(0，20，40，60，80，100，120...)，定义一个视频序列V(0，40，80，120...)，
[0013]1)取一帧音频A(0)，播放，取一帧视频V(0)，视频帧的时间戳与音频的相等，视频立即渲染；
[0014]2)取一帧音频A(20)，播放，取一帧视频V(40)，视频帧的时间戳大于音频，视频太早，需要等待；
[0015]3)取一帧音频A(40)，播放，取一帧视频，还是步骤2)中的V(40)，视频帧的时间戳与音频的相等，视频立即渲染，视频帧的时间戳与音频的在真实场景中不一定完全相等，他们之间差值的绝对值在一个帧间隔时间内也可以认为是相同的时间戳。
[0016]进一步地，音视频同步处理过程中引入反馈机制，将当前数据流速度太快或太慢
的状态反馈给源，让源去放慢或加快数据流的速度，所述的源包括视频源和音频源。
[0017]进一步地，反馈机制对于起播阶段，视频解码需要依赖第一个I帧，若出现视频PTS超前音频PTS较多情况，则将多余的音频数据丢弃，减少起播阶段的音视频差距。
[0018]进一步地，FLV文件发送方式为从CDN分发节点到SDK再到观众端播放，同时推出FLV、RTMP、HLS及WebRTC的数据流。
[0019]进一步地，对WebRTC升级，包括不限于支持AAC、视频支持H.265和B帧、通过STP协商精简信令交互、可以关闭GTRS以及支持透传Metadata。
[0020]进一步地，WebRTC抗性的优化，通过感知到的网络的变化来调整发包策略、重传策略、FEC冗余策略，所述的感知包括RTT、丢包率、瓶颈带宽，
[0021]对于有丢包未拥塞的网络，通过根据丢包率计算重传次数，提高重传成功率，也可以通过FEC冗余发包，在弱丢包或者少丢包的情况下不需要重传；
[0022]对于有丢包且拥塞的网络：
[0023]当码率超过了瓶颈带宽时，根据I帧的播放时间以及buff将超过带宽的码率平化掉，
[0024]当码率没有超过瓶颈带宽时，通过降帧率或者通过只发低分辨率的帧来使码率小于瓶颈带宽。
[0025]进一步地，还包括画质优化方法，其方法为视频源和音频源在编码的时做修复增强，再将视频进行压缩输出低码率的视频流数据，打包成FLV格式文件进行发送。
[0026]第二方面建立一种手术录播系统，包括电源管理系统、无线通讯模块、图像获取模块、音频获取模块、图像编码模块、音频编码模块、音视频处理模块及存储模块；
[0027]所述的电源管理系统至少包括电源分路管理模块，用于提供不同电压电流等级的电源；
[0028]无线通讯模块，用于与建立流媒体服务器和本地通信连接，用于向互联网或局域网开启推流；
[0029]图像获取模块，用于获取所有源的图像数据；
[0030]音频获取模块，用于获取所有源的音频数据；
[0031]图像编码模块，用于对获取的图像数据进行编码；
[0032]音频编码模块，用于对获取的音频数据进行编码；
[0033]音视频处理模块，用于对音视频交织队列的数据进行音视频同步处理，生成FLV格式或MP4格式文件；
[0034]存储模块，用于存储MP4格式文件。
[0035]进一步地，无线通讯模块为CPE模块。
[0036]与现有技术相比本专利技术：
[0037]引入电源分流管理，对系统供电进行分流管理，提供不同电流电压，避免传统手术录播的分别供电分别的弊端。
[0038]建立与广域网和局域网的连接，录播文件可向广域网接入流媒体服务器推流，也可实现本地文件保存，尤其是在系统中引入CPE模块，在多网络互联网环境中建立灵活的连接，各种子网络可以通过完全不同的数据组和介质访问方法连接。
[0039]音视频同步处理引入音视频时间戳及源反馈机制，并在传输过程中对网络抗性优
化，进行自适应传输，保证视频码率及帧率在不同的网络带宽下可流畅传输，解决画面和声音不同步现象，而且延时率较高问题。
附图说明
[0040]图1为本专利技术实施例提供的一种手术录播方法的流程示意图；
[0041]图2为专利技术实施例提供的一种手术录播系统的架构示意图；
[0042]图3为专利技术实施例提供的一种手术录播系统的工作流程示意图。如图所示：100、无线通讯模块；200、图像获取模块；300、音频获取模块；400、图像编码模块；500、音频编码模块；600、音视频处理模块；700、存储模块；800、对接支撑板；900、电源管理系统；901、通断电管理模块；902、充电管理模块；903、电池容量监测模块；904、电源分路管理模块。
具体实施方式
[0043]下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
[0044]实施例1
[0045]结合附图进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手术录播方法，其特征在于，具体包括，对目标设备采用电源分流管理，提供不同电压电流等级的电源；建立流媒体服务器与目标设备的通信连接，用于向互联网开起推流，同时建立目标设备的本地通信连接，用于向局域网开启推流；获取所有源的图像数据和音频数据；编码图像数据和音频数据，插入音视频交织队列；对音视频交织队列的数据进行音视频同步处理，打包成FLV文件格式发送到流媒体服务器或局域网，同时生成MP4文件格式保存至本地，音视频同步处理在进行视频在渲染时，每一帧视频根据与音频的时间戳对比，来调整立即渲染还是延迟渲染。2.根据权利要求1所述的一种手术录播方法，所述的视频在渲染步骤如下：定义一个音频序列，时间戳是A(0，20，40，60，80，100，120...)，定义一个视频序列V(0，40，80，120...)，1)取一帧音频A(0)，播放，取一帧视频V(0)，视频帧的时间戳与音频的相等，视频立即渲染；2)取一帧音频A(20)，播放，取一帧视频V(40)，视频帧的时间戳大于音频，视频太早，需要等待；3)取一帧音频A(40)，播放，取一帧视频，还是步骤2)中的V(40)，视频帧的时间戳与音频的相等视频立即渲染。3.根据权利要求2所述的一种手术录播方法，其特征在于，所述的音视频同步处理过程中引入反馈机制，将当前数据流速度太快或太慢的状态反馈给源，让源去放慢或加快数据流的速度，所述的源包括视频源和音频源。4.根据权利要求3所述的一种手术录播方法，其特征在于，所述的反馈机制对于起播阶段，视频解码需要依赖第一个I帧，若出现视频PTS超前音频PTS较多情况，则将多余的音频数据丢弃，减少起播阶段的音视频差距。5.根据权利要求1所述的一种手术录播方法，其特征在于，所述的FLV文件发送方式为从CDN分发节点到SDK再到观众端播放，同时推出FLV、RTMP、HLS及WebRTC的数据流。6.根据权利...

【专利技术属性】
技术研发人员：尹剑，
申请(专利权)人：尹剑，
类型：发明
国别省市：