一种快速传输及同步的会议视听系统及其控制方法技术方案

本发明专利技术涉及流媒体控制技术领域，具体公开了一种快速传输及同步的会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端、一流媒体转发服务端和至少一个同屏接收终端，该会议视听系统包括采集模块、编码模块、网络推流模块、时间戳核对模块、核对周期定时模块、至少一个接收端解码模块、至少一个接收端视频音频同步处理模块和至少一个接收端渲染处理模块；本发明专利技术还公开了一种快速传输及同步的会议视听系统的控制方法，包括S1‑S5，S1，采集信息给所述编码模块；S2，编码处理；S3，时间戳标记；S4，解码处理；S5，渲染显示及渲染播放。本发明专利技术提高了视频传输速率和视频播放流畅性，使视频与音频的播放更同步。

【技术实现步骤摘要】
一种快速传输及同步的会议视听系统及其控制方法
本专利技术涉及流媒体控制
，具体涉及一种快速传输及同步的会议视听系统及其控制方法。
技术介绍
随着音视频技术和网络通信技术越来越成熟，办公会议信息化对视频的需求也日益提升，并成为整个会议服务体系中的一个重要组成部分。而会议视频作为办公会议中的重要部分，各式各样大型或小型会议经常都会用到高清视频播放功能，而且对会议视频的质量要求越来越高。随着2K高清视频(1920*1080分辨率)和2K高清分辨率显示器的普及，给会议的视听系统实现高清视觉体验的视频效果提供了有效的基础保障。但是由于2K高清视频源(1920*1080分辨率)视频像素数据量过于庞大，在传输过程中，网络对高清视频的传输速率低，高清视频的流畅性低。由于考虑到系统中声卡和抓屏采集的时间间隔，网络传输的时间消耗，以及接收端的解码时间消耗等等因素，会容易造成系统在运行一段时间后视频滞后音频的时间戳累积过大。
技术实现思路
有鉴于此，有必要针对上述的问题，提出一种快速传输及同步的会议视听系统及其控制方法，以解决上述
技术介绍
中的会议视听系统进行传输高清视频时出现的视频传输速率低、播放流畅性差的问题，以及会议视听系统视频与音频播放不同步的问题。为实现上述目的，本专利技术采取以下的技术方案：一种快速传输及同步的会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端、一流媒体转发服务端和至少一个同屏接收终端，该会议视听系统包括一采集模块、一编码模块、一网络推流模块、一时间戳核对模块、一核对周期定时模块、至少一个接收端解码模块、至少一个接收端视频音频同步处理模块和至少一个接收端渲染处理模块；所述采集模块、编码模块和网络推流模块均安装于同屏发起终端内；各个同屏接收终端均安装有一个接收端解码模块、一个接收端视频音频同步处理模块和一个接收端渲染处理模块；所述时间戳核对模块和核对周期定时模块均安装于流媒体转发服务端内；所述采集模块用于采集所述同屏发起终端的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块；所述编码模块用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块；所述网络推流模块用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端再推送给各个所述接收端解码模块；所述核对周期定时模块用于核对或/及调整所述核对周期定时模块内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块；所述时间戳核对模块用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；所述接收端解码模块用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块；所述接收端视频音频同步处理模块用于根据所述时间戳核对模块对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；所述接收端渲染处理模块用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。进一步地，所述采集模块包括屏幕采集子模块和声卡采集子模块；编码模块包括视频编码模块和音频编码模块；接收端解码模块包括视频解码子模块和音频解码子模块；所述屏幕采集子模块用于采集所述同屏发起终端的视频信息，并将采集到的视频信息传送给所述编码模块；所述声卡采集子模块用于采集所述同屏发起终端的音频信息，并将采集到的音频信息传送给所述编码模块；所述视频编码模块用于将接收到的视频信息进行编码处理，并将编码处理后的视频信息传送给所述网络推流模块；所述音频编码模块用于将接收到的音频信息进行编码处理，并将编码处理后的音频信息传送给所述网络推流模块；所述视频解码子模块用于将接收到的视频信息进行解码处理，并将解码得到的视频像素数据传送给所述接收端渲染处理模块；所述音频解码子模块用于将接收到的音频信息进行解码处理，并将解码后得到的音频采样数据传送给所述接收端渲染处理模块。进一步地，所述视频编码模块采用X264编码器对接收到的视频信息进行编码处理；所述视频编码模块编码处理后的视频信息为H.264视频码流。进一步地，所述音频编码模块采用AAC编码器对接收到的音频信息进行编码处理；所述音频编码模块编码处理后的音频信息为AAC音频码流。进一步地，所述网络推流模块采用组播或者单播模式向各个所述接收端解码模块进行推送。进一步地，所述核对周期定时模块内的时间周期值由同屏发起终端提供。进一步地，所述核对周期定时模块内的时间周期值为五秒。一种快速传输及同步的会议视听系统的控制方法应用于如上所述的快速传输及同步的会议视听系统，该控制方法包括以下步骤：S1，所述采集模块采集所述同屏发起终端的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块；S2，所述编码模块将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块；S3，所述网络推流模块对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端再推送给各个所述接收端解码模块；S4，所述接收端解码模块将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块；S5，所述接收端渲染处理模块将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。进一步地，该控制方法于S5之后还包括如下步骤：S6，所述网络推流模块判断所述同屏发起终端与各个同屏接收终端是否同屏成功，若同屏成功则执行S7，若同屏失败则结束整个控制过程；S7，所述核对周期定时模块将被核对或/及调整后的时间周期值提供给所述时间戳核对模块；所述时间戳核对模块根据被核对或/及调整后的所述时间周期值进行周期采集所述视频时间戳和音频时间戳；S8，所述时间戳核对模块计算所述网络推流模块接收到的视频时间戳与音频时间戳的时间差值，并判断该时间差值是否小于当前时间戳或80ms，若判断为是则执行S9，若判断为否则无需对视频与音频进行同步处理；S9，所述接收端视频音频同步处理模块对视频与音频进行同步处理。本专利技术的有益效果为：本专利技术的一种快速传输及同步的会议视听系统，通过通过H.264编码技术和AAC编码技术的结合，极大程度解决了传统会议中对2K高清视频(1920*1080分辨率)传输方面的流畅性，同时所采用的视音频同步方法结合“主从机”同步控制方法，保证了整个视频同屏的同步效果的稳定性，以及提升了会议中高清视频信息展示的用户体验，为用户在会议中感受高清甚至超清的视频同屏效果和视觉冲击感。在视音频数据传输方面，本专利技术采用组播模式进行网络传输，从而在传输过程简单高效、传输速率快，可以做到小于40ms的超低延时，适合此类型的实时性流媒体传输应用场景。本专利技术让同屏接收终端再次进行更加精准的“主从”视音频同步控制，因为声卡硬件所参考的时钟基准跟视频显卡的播放参考的时钟是不一样的，本专利技术采用了以音频轴为基准，通过视频向音频轴同步的方法实现初步的音视频同步效果；媒体间同步即本文档来自技高网...

【技术保护点】
1.一种快速传输及同步的会议视听系统，其特征在于，该会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端(1)、一流媒体转发服务端(2)和至少一个同屏接收终端(3)，该会议视听系统包括一采集模块(11)、一编码模块(12)、一网络推流模块(13)、一时间戳核对模块(21)、一核对周期定时模块(22)、至少一个接收端解码模块(31)、至少一个接收端视频音频同步处理模块(32)和至少一个接收端渲染处理模块(33)；所述采集模块(11)、编码模块(12)和网络推流模块(13)均安装于同屏发起终端(1)内；各个同屏接收终端(3)均安装有一个接收端解码模块(31)、一个接收端视频音频同步处理模块(32)和一个接收端渲染处理模块(33)；所述时间戳核对模块(21)和核对周期定时模块(22)均安装于流媒体转发服务端(2)内；所述采集模块(11)用于采集所述同屏发起终端(1)的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块(12)；所述编码模块(12)用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块(13)；所述网络推流模块(13)用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端(2)再推送给各个所述接收端解码模块(31)；所述核对周期定时模块(22)用于核对或/及调整所述核对周期定时模块(22)内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块(21)；所述时间戳核对模块(21)用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；所述接收端解码模块(31)用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块(33)；所述接收端视频音频同步处理模块(32)用于根据所述时间戳核对模块(21)对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；所述接收端渲染处理模块(33)用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。...

【技术特征摘要】
1.一种快速传输及同步的会议视听系统，其特征在于，该会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端(1)、一流媒体转发服务端(2)和至少一个同屏接收终端(3)，该会议视听系统包括一采集模块(11)、一编码模块(12)、一网络推流模块(13)、一时间戳核对模块(21)、一核对周期定时模块(22)、至少一个接收端解码模块(31)、至少一个接收端视频音频同步处理模块(32)和至少一个接收端渲染处理模块(33)；所述采集模块(11)、编码模块(12)和网络推流模块(13)均安装于同屏发起终端(1)内；各个同屏接收终端(3)均安装有一个接收端解码模块(31)、一个接收端视频音频同步处理模块(32)和一个接收端渲染处理模块(33)；所述时间戳核对模块(21)和核对周期定时模块(22)均安装于流媒体转发服务端(2)内；所述采集模块(11)用于采集所述同屏发起终端(1)的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块(12)；所述编码模块(12)用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块(13)；所述网络推流模块(13)用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端(2)再推送给各个所述接收端解码模块(31)；所述核对周期定时模块(22)用于核对或/及调整所述核对周期定时模块(22)内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块(21)；所述时间戳核对模块(21)用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；所述接收端解码模块(31)用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块(33)；所述接收端视频音频同步处理模块(32)用于根据所述时间戳核对模块(21)对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；所述接收端渲染处理模块(33)用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。2.根据权利要求1所述的速传输及同步的会议视听系统，其特征在于，所述采集模块(11)包括屏幕采集子模块(111)和声卡采集子模块(112)；编码模块(12)包括视频编码模块(121)和音频编码模块(122)；接收端解码模块(31)包括视频解码子模块(311)和音频解码子模块(312)；所述屏幕采集子模块(111)用于采集所述同屏发起终端(1)的视频信息，并将采集到的视频信息传送给所述编码模块(12)；所述声卡采集子模块(112)用于采集所述同屏发起终端(1)的音频信息，并将采集到的音频信息传送给所述编码模块(12)；所述视频编码模块(121)用于将接收到的视频信息进行编码处理，并将编码处理后的视频信息传送给所述网络推流模块(13)；所述音频编码模块(122)用于将接收到的音频信息进行编码处理，并将编码处理后的音频信息传送给所述网络推流模块(13)；所述视频解码子模块(311)用...

【专利技术属性】
技术研发人员：赵定金，朱正辉，张常华，明德，
申请(专利权)人：广州市保伦电子有限公司，
类型：发明
国别省市：广东,44