一种基于声音检测的会议录像标注系统技术方案

本发明专利技术提供一种基于声音检测的会议录像标注系统，包括：容器块头，用于存储会议中同一个参与成员的音视频数据位置信息；N个容器块，用于存储会议中各个参与成员的音视频数据；分辨率缩放模块，用于通过解码和编码视频数据缩放视频分辨率；将会议录像中的音视频数据信息存储到容器块头，将会议录像中各个参与成员的不同音视频数据分别存储到对应的容器块中；本发明专利技术播放操作简单，根据标签可以快速切换到需要查看的发言成员的画面。本发明专利技术播放可以灵活组合，提取所有发言人的画面同时播放，快速对比各个成员的发言内容。本发明专利技术定义简单的文件格式，使用块保存数据，数据提取简单也灵活。

【技术实现步骤摘要】
一种基于声音检测的会议录像标注系统
本专利技术涉及音视频处理
，具体涉及一种基于声音检测的会议录像标注系统。
技术介绍
现有的会议录像生成模式一般是针对每个会议成员单独录制产生一个录像文件，其播放模式为组合各个录像文件进行播放，播放虽然灵活但操作过于繁琐，如下图1。或者直接对整个会议的混屏画面进行录像，其播放模式为播放整个混屏画面的文件，操作简单明了但播放比较单一，不够灵活，如下图2。现希望找寻一种能够灵活播放整个会议过程的方案，可以自由快速地切换到发言成员的画面，也可以所有成员处在一个时间点同时播放，快速对比每个成员的发言内容。
技术实现思路
本专利技术的目的在于提供一种基于声音检测的会议录像标注系统，解决了
技术介绍
中所提出的问题。针对不同的图像数据加以标识和区分，为后续的播放模式做准备，本专利技术提供一种基于声音检测的会议录像标注系统，包括：容器块头(II)：用于存储会议(I)中同一个参与成员的音视频数据位置信息；N个容器块(III)：指不止附图3中编号的容器块(III)，用于存储会议(I)中各个参与成员的音视频数据；分辨率缩放模块：用于通过解码和编码视频数据缩放视频分辨率；将会议(I)录像中的音视频数据信息存储到容器块头(II)，将会议(I)录像中各个参与成员的不同音视频数据分别存储到对应的容器块(III)中；其中，音视频数据是指音视频媒体流的RTP数据包；音视频数据信息是指记录音视频数据的存储位置，以及该音视频数据所属于的会议成员的名称等信息内容；对其中每个容器块(III)进行标签设置，在需要使用N个容器块(III)进行录像播放时，从N个容器块(III)中提取整个会议(I)录像中各段的音视频数据，并调整其中每段视频的分辨率，经过分辨率缩放模块(VI)产生一致的视频分辨率，再根据播放器(VII)模式需求组合，渲染各段视频数据，同步音频数据进行播放。其中，渲染用于显示视频画面的操作；模式需求组合是指：1.按照会议流程播放录像；2.同时播放所有的会议成员录像；3.按照会议流程快速切换播放某成员的所有会议录像片段等组合方式。本专利技术中的会议(I)录像存储机制是：以会议(I)发言人基准，即检测到会议(I)发言人的声音，则开始将该发言人的音视频数据放到容器块(III)中，先存入视频数据后放入音频数据，防止录像播放时有声音没画面的情形；考虑音视频数据的快速检索定位，将音视频数据和音视频数据信息分别存储到容器块(III)和容器块头(II)，当需要某个成员的会议(I)发言音视频图像时，只要从容器块头(II)去检索，完成成员音视频数据查找。本专利技术中的容器块头(II)的标签定义：容器块头(II)用于保存会议(I)中各个成员音视频数据在容器块(III)存储的位置，以形成标签，快速定位会议(I)成员的发言起始点；每个标签保存会议(I)成员名称，能够用于快速检索匹配；考虑某个会议(I)成员在会议(I)中不同时间点会有发言，这些信息也需要被保存起来；如图4所示，容器块头(II)的标签格式为：起始标识+会议(I)成员名称+有效包长度+记录各段录像在容器块(III)中编号和位置。本专利技术中的容器块(III)，用于保存各个会议(I)成员发言时的音视频数据，将接收到的原始RTP数据包解析出一整帧的视频数据和音频数据放入到容器块(III)，对视频H264数据和音频数据打上时间戳，时间戳主要是为了后续播放时保持音视频的同步使用；如图5所示，容器块(III)格式为：起始标识+有效包长度+视频标识+长度+时间戳+视频H264数据+音频标识+长度+时间戳+音频数据；其中，视频H264数据包含SPS、PPS、I帧、P帧一整个组成视频完整画面的数据。本专利技术中的分辨率缩放模块的机制是：分辨率的缩放主要是为了播放效果考虑，会议(I)成员的视频分辨率可能是高清的，也可能是标清，也可能是超清的，故需要缩放分辨率，选择一个标准分辨率，比如选择第一个发言成员的视频分辨率为基准，其他不是该分辨率的成员进行分辨率的缩放。或者指定一个标准分辨率，所有不是该分辨率的成员进行分辨率的缩放。本专利技术中专业概念名称进行如下解释说明：SPS：(samplepersecond，每秒采样次数)，是衡量模数转换(ADC)时采样速率的单位；PPS：图像参数集PictureParameterSet；I帧：(Iframe)又称为内部画面(intrapicture)，I帧通常是每个GOP(MPEG所使用的一种视频压缩技术)的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像。P帧：在针对连续动态图像编码时，将连续若干幅图像分成P，B，I三种类型，P帧由在它前面的P帧或者I帧预测而来，它比较与它前面的P帧或者I帧之间的相同信息或数据，也即考虑运动的特性进行帧间压缩。与现有技术相比，本专利技术的有益效果如下：1.本专利技术播放操作简单，根据标签可以快速切换到需要查看的发言成员的画面。2.本专利技术播放可以灵活组合，提取所有发言人的画面同时播放，快速对比各个成员的发言内容。3.本专利技术定义简单的文件格式，使用块保存数据，数据提取简单也灵活。4.相比较一般的会议录像播放方式，本专利技术更具备实用性和创新性。附图说明图1为现有会议录像播放模式之一；图2为现有会议录像播放模式之二；图3为本专利技术中功能流程模块图；图4为本专利技术中容器块头标签格式的示意图；图5为本专利技术中容器块格式的示意图；附图数字标注：会议(I)，容器块头(II)，容器块(III)，分辨率缩放(VI)，播放器(VII)。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图3，本专利技术提供一种基于声音检测的会议录像标注系统的具体实施例，包括：容器块头(II)：用于存储会议(I)中同一个参与成员的音视频数据位置信息；N个容器块(III)：指不止附图3中编号的容器块(III)，用于存储会议(I)中各个参与成员的音视频数据；分辨率缩放模块：用于通过解码和编码视频数据缩放视频分辨率；将会议(I)录像中的音视频数据信息存储到容器块头(II)，将会议(I)录像中各个参与成员的不同音视频数据分别存储到对应的容器块(III)中；其中，音视频数据是指音视频媒体流的RTP数据包；音视频数据信息是指记录音视频数据的存储位置，以及该音视频数据所属于的会议成员的名称等信息内容；对其中每个容器块(III)进行标签设置，在需要使用N个容器块(III)进行录像播放时，从N个容器块(III)中提取整个会议(I)录像中各段的音视频数据，并调整其中每段视频的分辨率，经过分辨率缩放模块(VI)产生一致的视频分辨率，再根据播放器(VII)模式需求组合，渲染各段视频数据，同步音频数据进行播放。其中，渲染用于显示视频画面的操作；模式需求组合是指：1.按照会议流程播放录像；2.同时播放所有的会议成员录像；3.按照会议流程快速切换播放某成员的所有会议录像片段等组合方式。本专利技术中的会议(I)录像存储机制是：以会议(I)发言人基准，即检测到会议(I)发言人的声音，则开始将该发言人本文档来自技高网...

【技术保护点】
1.一种基于声音检测的会议录像标注系统，其特征在于，包括：容器块头(II)：用于存储会议(I)中同一个参与成员的音视频数据位置信息；N个容器块(III)：用于存储会议(I)中各个参与成员的音视频数据；分辨率缩放模块：用于通过解码和编码视频数据缩放视频分辨率；将会议(I)录像中的音视频数据信息存储到容器块头(II)，将会议(I)录像中各个参与成员的不同音视频数据分别存储到对应的容器块(III)中；对其中每个容器块(III)进行标签设置，在需要使用N个容器块(III)进行录像播放时，从N个容器块(III)中提取整个会议(I)录像中各段的音视频数据，并调整其中每段视频的分辨率，经过分辨率缩放模块(VI)产生一致的视频分辨率，再根据播放器(VII)模式需求组合，渲染各段视频数据，同步音频数据进行播放。

【技术特征摘要】
1.一种基于声音检测的会议录像标注系统，其特征在于，包括：容器块头(II)：用于存储会议(I)中同一个参与成员的音视频数据位置信息；N个容器块(III)：用于存储会议(I)中各个参与成员的音视频数据；分辨率缩放模块：用于通过解码和编码视频数据缩放视频分辨率；将会议(I)录像中的音视频数据信息存储到容器块头(II)，将会议(I)录像中各个参与成员的不同音视频数据分别存储到对应的容器块(III)中；对其中每个容器块(III)进行标签设置，在需要使用N个容器块(III)进行录像播放时，从N个容器块(III)中提取整个会议(I)录像中各段的音视频数据，并调整其中每段视频的分辨率，经过分辨率缩放模块(VI)产生一致的视频分辨率，再根据播放器(VII)模式需求组合，渲染各段视频数据，同步音频数据进行播放。2.根据权利要求1中所述的一种基于声音检测的会议录像标注系统，其特征在于，会议(I)录像存储机制是：以会议(I)发言人基准，即检测到会议(I)发言人的声音，则开始将该发言人的音视频数据放到容器块(III)中，先存入视频数据后放入音频数据，防止录像播放时有声音没画面的情形；考虑音视频数据的快速检索定位，将音视频数据和音视频数据信息分别存储到容器块(III)和容器块头(II)，当需要某个成员的会议(I)发言音视频图像时，只要从容器块头(II)去检索，完成成员音视频数据查找。3.根据权利要求1中所述的一种基于声音检测的会议录像标注系统，其特征在于，容器块头(I...

【专利技术属性】
技术研发人员：田远东，吴宣辉，李华松，卢锡芹，邬文达，胡松涛，赵伯亮，邱彦林，
申请(专利权)人：杭州叙简科技股份有限公司，
类型：发明
国别省市：浙江,33