基于流媒体技术的视频综合系统技术方案

本系统是一种基于流媒体技术的视频综合性平台，采用浏览器/服务器模式，方便实用的实时感知交流、隐私保护、文件传输、文档共享、白板等多功能的整合实现。语音处理中采用高效的回音消除、自动增益、背景降噪、静音检测技术；视频处理中采用先进的视频优化技术、带宽自适应机制、视频多码率支持、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。支持超大规模用户并发，多服务器交叉级联、动态网络带宽均衡等技术。

Video integrated system based on Streaming Media Technology

This system is a comprehensive video platform based on streaming media technology, using browser/server mode, convenient and practical real-time perceptual communication, privacy protection, file transmission, document sharing, whiteboard and other integrated implementation. Echo cancellation, automatic gain, background noise reduction and mute detection are used in speech processing, and advanced video optimization technology, bandwidth adaptive mechanism, video multi-rate support, error concealment technology, forward error correction coding technology are used in video processing to make the video more fluent and clear. It supports super large scale user concurrent, multi server cross cascade, dynamic network bandwidth equalization and so on.

【技术实现步骤摘要】
基于流媒体技术的视频综合系统
本系统是一种基于流媒体技术的视频综合性平台，主要用于视频会议、远程协助、远程心理辅导等功能。并基于流媒体协作平台的灵活、方便的工作空间感知处理方法和保护协作者人物特征的方法，及实现具有隐私保护的远程音视频综合协作平台，具有重大的理论意义和实际应用价值。
技术介绍
现有的视频会议系统大致可以分为教学型的双向视频会议系统、会议型双向视频会议系统、商务型视频会议系统(即桌面型视频会议系统)、软件视频会议系统、软件专业版高清视频会议多种类型。但其会议系统在通用技术上差别不大，效果主要受网络带宽限制和电脑配置制约。由于其技术方案原因，对于用户的软硬件要求较高，通常需配置相应的视频卡；加上未考虑到用户隐私保护，给用户带来了心理负担，不利于参与者的大胆工作。本系统将采用基于肤色和脸部特征的视频序列中实时人脸检测与跟踪方法；采用基于PLAR(PseudoLogAreaRatio)系数曲线变换方法和基于线性预测的基音同步叠加(LP-PSOLA)算法分别对语音信号的谱参数和韵律参数进行修改。基于以上技术方案，本系统开发的基于流媒体的视频综合平台将具有特有的技术竞争优势。基于此平台，还可以方便的构建诸如远程心理诊疗系统、咨询系统、企业商务管理系统、教学系统等应用。
技术实现思路
本系统基于浏览器/服务器模式架构，用户通过访问网页的形式进行视频协作，在语音处理技术中采用高效的回音消除、自动增益、背景降噪、静音检测，带来比电话还清晰、接近CD播放音质的语音通话效果；并采用先进的视频编码技术，以及视频优化技术、先进的带宽自适应机制、视频多码率支持、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。基于矢量成像技术的文档共享使得文档大小缩放不失真；其结构组成：(1)基于Web的流媒体协作管理子系统包括基于Web的协作会议的组织、协作会议的控制、会议安全管理、访问权限管理等关键技术，同时开发相关模块，从而构成基于Web的流媒体协作管理子系统。(2)高效的流媒体与共享文档的传输方式实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。(3)研究灵活的多模式交互方式集音频、视频、文档、文字、邮件、短信等多种模式的协作交互方式，以保证在音视频会议的同时能方便地实现电子白板、资料共享、协同浏览、远程辅导、网页同步、文字讨论、系统消息、程序共享等功能。(4)视频信息隐私保护处理方法视频信息隐私保护处理方法，该方法可根据协作用户的不同要求，在视频图像序列中始终检测跟踪待保护的隐私区域，并对此区域进行模糊化处理以隐藏用户个人生物特征。(5)音频信息隐私保护处理方法音频信息隐私保护处理方法，该方法在进行语音交流时，可根据协作用户的要求，实时改变说话人语音、语调，从而能隐藏说话人身份。(6)基于流媒体的协作综合平台的集成开发在各个子功能模块设计实现的基础上，利用基于浏览器/服务器模式的方法架构实现整个系统，从而构建基于流媒体的协作综合平台。系统技术路线描述：(1)语音处理中采用高效的回音消除、自动增益、背景降噪、静音检测技术，提高语音通话质量；视频图像处理中采用视频优化技术、先进的带宽自适应机制、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。(2)以先进且流行的硬件环境作为基础支撑，集.net环境和.net公共模块、基础信息模块、FMS公共模块、音频视频处理和传输模块、PPT转换SWF模块、白板功能、系统通知模块、短信通知模块和ActiveX开发接口为一体的软件集成开发思路，设计实现整个平台软件。(3)各子系统及模块采用面向对象的方式设计开发可重用和易继承的构件，系统采用先进的软件构架支撑技术进行集成开发实现。(4)自主研究开发视频信息隐私保护处理方法采用模糊化和初略化对保护视频信息进行过滤处理，模糊化算法可采用周边象素灰度插值法，而初略化则是在一定密度的网格中，用其内象素灰度的均值代替该网格内的灰度值，从而实现具有马赛克状的图象效果。提供用户选择隐私保护区域，可综合采用基于神经网络的学习法和基于区域特征(如：颜色、形状、渐变等特征)，自动跟踪该区域，进行隐私保护。(5)自主研究开发音频信息隐私保护处理方法研制音频信息过滤器，通过对特征信号进行分析，结合声学原理，加入白噪声，再与原声在能量上相当的情况下，生成新的音频信息，使原音频信息失真，实现音频信息隐私保护，同时也针对用户对音频感知的需求情形，进行柔和化处理。本文档来自技高网...

【技术保护点】
1.基于浏览器/服务器(B/S)模式的协作平台系统架构下的流媒体技术的视频综合系统，其权利要求的内容包括：(1)多路海量数据的实时同步传输：实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。(2)基于视频空间的隐私保护区域的识别和跟踪算法：该方法可根据协作用户的不同要求，在视频图像序列中始终检测跟踪待保护的隐私区域，并对此区域进行模糊化处理以隐藏用户个人生物特征。(3)音频信息隐私保护处理方法：该方法在进行语音交流时，可根据协作用户的要求，实时改变说话人语音、语调，从而能隐藏说话人身份。

【技术特征摘要】
1.基于浏览器/服务器(B/S)模式的协作平台系统架构下的流媒体技术的视频综合系统，其权利要求的内容包括：(1)多路海量数据的实时同步传输：实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。(2)基于...

【专利技术属性】
技术研发人员：高璐，
申请(专利权)人：青岛璐琪信息科技有限公司，
类型：发明
国别省市：山东,37