视频会议画面的智能生成方法及其系统技术方案

本发明专利技术提供一种视频会议画面的智能生成方法及其系统

【技术实现步骤摘要】
视频会议画面的智能生成方法及其系统


[0001]本专利技术涉及网络视频
，特别涉及一种视频会议画面的智能生成方法及其系统
。

技术介绍

[0002]目前，随着视频会议的广泛应用，画面质量和稳定性成为用户关注的重点
。
然而，由于网络问题，视频会议中经常出现画面残缺
、
模糊和色彩失真
、
畸变
、
纹理劣化等问题，影响了用户的使用体验
。
[0003]现有的视频会议画面修复方法主要基于传统的图像处理技术，例如针对视频会议的一帧低分辨率画面进行超分辨率处理，得到对应的高分辨率视频会议画面
。
但这些方法往往无法准确地恢复损坏的画面，并且需要耗费大量的计算资源
。
[0004]因此，需要提出一种新的视频会议画面修复的方法，能够更准确地恢复损坏的画面，并提高修复效率
。

技术实现思路

[0005]本专利技术提供一种视频会议画面的智能生成方法及其系统
。
本专利技术针对视频会议中由于网络传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频会议画面的智能生成方法，其特征在于，包括：收集视频会议损坏画面组成的训练数据
,
并对训练数据进行预处理；利用所述训练数据训练用于损坏画面模式识别的深度学习模型；所述深度学习模型引入自注意力机制来提取损坏画面的全局性图像特征，基于全局性图像特征判断损坏画面的损坏模式类型；将视频会议损坏画面输入经过训练优化模型参数后的所述深度学习模型，获得该视频会议损坏画面的损坏模式类型；采用与损坏模式类型相匹配的预测生成方式，对所述视频会议损坏画面生成修复画面；将修复画面与原始的视频会议损坏画面进行融合，得到最终的视频会议画面
。2.
根据权利要求1所述的视频会议画面的智能生成方法，其特征在于，所述对训练数据进行预处理包括：对于训练数据，以标签的形式，对其损坏区域以及损坏模式类型执行标注，从而建立视频会议损坏画面和损坏标签的训练数据集合
。3.
根据权利要求2所述的视频会议画面的智能生成方法，其特征在于，所述损坏标签表示了视频会议损坏画面中包含的多个损坏区域中每个损坏区域对应的损坏模式类型及区域位置框
。4.
根据权利要求3所述的视频会议画面的智能生成方法，其特征在于，所述损坏模式类型包括：画面残缺
、
模糊和色彩失真
、
畸变
、
纹理劣化；所述区域位置框是一个以该区域位置框的中心点坐标和相对与视频画面大小的高和宽构成的4维向量
。5.
根据权利要求4所述的视频会议画面的智能生成方法，其特征在于，所述深度学习模型包括：
ResNet
‑
50
网络卷积层单元
、
全卷积层单元
、Transformer
多头自注意力编码器单元
、Transformer
交叉注意力解码器
、
损坏模式分类器以及损坏区域位置框输出器
。6.
根据权利要求5所述的视频会议画面的智能生成方法，其特征在于，利用所述训练数据训练用于损坏画面模式识别的深度学习模型具体包括：每一轮迭代训练中，将训练样本的损坏画面输入后，
ResNet
‑
50
网络卷积层单元得到低分辨率特征图；全卷积层单元每一轮迭代中将所述低分辨率特征图降维为新的高水平特征图，进而，将所述高水平特征图和位置编码参数相加
, 然后执行形状更改操作，输入所述
Transformer
多头自注意力编码器单元；所述
Transformer

【专利技术属性】
技术研发人员：周磊，朱云，
申请(专利权)人：北京网动网络科技股份有限公司，
类型：发明
国别省市：