System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种直播数据优化智能处理方法技术_技高网

一种直播数据优化智能处理方法技术

技术编号:40301059 阅读:2 留言:0更新日期:2024-02-07 20:48
本申请公开了一种直播数据优化智能处理方法,其获取当前视频帧和上一视频帧;对所述当前视频帧和所述上一视频帧分别进行图像分析以得到当前视频帧图像块语义特征向量的序列和上一视频帧图像块语义特征向量的序列;对所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量进行相似关联编码以得到相似度特征图;以及,基于所述相似度特征图,确定是否上传当前视频帧。这样,可以基于当前视频帧和上一视频帧之间的语义比较来判断是否上传当前视频帧,通过智能视频语义稀疏化来降低帧率,以确保直播的清晰度和信息保真度。

【技术实现步骤摘要】

本申请涉及智能化处理,并且更具体地,涉及一种直播数据优化智能处理方法


技术介绍

1、随着直播技术的不断发展,出现了越来越多的直播形式,其中主要有视频直播和音频直播两种类型。相比于音频直播,视频直播由于能够呈现直播画面并具有更强的互动性,因此更多的用户选择观看视频直播。

2、然而,视频直播存在着使用流量多和带宽占用过大的问题。目前已有的解决方法主要是对视频流进行压缩再传输,但在这方面的改进空间已经相对有限。

3、因此,期望一种直播数据优化智能处理方案。


技术实现思路

1、为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种直播数据优化智能处理方法,其获取当前视频帧和上一视频帧;对所述当前视频帧和所述上一视频帧分别进行图像分析以得到当前视频帧图像块语义特征向量的序列和上一视频帧图像块语义特征向量的序列;对所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量进行相似关联编码以得到相似度特征图;以及,基于所述相似度特征图,确定是否上传当前视频帧。这样,可以基于当前视频帧和上一视频帧之间的语义比较来判断是否上传当前视频帧,通过智能视频语义稀疏化来降低帧率,以确保直播的清晰度和信息保真度。

2、第一方面,提供了一种直播数据优化智能处理方法,其包括:

3、获取当前视频帧和上一视频帧;

4、对所述当前视频帧和所述上一视频帧分别进行图像分析以得到当前视频帧图像块语义特征向量的序列和上一视频帧图像块语义特征向量的序列;

5、对所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量进行相似关联编码以得到相似度特征图;

6、以及基于所述相似度特征图,确定是否上传当前视频帧。

本文档来自技高网...

【技术保护点】

1.一种直播数据优化智能处理方法,其特征在于,包括:

2.根据权利要求1所述的直播数据优化智能处理方法,其特征在于,对所述当前视频帧和所述上一视频帧分别进行图像分析以得到当前视频帧图像块语义特征向量的序列和上一视频帧图像块语义特征向量的序列,包括:

3.根据权利要求2所述的直播数据优化智能处理方法,其特征在于,将所述当前视频帧图像块的序列和所述上一视频帧图像块的序列分别通过包含嵌入层的上下文编码器以得到所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列,包括:

4.根据权利要求3所述的直播数据优化智能处理方法,其特征在于,对所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量进行相似关联编码以得到相似度特征图,包括:

5.根据权利要求4所述的直播数据优化智能处理方法,其特征在于,分别计算所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量之间的转移矩阵以得到由多个转移矩阵组成的所述相似度特征图,包括:

6.根据权利要求5所述的直播数据优化智能处理方法,其特征在于,基于所述相似度特征图,确定是否上传当前视频帧,包括:

7.根据权利要求6所述的直播数据优化智能处理方法,其特征在于,将所述相似度特征图通过分类器以得到分类结果,所述分类结果用于表示当前视频帧和上一视频帧之间的语义相似度是否超过预定阈值,包括:

8.根据权利要求7所述的直播数据优化智能处理方法,其特征在于,对分类特征向量进行特征秩表达的语义信息均一化激活以得到优化分类特征向量,包括:以如下优化公式对分类特征向量进行特征秩表达的语义信息均一化激活以得到所述优化分类特征向量;

9.根据权利要求8所述的直播数据优化智能处理方法,其特征在于,还包括训练步骤,用于:对所述包含嵌入层的上下文编码器和所述分类器进行训练;

10.根据权利要求9所述的直播数据优化智能处理方法,其特征在于,在所述训练的每一轮迭代中,以如下优化公式对所述分类器的权重矩阵进行基于跨域注意力的转移优化;

...

【技术特征摘要】

1.一种直播数据优化智能处理方法,其特征在于,包括:

2.根据权利要求1所述的直播数据优化智能处理方法,其特征在于,对所述当前视频帧和所述上一视频帧分别进行图像分析以得到当前视频帧图像块语义特征向量的序列和上一视频帧图像块语义特征向量的序列,包括:

3.根据权利要求2所述的直播数据优化智能处理方法,其特征在于,将所述当前视频帧图像块的序列和所述上一视频帧图像块的序列分别通过包含嵌入层的上下文编码器以得到所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列,包括:

4.根据权利要求3所述的直播数据优化智能处理方法,其特征在于,对所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和上一视频帧图像块语义特征向量进行相似关联编码以得到相似度特征图,包括:

5.根据权利要求4所述的直播数据优化智能处理方法,其特征在于,分别计算所述当前视频帧图像块语义特征向量的序列和所述上一视频帧图像块语义特征向量的序列中各组对应的当前视频帧图像块语义特征向量和...

【专利技术属性】
技术研发人员:潘小平
申请(专利权)人:杭州新航互动科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1