全景视频分割处理方法及系统技术方案

技术编号:38465148 阅读:21 留言:0更新日期:2023-08-11 14:41
本申请实施例提供一种全景视频分割处理方法及系统,获取全景视频互动系统发送的全景互动视频、具有瞬时连续作用特征的特征表征信息和视频互动关注参数,并确定视频互动元素对应的元素属性及其第一互动兴趣热力图,基于训练完成的兴趣预测神经网络预测全景互动视频在元素属性上的第二互动兴趣热力图,并依据第一互动兴趣热力图和第二互动兴趣热力图,通过反向传播算法获得全景互动视频中的各全景视频分段的矢量值,基于各全景视频分段的矢量值,获取在视频互动元素下的全景视频兴趣分割片段的处理结果;由此,能够解决在视频互动元素具有瞬时连续作用特征时的特征表征信息的提取遗漏问题,提高全景视频数据兴趣分割的精度。度。度。

【技术实现步骤摘要】
全景视频分割处理方法及系统


[0001]本申请涉及视频分割
,具体而言,涉及一种全景视频分割处理方法及系统。

技术介绍

[0002]全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频,用户在观看视频的时候,可以随意调节视频上下左右进行观看。在相关技术中,也衍生出了用户与全景视频进行虚拟交互的场景,从而可以实现用户在接近于体验真实场景下的视频交互意图。然而,目前在进行全局视频数据兴趣分割存在视频互动元素具有瞬时连续作用特征时的特征表征信息的提取遗漏问题,导致全景视频数据兴趣分割的精度不够。

技术实现思路

[0003]有鉴于此,本申请的目的在于提供一种全景视频分割处理方法及系统。
[0004]依据本申请的第一方面,提供一种全景视频分割处理方法,应用于云服务器,所述方法包括:获取全景视频互动系统发送的全景互动视频、具有瞬时连续作用特征的特征表征信息和视频互动关注参数;判断全景视频兴趣分割片段对应的视频互动元素是否具有瞬时连续作用特征;如果全景视频兴趣分割片段对应的视频互动元素具有瞬时连续作用特征,则依据所述视频互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景视频分割处理方法,其特征在于,应用于云服务器,所述方法包括:获取全景视频互动系统发送的全景互动视频、具有瞬时连续作用特征的特征表征信息和视频互动关注参数;判断全景视频兴趣分割片段对应的视频互动元素是否具有瞬时连续作用特征;如果全景视频兴趣分割片段对应的视频互动元素具有瞬时连续作用特征,则依据所述视频互动关注参数,基于预置规则化转换模型对所述特征表征信息进行预置规则化转换,基于转换后的特征表征信息获取所述视频互动元素对应的元素属性及其第一互动兴趣热力图;如果全景视频兴趣分割片段对应的视频互动元素不具有瞬时连续作用特征,则基于先验兴趣特征分布确定所述视频互动元素对应的元素属性及其第一互动兴趣热力图;基于训练完成的兴趣预测神经网络预测所述全景互动视频在所述元素属性上的第二互动兴趣热力图;依据所述第一互动兴趣热力图和所述第二互动兴趣热力图,通过反向传播算法获得所述全景互动视频中的各全景视频分段的矢量值,所述矢量值用于表示梯度方向的参数值;基于所述各全景视频分段的矢量值,获取在所述视频互动元素下的全景视频兴趣分割片段的处理结果。2.根据权利要求1所述的全景视频分割处理方法,其特征在于,所述依据所述视频互动关注参数,基于预置规则化转换模型对所述特征表征信息进行预置规则化转换的步骤,包括:选择M个规则化转换网络层及其网络层权重系数区间;通过数据随机平均验证策略确定所述M个规则化转换网络层及其网络层权重系数区间中的参考规则化转换网络层及其参考权重系数信息,并将所述参考规则化转换网络层及其参考权重系数信息作为所述预置规则化转换模型;依据所述视频互动关注参数,基于所述参考规则化转换网络层及其参考权重系数信息对所述特征表征信息进行预置规则化转换,生成所述转换后的特征表征信息。3.根据权利要求2所述的全景视频分割处理方法,其特征在于,所述通过数据随机平均验证策略确定所述M个规则化转换网络层及其网络层权重系数区间中的参考规则化转换网络层及其参考权重系数信息的步骤,包括:获取所述全景视频互动系统发送的视频帧流序列,并获取所述视频帧流序列对应的互动对象向量、具有瞬时连续作用特征的第一特征表征向量、第一视频互动关注参数、不具有瞬时连续作用特征的第二特征表征向量;针对第d个规则化转换网络层及其网络层权重系数区间内的第f个权重系数信息,将所述互动对象向量和所述第二特征表征向量作为输入特征数据,通过数据随机平均验证策略对应获得Q个规则化转换后的第一特征表征信息,并通过对所述Q个规则化转换后的第一特征表征信息进行逆向规则化转换,对应获得Q个逆规则化转换后的第一特征表征信息,计算所述Q个逆规则化转换后的第一特征表征信息与所述第一特征表征向量的RMS值;其中,d=1,2,

,M,f≥1,Q≥2;基于确定的各规则化转换网络层及其网络层权重系数区间内的各权重系数信息所对应的RMS值,确定最小RMS值,并将所述最小RMS值所对应的规则化转换网络层及其网络层权
重系数区间内的权重系数信息作为所述参考规则化转换网络层及其参考权重系数信息。4.根据权利要求3所述的全景视频分割处理方法,其特征在于,所述方法还包括:基于所述第一特征表征向量的编码参数值在所述视频帧流序列中的映射状态,将所述第一特征表征向量划分为至少两个元素属性;则,所述基于转换后的特征表征信息获取所述视频互动元素对应的元素属性及其第一互动兴趣热力图的步骤,...

【专利技术属性】
技术研发人员:宛汝国秦华军邓湛波
申请(专利权)人:苏州国之威文化科技有限公司广州国威数字文化科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1