图像处理方法、装置、系统、网络设备、终端及存储介质制造方法及图纸

技术编号:23610076 阅读:71 留言:0更新日期:2020-03-28 09:28
本发明专利技术实施例提供一种图像处理方法、装置、系统、网络设备、终端及存储介质,通过获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息;基于所述合成指示信息生成所述视频图像的媒体流;也即将该合成指示信息写入到视频图像的码流中,实现在存在多个(至少两个)ROI时视频图像的编码过程,在视频播放时,可以基于该合成指示信息控制各ROI的合成显示播放,从而满足用户同时对多个ROI进行观看的需求。

Image processing method, device, system, network equipment, terminal and storage medium

【技术实现步骤摘要】
图像处理方法、装置、系统、网络设备、终端及存储介质
本专利技术实施例涉及但不限于图像编解码
,具体而言,涉及但不限于一种图像处理方法、装置、系统、网络设备、终端及存储介质。
技术介绍
时下数字媒体技术快速发展,硬件性能成倍提高,网络带宽大大增加,网速提升,移动设备数量成几何式增长,给视频应用提供了发展的契机。视频应用正逐步从单视点、低分辨率、低码率向多视点、高分辨率、高码率方向迅速发展,以给用户提供全新的视频内容类型和视频呈现特性,以及更好地临场感和观看体验。360度全景视频(以下简称全景视频)作为一种全新的视频内容类型,用户可以根据主观需求,任意选择某个视角进行观看,从而实现360度的全方位观看。尽管目前网络性能和硬件处理性能较高,但是用户数量的剧增以及全景视频数据量巨大,还是有必要在保证用户观看体验的前提下,降低网络以及硬件资源占用。目前,感兴趣区域(RegionOfInterest,以下简称ROI)技术可以根据用户喜好对全景视频进行截取显示,不必对全部的全景视频进行处理,但是相关技术中ROI一般只有一个,只能有限地展现全景视频中的部分图像,无法满足用户观看多个ROI的需求。因此,存在多个ROI时如何实现编码,以指示各个ROI的合成显示,亟待解决。
技术实现思路
本专利技术实施例提供的图像处理方法、装置、系统、网络设备、终端及存储介质,主要解决的技术问题是存在多个ROI时,如何实现编码。为解决上述技术问题,本专利技术实施例提供一种图像处理方法,包括:获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息;基于所述合成指示信息生成所述视频图像的媒体流。本专利技术实施例还提供一种图像处理方法,包括:接收视频图像的视频流以及描述数据;从所述描述数据中解析得到感兴趣区域的合成指示信息;根据所述合成指示信息控制所述视频流中感兴趣区域图像的合成播放显示。本专利技术实施例还提供一种图像处理方法,包括:网络侧获取用于指示视频图像中各所述感兴趣区域的合成显示方式的合成指示信息,基于所述合成指示信息生成所述视频图像的媒体流,并将媒体流发送给目标节点;所述目标节点接收所述媒体流,从所述媒体流中解析得到感兴趣区域的合成指示信息,根据所述合成指示信息控制所述媒体流中视频流的播放显示。本专利技术实施例还提供一种图像处理装置,包括:获取模块,用于获取用于指示视频图像中各所述感兴趣区域的合成显示方式的合成指示信息;处理模块,用于基于所述合成指示信息生成所述视频图像的媒体流。本专利技术实施例还提供一种图像处理装置,包括:接收模块,用于接收视频图像的视频流以及描述数据;解析模块,用于从所述描述数据中解析得到感兴趣区域的合成指示信息;控制模块,用于根据所述合成指示信息控制所述视频流中感兴趣区域图像的合成播放显示。本专利技术实施例还提供一种图像处理系统,包括如上所述的两种图像处理装置。本专利技术实施例还提供一种网络设备,包括第一处理器、第一存储器及第一通信总线;所述第一通信总线用于实现第一处理器和第一存储器之间的连接通信;所述第一处理器用于执行第一存储器中存储的一个或者多个计算机程序,以实现如上任一项所述的图像处理方法的步骤。本专利技术实施例还提供一种终端,包括第二处理器、第二存储器及第二通信总线;所述第二通信总线用于实现第二处理器和第二存储器之间的连接通信;所述第二处理器用于执行第二存储器中存储的一个或者多个计算机程序,以实现如上所述的图像处理方法的步骤。本专利技术实施例还提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上所述的图像处理方法的步骤。本专利技术的有益效果是:根据本专利技术实施例提供的图像处理方法、装置、系统、网络设备、终端及存储介质,通过获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息;基于所述合成指示信息生成所述视频图像的媒体流;也即将该合成指示信息写入到视频图像的码流中,实现在存在多个(至少两个)ROI时视频图像的编码过程,在视频播放时,可以基于该合成指示信息控制各ROI的合成显示播放,可满足用户同时对多个ROI进行观看的需求,在某些实施过程中可实现包括但不限于上述技术效果。本专利技术其他特征和相应的有益效果在说明书的后面部分进行阐述说明,且应当理解,至少部分有益效果从本专利技术说明书中的记载变的显而易见。附图说明图1为本专利技术实施例一的图像处理方法流程示意图;图2为本专利技术实施例一的ROI图像拼接指示示意图一;图3为本专利技术实施例一的ROI图像拼接指示示意图二;图4为本专利技术实施例一的ROI图像拼接指示示意图三;图5为本专利技术实施例一的ROI图像拼接指示示意图四;图6为本专利技术实施例一的ROI图像拼接指示示意图五;图7为本专利技术实施例一的ROI图像融合指示示意图一;图8为本专利技术实施例一的ROI图像融合指示示意图二;图9为本专利技术实施例一的ROI图像重叠区域示意图;图10为本专利技术实施例一的ROI图像嵌套指示示意图;图11为本专利技术实施例一的ROI图像透明通道处理示意图;图12为本专利技术实施例一的ROI图像坐标位置示意图;图13为本专利技术实施例一的ROI图像视频流生成示意图一;图14为本专利技术实施例一的ROI图像视频流生成示意图二;图15为本专利技术实施例二的图像处理方法流程示意图;图16为本专利技术实施例三的图像处理方法流程示意图;图17为本专利技术实施例四的图像处理装置结构示意图;图18为本专利技术实施例五的图像处理装置结构示意图;图19为本专利技术实施例六的图像处理系统结构示意图;图20为本专利技术实施例七的网络设备结构示意图;图21为本专利技术实施例八的终端结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本专利技术实施例作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。实施例一:为了实现视频图像中存在多个ROI时如何进行编码,以满足用户同时对多个ROI进行观看的需求,本专利技术实施例提供一种图像处理方法,主要应用于网络侧设备、编码器等,包括但不限于服务器、基站等设备,参见图1,包括如下步骤:S101、获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息。在对视频图像进行编码时,获取合成指示信息,用于指示视频图像中ROI之间的合成显示方式。应当理解,当该视频图像不存在或者未划分ROI时,则不存在获取该合成指示信息的过程。只有当存在多个ROI时,才获取相应的合成指示信息。在只存在一个ROI的情形下,也可以采用本方案,控制该一个ROI的显示。可选的,在编码过程中,可以先确定视频图本文档来自技高网...

【技术保护点】
1.一种图像处理方法,包括:/n获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息;/n基于所述合成指示信息生成所述视频图像的媒体流。/n

【技术特征摘要】
1.一种图像处理方法,包括:
获取用于指示视频图像中感兴趣区域之间的合成显示方式的合成指示信息;
基于所述合成指示信息生成所述视频图像的媒体流。


2.如权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:获取各所述感兴趣区域的特征信息;
所述基于所述合成指示信息生成所述视频图像的媒体流包括:基于所述合成指示信息以及所述特征信息,生成所述视频图像的媒体流。


3.如权利要求1所述的图像处理方法,其特征在于,所述合成指示信息包括如下至少一种:用于指示将所述感兴趣区域进行拼接显示的第一指示信息、用于指示将所述感兴趣区域进行融合显示的第二指示信息、用于指示将所述感兴趣区域进行嵌套显示的第三指示信息、用于指示将所述感兴趣区域进行缩放显示的第四指示信息、用于指示将所述感兴趣区域进行旋转显示的第五指示信息、用于指示将所述感兴趣区域进行截取显示的第六指示信息。


4.如权利要求2所述的图像处理方法,其特征在于,所述特征信息包括位置信息和/或编码质量指示信息;所述位置信息包括所述感兴趣区域特定位置的坐标信息、以及所述感兴趣区域的长度值和宽度值。


5.如权利要求2所述的图像处理方法,其特征在于,所述媒体流包括描述数据;所述基于所述合成指示信息以及所述特征信息,生成所述视频图像的媒体流包括:
将所述合成指示信息以及所述特征信息写入到所述描述数据中,以生成所述媒体流。


6.如权利要求5所述的图像处理方法,其特征在于,所述描述数据包括如下至少一种:补充增强信息、视频可用性信息、系统层媒体属性描述单元。


7.如权利要求5所述的图像处理方法,其特征在于,所述媒体流还包括视频流,所述图像处理方法还包括:
获取所述视频图像的所述感兴趣区域,将同一图像帧中各所述感兴趣区域的关联图像,划分在至少一个分片单元中进行独立编码,以生成所述视频图像的第一视频流。


8.如权利要求7所述的图像处理方法,其特征在于,所述图像处理方法还包括:将各所述关联图像按照所述合成指示信息进行合成后作为一张待处理图像帧,将所述待处理图像帧划分在至少一个分片单元中进行编码,以生成所述感兴趣区域的第二视频流。


9.如权利要求8所述的图像处理方法,其特征在于,图像处理方法还包括:将媒体流进行存储或发送给目标节点。


10.如权利要求9所述的图像处理方法,其特征在于,所述将所述媒体流发送给目标节点之前,还包括:接收到所述目标节点对所述视频图像的获取请求。


11.如权利要求10所述的图像处理方法,其特征在于,所述将所述媒体流发送给目标节点包括:解析所述获取请求所指示获取内容的标识信息,根据所述标识信息将所述媒体流发送给所述目标节点。

<...

【专利技术属性】
技术研发人员:吴钊李明吴平
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1