本发明专利技术提供了全景视频图像处理方法、服务端、目标设备、装置和系统，该方法应用于服务端且包括：获取待处理的全景视频图像，该全景视频图像包括热点区域；对全景视频图像进行预处理以得到预处理图像，其中，预处理包括将全景视频图像划分为多个图像区块以及根据各个图像区块和热点区域之间的距离分别对各个图像区块进行缩放处理；对预处理图像进行编码处理，得到编码数据；将编码数据传送到目标终端。利用上述方法，可以在保证用户感兴趣的热点区域的画面分辨率的前提下，无需对常规编码器进行额外修改，即可减小视频数据传输所导致的带宽压力。宽压力。宽压力。
【技术实现步骤摘要】
全景视频图像处理方法、服务端、目标设备、装置和系统
[0001]本专利技术属于视频处理领域，具体涉及全景视频图像处理方法、服务端、目标设备、装置和系统。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]全景视频图像的出现给消费者带来了更好的视觉体验。全景视频播放设备以4K分辨率为主，常见设备为头显，手机等。目前，受限于全景视频播放设备的视频解码、渲染能力及传输过程中的带宽，全景视频点播/直播大多数使用8M～10M码率的4K分辨率的视频。视频码率对于视频的质量有很大的影响，在一定范围内，视频的码率越高，视频画面质量越好。但是由于用户所使用的带宽环境及部分平台节省带宽的需求，全景视频的码率通常被压缩到了无法支持4K分辨率的码率水平。此外，用户在全景视频播放设备观看时，由于受限于视野范围，用户观看到的画面仅占整个视频画面的一部分，用户会感觉到十分模糊,无法体现4K分辨率的优势。因此，在码率及分辨率不足的情况下，用户使用全景视频播放设备观看全景视频的体验需要改进。
技术实现思路
[0004]针对上述现有技术中存在的问题，提出了全景视频图像处理方法、服务端、目标设备、系统、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。
[0005]本专利技术提供了以下方案。
[0006]第一方面，提供一种全景视频图像处理方法，应用于服务端，包括：获取待处理的全景视频图像，所述全景视频图像包括热点区域；对所述全景视频图像进行预处理以得到预处理图像，其中，所述预处理包括：将所述全景视频图像划分为多个图像区块，以及根据各个所述图像区块和所述热点区域之间的距离分别对各个所述图像区块进行缩放处理；对所述预处理图像进行编码处理，得到编码数据；将所述编码数据传送到目标终端。
[0007]在一种可能的实施方式中，预处理进一步包括：基于热点区域确定目标注视方向，根据目标注视方向和人眼视野角范围将全景视频图像划分为多个图像区块；以及，根据各个图像区块对应的注视方向和目标注视方向之间的角度差对各个图像区块进行缩放处理。
[0008]在一种可能的实施方式中，预处理进一步包括：垂直于球面型的全景视频图像的中心纵向截面对全景视频图像进行第一类划分，获得多个第一图像区块，第一类划分采用的多个第一类划分线在中心纵向截面上的投影汇总于中心点且彼此之间按照第一预设角度分隔开；根据各个第一图像区块对应的第一类划分线和目标注视方向之间的角度差分别对各个第一图像区块的高度尺寸进行高度缩放处理；其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
[0009]在一种可能的实施方式中，预处理进一步包括：垂直于球面型的全景视频图像的中心横向截面对全景视频图像进行第二类划分，获得多个第二图像区块，第二类划分采用的多个第二类划分线在全景视频图像的中心横向截面上的投影汇总于中心点且彼此之间按照第二预设角度分隔开；根据各个第二图像区块对应的第二类划分线和热点区域之间的角度差分别对各个第一图像区块的宽度尺寸进行缩放处理，其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
[0010]在一种可能的实施方式中，目标注视方向指向的视点位于全景视频图像的经纬图的0纬度处；预处理进一步包括：根据预设纬度间隔对全景视频图像进行横向划分，得到多个横向图像区块，确定各个横向图像区块和视点在全景视频图像上的纬度差，根据纬度差的余弦值对各个横向图像区块的高度尺寸进行缩放；和/或，根据预设经度间隔对全景视频图像进行纵向划分，得到多个纵向图像区块，确定各个纵向图像区块和视点在全景视频图像上的经度差，根据经度差的余弦值对各个纵向图像区块的宽度尺寸进行缩放。
[0011]在一种可能的实施方式中，预处理还包括：在进行划分之前，根据目标注视方向和人眼视野角范围对全景视频图像进行裁剪。
[0012]在一种可能的实施方式中，待处理的全景视频图像为实时获得的直播视频图像或者预先获得的录播视频图像。
[0013]在一种可能的实施方式中，还包括：根据目标终端支持的分辨率水平对全景视频图像进行预处理，以使得预处理图像满足目标终端支持的分辨率水平。
[0014]第二方面，提供一种全景视频图像处理方法，应用于目标终端，包括：接收如第一方面的方法处理得到的编码数据；对所述编码数据进行解码处理，得到解码数据；对解码数据进行复原处理以至少部分地复原全景视频图像，其中，所述复原处理与第一方面的缩放处理相逆。
[0015]在一种可能的实施方式中，还包括：展示复原后的所述全景视频图像，其中，所述全景视频图像的热点区域位于展示中心区域。
[0016]第三方面，提供一种服务端，其被配置为用于执行如第一方面的方法，服务端包括：获取单元，获取待处理的全景视频图像，所述全景视频图像包括热点区域；预处理单元，对所述全景视频图像进行预处理以得到预处理图像，其中，所述预处理包括：将所述全景视频图像划分为多个图像区块，以及根据各个所述图像区块和所述热点区域之间的距离分别对各个所述图像区块进行缩放处理；编码单元，对所述预处理图像进行编码处理，得到编码数据；发送单元，将所述编码数据传送到目标终端。
[0017]第四方面，提供一种目标终端，其被配置为用于执行如第二方面的方法，所述目标终端包括：接收单元，接收如第一方面处理得到的编码数据；解码单元，对所述编码数据进行解码处理，得到解码数据；复原单元，对解码数据进行复原处理以至少部分地复原全景视频图像，其中，所述复原处理与第一方面的缩放处理相逆。
[0018]第五方面，提供一种全景视频图像处理系统，包括：服务端，被配置为用于执行如第一方面的方法；目标终端，被配置为用于执行如第二方面的方法。
[0019]第六方面，提供全景视频图像处理装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：如第一方面的方法或如第二方面的方
法。
[0020]第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被多核处理器执行时，使得所述多核处理器执行：如第一方面的方法，或如第二方面的方法。
[0021]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：在本实施例中，利用上述技术方案，可以在保证用户感兴趣的热点区域的画面清晰度的前提下，无需对常规编解码器进行额外修改，即可减小视频数据传输所导致的带宽压力。
[0022]应当理解，上述说明仅是本专利技术技术方案的概述，以便能够更清楚地了解本专利技术的技术手段，从而可依照说明书的内容予以实施。为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本专利技术的具体实施方式。
附图说明
[0023]通过阅读下文的示例性实施例的详细描述，本领本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种全景视频图像处理方法，其特征在于，应用于服务端，包括：获取待处理的全景视频图像，所述全景视频图像包括热点区域；对所述全景视频图像进行预处理以得到预处理图像，其中，所述预处理包括：将所述全景视频图像划分为多个图像区块，以及根据各个所述图像区块和所述热点区域之间的距离分别对各个所述图像区块进行缩放处理；对所述预处理图像进行编码处理，得到编码数据；将所述编码数据传送到目标终端。2.根据权利要求1所述的方法，其特征在于，所述预处理进一步包括：基于所述热点区域确定目标注视方向，根据所述目标注视方向和人眼视野角范围将所述全景视频图像划分为多个图像区块；以及，根据各个所述图像区块对应的注视方向和所述目标注视方向之间的角度差对各个所述图像区块进行缩放处理。3.根据权利要求2所述的方法，其特征在于，所述预处理进一步包括：垂直于球面型的所述全景视频图像的中心纵向截面对所述全景视频图像进行第一类划分，获得多个第一图像区块，所述第一类划分采用的多个第一类划分线在所述中心纵向截面上的投影汇总于中心点且彼此之间按照第一预设角度α分隔开；根据各个所述第一图像区块对应的所述第一类划分线和所述目标注视方向之间的角度差分别对各个所述第一图像区块的高度尺寸进行高度缩放处理；其中，所述目标注视方向指向所述全景视频图像的中心纵向截面和中心横向截面的交点。4.根据权利要求1或3所述的方法，其特征在于，所述预处理进一步包括：垂直于球面型的所述全景视频图像的中心横向截面对所述全景视频图像进行第二类划分，获得多个第二图像区块，所述第二类划分采用的多个第二类划分线在所述全景视频图像的中心横向截面上的投影汇总于中心点且彼此之间按照第二预设角度β分隔开；根据各个所述第二图像区块对应的所述第二类划分线和所述热点区域之间的角度差分别对各个所述第一图像区块的宽度尺寸进行缩放处理，其中，所述目标注视方向指向所述全景视频图像的中心纵向截面和中心横向截面的交点。5.根据权利要求2所述的方法，其特征在于，所述目标注视方向指向的视点位于所述全景视频图像的经纬图的0纬度处；所述预处理进一步包括：根据预设纬度间隔对所述全景视频图像进行横向划分，得到多个横向图像区块，确定各个所述横向图像区块和所述视点在所述全景视频图像上的纬度差，根据所述纬度差的余弦值对各个所述横向图像区块的高度尺寸进行缩放；和/或，根据预设经度间隔对所述全景视频图像进行纵向划分，得到多个纵向图像区块，确定各个所述纵向图像区块和所述视点在所述全景视频图像上的经度差，根据经度差的余弦值对各个所述纵向图像区块的宽度尺寸进行缩放。6.根据权利要求1所述的方法，其特征在于，所述预处理还包括：在进行所述划分之前，根据目标注视方向和人眼视野角范围对所述全景视频图像进行裁剪。7.根据权利要求1所述的方法，其特征在于，待处理的所述全景视频图像为实时获得的直播视频图像或者预先获得的录播视频图像...
【专利技术属性】
技术研发人员：瞿静，
申请(专利权)人：中图云创智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。