用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置制造方法及图纸

本公开涉及用于将IoT技术与用于支持比4G系统更高的数据发送速率的5G通信系统进行聚合的通信技术及其系统。本公开可以应用于基于5G通信技术和IoT相关技术的智能服务(例如智能家居、智能建筑、智能城市、智能汽车、连接汽车、医疗保健、数字教育、零售业务、安全和安保相关的服务等)。根据本发明专利技术的实施例的由电子设备进行的用于接收用于虚拟现实流传输服务的图像数据的方法包括：其中电子设备基于带宽状态确定是否运行自适应虚拟现实流传输服务的步骤；以及其中如果确定运行自适应虚拟现实流传输服务，则电子设备基于提前收集的头部跟踪信息和带宽信息，从服务器请求和接收用于自适应虚拟现实流传输服务的图像数据的步骤。

【技术实现步骤摘要】
【国外来华专利技术】用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
本公开涉及一种用于提高虚拟现实(VR)流传输服务(streamingservice)的质量的方法和装置。
技术介绍
为了满足第四代(4G)通信系统商业化以来对无线数据业务的日益增长的需求，已经努力开发改进的第5代(5G)通信系统或5G前通信系统。为此，5G或5G前通信系统被称为超4G或后期演进(LTE)系统。为了实现高数据速率，正在考虑在毫米波(mmWave)频带(例如，60GHz频带)中部署5G通信系统。对于5G系统，已经讨论了波束成形、大量多输入多输出(MIMO)、全尺寸MIMO(FD-MIMO)、阵列天线、模拟波束形成和大规模天线技术，以便减轻波的路径损耗和传播距离(propagationdistance)。此外，对于系统中的网络改进，诸如演进小区、高级小区、云无线接入网(RAN)、超密集网、设备到设备(D2D)通信、无线回程、移动网络、协作通信、协调多点(CoMP)和干扰消除的技术已经在5G系统中得到发展。此外，诸如混合FSK和QAM调制(FQAM)和滑动窗口叠加编码(SWSC)的高级编码调制(ACM)技术，以及诸如滤波器组多载波(FBMC)、非正交多址(NOMA)和稀疏码多路访问(SCMA)的高级访问技术已经在5G系统中开发出来。互联网正在从其中人类生成和消费信息的以人为本(human-oriented)的连接网络发展为其中信息在分布式元素(例如事物)之间发送/接收和处理的物联网(Internetofthings，IoT)。万物网(Internetofeverything，IoE)技术可能是一个例子，其中IoT通过连接到云服务器等与大数据处理相结合。对于物联网实现，需要诸如传感、有线/无线通信、网络基础设施、服务接口和安全等技术。最近，已经研究了包括用于事物之间的互连的传感器网络、机器对机器(M2M)通信以及机器类型通信(MTC)的技术。可以在IoT环境中提供通过收集和分析从相互联系的事物生成的数据为人类活动创造新价值的智能互联网技术(IT)服务。物联网可以通过现有的IT技术和各行业的融合在广泛的领域中得到应用，包括智能家居、智能建筑、智能城市、智能汽车或连接车、智能电网、医疗保健、智能家电和最先进的医疗服务。在这方面，已经有很多尝试将5G系统应用于IoT。例如，诸如传感器网络、IoT和MTC的5G技术通过诸如波束成形、多输入多输出(MIMO)和阵列天线等技术实现。上述云RAN作为大数据处理技术的应用也是5G技术和IoT之间的融合的示例。随着服务运营商对VR业务的大量投入，预计VR业务将作为主要的下一代服务的延伸。一般来说，VR是指由计算机图形创建的几乎真实的环境或情况。VR提供了人类使用他或她的感觉器官感觉到的，并诱使人类感觉到真正互动的接口。用户可以通过操纵设备与VR进行交互并具有几乎真实的感觉体验。增强现实(AR)是VR的一个领域，是一种将真实环境与虚拟对象或信息相结合，从而虚拟对象或信息可能被视为真正存在的计算机图形技术。现实世界实时地与附加信息和虚拟世界结合并被视为一个图像，从这个意义上说，AR将虚拟对象重叠到用户观看的真实世界，也被称为混合现实(MR)。此外，由于移动设备(例如，智能电话和平板电脑(PC))的激增，VR在教育、游戏、导航、广告或博客等各种服务中变得更加流行。随着可穿戴设备最近已经实现商业化，VR已经成为更积极的研究领域。例如，穿戴式装置以可穿戴和可附着在身体和衣服上的各种形式被提供，例如头戴式、眼镜、手表、乐队、隐形眼镜、戒指和衣服。由于电子设备被配置为在用户身体上作为衣服或眼镜佩戴，所以可穿戴设备可以增加便携性和可访问性。尽管VR在其早期阶段是非流传输式发送服务，其中VR专用内容全部被下载到VR设备然后被再现，但VR已被开发到其中VR内容通过从服务器流传输被实时接收和再现的服务。
技术实现思路
技术问题由于VR内容支持360度全景视图，而不是从常规终端消费(consume)内容的视点，因此VR内容需要比一般视频内容大5倍的大容量带宽。结果，VR流传输服务使用大量的缓冲和大带宽，导致VR流传输中的中断。本公开的一个方面是基于关于用户的头部跟踪信息，提供为每个视角提供不同质量的方法和装置，以便克服由于需要高容量带宽的VR流传输媒体服务中的带宽短缺引起的中断。本公开的另一方面是提供用于由提供了VR服务的电子设备根据当前带宽状态自适应地提供VR流传输服务的方法和装置。技术方案在本公开的一方面中，一种用于在电子设备中接收用于虚拟现实(VR)流传输服务的图像数据的方法包括：基于带宽状态来确定是否执行自适应VR流传输服务，并且如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应VR流传输服务的图像数据，以及从服务器接收图像数据。在本公开的另一方面中，一种用于接收用于VR流传输服务的图像数据的装置包括：判定器(decider)，用于基于电子设备中的带宽状态来确定是否执行自适应VR流传输服务，以及运行器，如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息来请求用于自适应VR流传输服务的图像数据。在本公开的另一方面中，一种用于发送用于VR流传输服务的图像数据的方法包括：从电子设备接收用于自适应VR流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应VR流传输服务的图像数据，并发送图像数据。用于自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的、具有对应于等于或高于预定值的分辨率的高质量的数据，所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。在本公开的另一方面中，一种用于发送用于VR流传输服务的图像数据的装置包括：收发器，用于从电子设备接收用于自适应VR流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应VR流传输服务的图像数据，以及发送图像数据。用于自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的具有对应于等于或高于预定值的分辨率的高质量的数据，并且所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。附图说明图1是示出根据本公开的实施例的示例性数据分区(datapartitioning)的视图。图2是示出根据本公开的实施例的用于提供自适应虚拟现实(VR)流传输服务的电子设备的配置的视图。图3是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中仅考虑位置信息的请求具有不同质量的图像的示例的视图。图4是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中考虑位置信息和加速度信息两者的请求具有不同质量的图像的示例的视图。图5是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中仅考虑位置信息的选择性地请求图像的示例的视图。图6是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中考虑位置信息和加速度信息两者的选择性地请求图像的示例的视图。图7是示出根据本公开的实施例的用于提供自适应VR流传输服务的过程的流程图。具体实施方式参照附图描述本公开的各种实施例。然而，本公开的范围不旨在限于特定实施例，本文档来自技高网...

【技术保护点】
一种用于在电子设备中接收用于虚拟现实(VR)流传输服务的图像数据的方法，所述方法包括：基于带宽状态确定是否执行自适应VR流传输服务；以及如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应VR流传输服务的图像数据，以及从服务器接收图像数据。

【技术特征摘要】
【国外来华专利技术】2015.04.22 KR 10-2015-00564981.一种用于在电子设备中接收用于虚拟现实(VR)流传输服务的图像数据的方法，所述方法包括：基于带宽状态确定是否执行自适应VR流传输服务；以及如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应VR流传输服务的图像数据，以及从服务器接收图像数据。2.一种用于接收用于虚拟现实(VR)流传输服务的图像数据的装置，所述装置包括：判定器，用于基于电子设备中的带宽状态确定是否执行自适应VR流传输服务；以及运行器，用于如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息来请求用于自适应VR流传输服务的图像数据。3.如权利要求1或2所述的方法或装置，其中，如果根据带宽状态，确定难以以对应于等于或高于预定值的分辨率的高质量接收所有图像数据，则确定执行VR流传输服务。4.如权利要求1或2所述的方法或装置，其中，基于关于所述电子设备的缓冲程度的信息来估计所述带宽状态。5.如权利要求1或2所述的方法或装置，其中，以块为基础测量平均带宽，并且如果根据测量的平均带宽状态，确定难以以对应于等于或高于预定值的分辨率的高质量接收所有图像数据，则确定执行VR流传输服务。6.如权利要求1或2所述的方法或装置，其中，基于所述跟踪信息中包括的加速度信息，期望使用者的眼睛随后移动的位置被设置为感兴趣区域，并且为所述感兴趣区域请求具有对应于等于或高于预定值的分辨率的高质量的图像数据。7.如权利要求1或2所述的方法或装置，其中，基于包括在所述图像数据中的事件信息为所述感兴趣区域请求并接收具有对应于等于或高于预定值的分辨率的高质量的图像数据。8.如权利要求6所述的方法或装置，其中，为除所述感兴趣区域之外的区域，请求具有小于等于或小于所述预定值的分辨率的分辨率...

【专利技术属性】
技术研发人员：李主亨，朴重信，李知彻，林娴娜，李珍盛，李亨镐，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR