图像流传输方法和支持该方法的电子设备技术

提供了一种电子设备。该电子设备包括被配置为输出图像的显示器，被配置为与外部电子设备建立多个信道的收发器和处理器，所述处理器被配置为将电子设备周围的虚拟三维(3D)投影空间分类为多个区域，将所述多个区域中的每一个与所述多个信道中的一个链接，经由所述收发器在链接到所述多个区域中的每一个的信道上从所述外部电子设备接收图像数据，以及基于图像数据在所述显示器上输出流传输图像。

Image stream transmission methods and electronic devices supporting this method

An electronic device is provided. The electronic device includes a processor configured to output image display is configured to establish multiple channels and the external electronic device transceiver and processor, the processor is configured as a virtual three-dimensional surrounding electronic equipment (3D) projection space is classified into a plurality of regions, a plurality of links in each region a plurality of channels, via the transceiver to the each channel in many regions from the external electronic device receives the image data in the link, and based on the image data on the display output stream image.

【技术实现步骤摘要】
图像流传输方法和支持该方法的电子设备与相关申请的横向参考本申请要求2016年9月1日在韩国专利局提交并被分配序列号10-2016-0112872的韩国专利申请以及2017年5月12日在韩国专利局提交并被分配序列号10-2017-0059526的韩国专利申请的权益，每个韩国专利申请的全部内容通过引用结合于此。
本公开涉及用于从外部装置接收图像数据并流传输(streaming)图像的方法以及用于支持该方法的电子设备。
技术介绍
随着电子设备的分辨率的增加，随着电子设备的计算速度的增加以及随着电子设备的图形处理装置的性能的增强，三维(3D)立体图像数据可以通过小型化和重量轻的虚拟现实(VR)装置(例如，智能眼镜、头戴装置(HMD)等)输出。例如，HMD可以回放360度全景图像。HMD可以通过加速度传感器探测用户的头的运动或移动并可以输出他或她所看的区域的图像，由此向他或她提供各种VR图像。用于输出3D立体图像的图像数据可以包括用于用户正在观察的区域的数据和用于围绕该区域的周边区域的数据。该图像数据可以在数据量上大于普通图像。上述信息仅作为背景信息被呈现以帮助理解本公开。对于上述信息是否可以应用为相对于本公开的现有技术，还没有做出任何决定，也未给出确定。
技术实现思路
根据相关技术的虚拟现实(VR)装置可以在VR装置和流传输服务器之间建立的一个信道上同时接收构成三维(3D)投影空间的所有区域的图像数据。此外，由于用于虚拟3D投影空间上的所有区域的图像在质量上彼此相同，而与用户的视线信息无关，对于根据相关技术的VR装置而言，难于在有限的无线通信环境下提供高质量3D图像。本公开的各方面是解决至少上面提及的问题和/或缺点并至少提供下面描述的优点。于是，本公开的各方面在于基于用户的视场(FOV)改善向VR装置的图像无线流传输。根据本公开的一个方面，提供了一种电子设备。该电子设备包括：被构造成输出图像的显示器；被构造成与外部电子设备建立多个信道的收发器；以及处理器，该处理器被构造成将围绕电子设备的虚拟3D投影空间分类成多个区域，将多个区域中的每一个与多个信道中的一个相链接，在链接到多个区域的每一个上的每个信道上通过所述收发器从外部电子设备接收图像数据；以及基于接收的图像数据在显示器上输出流传输图像。根据本公开的另一方面，用于流传输图像的方法和支持该方法的电子设备利用与3D投影空间的各区域链接的多个信道在有限无线通信环境下提供高质量3D图像。根据本公开的另一方面，用于流传输图像的方法和用于支持该方法的电子设备对用户高兴趣率的区域输出高图像质量的3D图像数据并可以对于另一区域输出中等或低图像质量的图像数据。从结合附图公开的本公开的各个实施例的下面的详细描述中，本公开的其他方面、优点和显著特征对本领域技术人员将变得明显。附图说明从下面结合附图的描述中，本公开的特定实施例的上述和其他方面、特征和优点将更加明显，图中：图1是示出根据本公开的各种实施例的电子设备的结构的框图；图2是示出根据本
技术实现思路
的各种实施例的图像流传输方法的流程图；图3A和3B是示出根据本
技术实现思路
的各种实施例的流传输系统的结构的视图；图4是示出根据本公开的各种实施例的从相机装置实时流传输的流程图；图5是示出根据本公开的各种实施例的相机装置的图像捕捉的示例的视图；图6是示出根据本公开的各种实施例的服务器的数据库的存储结构的视图；图7A是示出根据本公开的各种实施例的虚拟现实(VR)输出装置的输出屏幕的示例的视图；图7B是示出根据本公开的各种实施例的立方体的三维(3D)投影空间的视图；图7C是示出根据本公开的各种实施例的将立方体的3D空间投影到球面上的示例的视图；图8A是根据本公开的各种实施例的电子设备的结构的框图；图8B是示出根据本专利技术的各种实施例的通过流传输输出图像数据的过程的流程图；图9是示出根据本公开的各种实施例的利用去块滤波器减小表面之间的图像质量差的屏幕的示例的视图；图10A和10B是示出根据本公开的各种实施例的虚拟3D投影空间的各种类型的示例的视图；图11A和11B是示出根据本公开的各种实施例的正多面体3D投影空间的数据结构的示例的视图；图12A和12B是示出根据本公开的各种实施例的通过重新组合正多面体的3D投影空间的一个面而构成一个子图像的示例的视图；图12C是示出根据本公开的各种实施例的通过组合两个面的一部分来构成子图像的示例的视图；图13A和13B是示出根据本公开的各种实施例的通过组合正多面体的3D投影空间的两个面而构成一个子图像的示例的视图；图14是示出根据本公开的各种实施例的通过将正多面体的3D投影空间的两个面与另一个面的一部分组合而构成子图像的示例的视图；图15A是示出根据本公开的各种实施例的相对于正二十面体的3D投影空间的顶点构成子图像的示例的视图；图15B是示出根据本公开的各种实施例的相对正二十面体的3D投影空间的顶点构成的子图像的数据结构的视图；图16A是示出根据本公开的各种实施例的相对于正八面体的3D投影空间的一些顶点构成子图像的示例的视图；图16B是示出根据本公开的各种实施例的相对于正八面体的3D投影空间的顶点构成的子图像的数据结构的视图；图17是示出根据本公开的各种实施例的电子设备在网络环境下的结构的框图；图18是示出根据本公开的各种实施例的电子设备的框图；图19是示出根据本公开的各种实施例的程序模块的框图；在整个附图中，应该指出的是相同的附图标记用于描绘相同或类似的元件、特征和结构。具体实施方式下面的描述参照附图提供以帮助对如权利要求书及其等价物限定的本公开的各种实施例的全面理解，它包括各种特定细节来帮助理解，但是其将仅仅被认为是示例性的。于是，本领域技术人员将认识到在此描述的各种实施例的各种变化和修改都是可以做出的，而不背离本公开的范围和精髓。另外，为了清楚和简洁的缘故，省略了公知功能和结构的描述。在随后的描述和权利要求中使用的术语和词汇不限于书面意思，而是仅仅由专利技术人使用来使得本公开能够被清楚和一致地理解。于是，对本领域技术人员而言，应该清楚的是提供本公开的各种实施例的随后的描述是仅用于说明的目的，而不用于限制本公开的目的，本公开由所附的权利要求书及其等价物限定。要理解的是，单数形式“一”、“一个”和“该”包括复数称谓，除非上下文清楚地另有所指。从而，“一个部件表面”的称谓包括一个或多个这种表面的称谓。在本文中揭示的公开内容中，在此使用的表示方式“具有”、“可以具有”、“包括”和“包含”或者“可以包括”和“可以包含”用于表示相对应特征(例如，诸如数量值、功能、操作或部件的元件)的存在，但并不排除另外的特征的存在。在本文中揭示的公开中，在此使用的表达方式“A或B”、“A或/和B中的至少一个”或者“A或/和B中的一个或多个”等可以包括相关列出的项目中的一个或多个的任意和所有组合。例如，项目“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以表示情况(1)包括至少一个A、情况(2)包括至少一个B、或情况(3)包括至少一个A和至少一个B二者中的全部情况。在此使用的术语，如“第一”、“第二”等可以表示本公开的各种实施例的各种元件，但是不限于该元件。例如，这种术语仅用于将一个元件与另一个元件区分开，但是不限于该元件本文档来自技高网...

【技术保护点】
一种用于输出图像的电子设备，所述电子设备包括：配置为输出图像的显示器；收发器，所述收发器被配置为与外部电子设备建立多个信道；处理器，所述处理器被配置为：将电子设备周围的虚拟三维(3D)投影空间分类为多个区域，将多个区域中的每一个与多个信道中的一个信道链接，在链接到多个区域中的每一个的每个信道上经由所述收发器从外部电子设备接收图像数据，以及基于图像数据在显示器上输出流传输图像。

【技术特征摘要】
2016.09.01 KR 10-2016-0112872;2017.05.12 KR 10-2011.一种用于输出图像的电子设备，所述电子设备包括：配置为输出图像的显示器；收发器，所述收发器被配置为与外部电子设备建立多个信道；处理器，所述处理器被配置为：将电子设备周围的虚拟三维(3D)投影空间分类为多个区域，将多个区域中的每一个与多个信道中的一个信道链接，在链接到多个区域中的每一个的每个信道上经由所述收发器从外部电子设备接收图像数据，以及基于图像数据在显示器上输出流传输图像。2.根据权利要求1所述的电子设备，还包括：传感器模块，所述传感器模块被配置为收集与用户的视线相关的感测信息，其中所述处理器还被配置为基于所述感测信息来确定所述多个区域中的对应于视场(FOV)的第一区域。3.根据权利要求2所述的电子设备，其中所述处理器还被配置为基于从3D投影空间的参考点面向所述FOV的中心点的第一矢量与从所述参考点面向多个区域中的每一个的中心点的第二矢量之间的角度来确定所述多个区域中的至少一个区域的图像数据的图像质量。4.根据权利要求2所述的电子设备，其中所述处理器还被配置为：将多个区域映射到球面，以及基于所述多个区域中的每一个的中心点与所述FOV的中心点之间的球面距离来确定所述多个区域中的至少一个区域的图像数据的图像质量。5.根据权利要求2所述的电子设备，其中所述视线垂直于所述显示器的表面。6.根据权利要求2所述的电子设备，其中所述收发器还被配置为：在链接到第一区域的第一信道上接收第一图像质量的第一图像数据，以及在链接到与FOV相邻的第二区域的第二信道上接收第二图像质量的第二图像数据，以及其中所述处理器还被配置为：基于第一图像数据输出第一区域中的图像，并且基于第二图像数据输出第二区域中的图像。7.根据权利要求6所述的电子设备，其中所述处理器还被配置为相对于包括在所述第一图...

【专利技术属性】
技术研发人员：洪承硕，李斗熊，朴光祐，金烔佑，金圣镇，辛昊哲，李尚俊，李承范，廉东铉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR