3D流处理制造技术

本发明专利技术涉及一种用于操作处理实体的方法，该处理实体被配置成处理3D图像数据流以通过无线网络传输到扩展现实设备，该方法包括：接收具有表示现实世界对象的结构的第一图像数据流和表示现实世界对象的视觉外观的第二图像数据流的3D流；将对应的传输时间指示添加到第一图像数据流和第二图像数据流中的每一个，从而生成包括经修正的第一流和经修正的第二流的经修正流；通过网络将经修正流传输到扩展现实设备；接收经修正的第一流和经修正的第二流中的每一个的处理时间指示；以及基于处理时间指示，启动3D图像数据流和经修正流中的至少一个的适配。一个的适配。一个的适配。

【技术实现步骤摘要】
【国外来华专利技术】3D流处理


[0001]本申请涉及一种用于操作处理实体的方法以及对应的处理实体。此外，提供了一种计算机程序和包括该计算机程序的载体。特别地，本文的实施例涉及处理3D图像流数据以通过无线网络进行传输。

技术介绍

[0002]最近，远程会议和虚拟通信的重要性已经迅速增长。在这种情况下，点云或任何3D图像数据流从深度相机流向XR(扩展现实)设备，诸如增强现实(AR)设备、混合现实(MR)设备或虚拟现实(VR)设备。3D内容的点云(例如3D图像帧)由深度相机捕获，诸如英特尔Realsense或微软Kinect。
[0003]网格、纹理和UV贴图通常用于表示捕获的3D内容。网格是一种定义AR/VR中对象形状的数据结构。存在不同的网格拓扑类型，例如三角形网格、线网格或点网格。类型指示使用三角网、点或线创建网格曲面的方式，其中每条线由两个顶点索引等组成。网格包含定义3D内容形状的边和顶点。
[0004]UV映射是将2D图像投影到3D模型表面进行纹理映射的3D建模过程。使用UV映射，可以向组成3D对象的多边形添加颜色。UV映射过程包括将图像中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于操作处理实体(100)的方法，所述处理实体被配置成处理3D图像数据流以通过无线网络(60)传输到扩展现实设备(70)，所述方法包括：接收所述3D图像数据流，所述3D图像数据流包括表示至少一个现实世界对象的结构的第一图像数据流和表示所述至少一个现实世界对象的视觉外观的第二图像数据流，将对应的传输时间指示添加到所述第一图像数据流和所述第二图像数据流中的每一个，从而得到包括经修正的第一流和经修正的第二流的经修正流，通过所述无线网络将所述经修正流发送给所述扩展现实设备，从所述扩展现实设备接收所述经修正的第一流和所述经修正的第二流中的每一个的处理时间指示，基于所述经修正的第一流和所述经修正的第二流的所述处理时间指示，启动所述3D图像数据流和所述经修正流中的至少一个的适配。2.根据权利要求1所述的方法，还包括基于所述经修正的第一流和所述经修正的第二流的所述处理时间指示，确定在所述扩展现实设备处所述经修正的第一流和所述经修正的第二流的所述处理时间中的一个比另一个短，其中启动适配包括在所述扩展现实设备处启动第一经修正流和第二经修正流的同步。3.根据权利要求2所述的方法，其中启动所述同步包括以下至少一项：降低两个经修正流中被处理得比另一个慢的一个经修正流的帧速率，请求所述扩展现实设备丢弃所述经修正的数据流的未决部分，所述未决部分在所述扩展现实设备处缓冲以供显示，请求被配置成生成所接收的3D图像数据流的3D相机将所述第一图像数据流和第二图像数据流中的一个图像数据流的帧速率适配于所接收的3D图像数据流中的另一个图像数据流的帧速率，对于所述一个图像数据流，其所对应的第一经修正流或第二经修正流在所述扩展现实设备处被更快地处理，对于所述另一个图像数据流，其所对应的经修正流在所述扩展现实设备处被更慢地处理。4.根据前述权利要求中任一项所述的方法，还包括将所述经修正的第一流和所述经修正的第二流的所述传输时间指示的当前值与所述经修正的第一流和所述经修正的第二流的所接收到的处理时间指示进行比较，其中基于所述比较来启动所述适配。5.根据权利要求4所述的方法，其中生成所述经修正的第一流的所述传输时间指示的当前值与所述经修正的第一流的所接收的处理时间指示之间的第一差值，并且生成所述经修正的第二流的所述传输时间指示的当前值与所述经修正的第二流的所接收的处理时间指示之间的第二差值，其中基于所述第一差值和所述第二差值来启动所述适配。6.根据权利要求5所述的方法，其中，如果所述第一差值和所述第二差值中的至少一个大于第一时间间隔但小于第二时间间隔，则降低发送给所述扩展现实设备的所述经修正流的传输速率。7.根据权利要求5或6所述的方法，其中如果所述第一差值和所述第二差值中的至少一个大于第二时间间隔，则要求所述扩展现实设备丢弃在所述扩展现实设备处用于显示的未决的所述经修正流的未决数据流帧，其中将当前存在于所述处理实体处的所述经修正流的当前部分发送给所述扩展现实设备。8.根据前述权利要求中任一项所述的方法，其中所述第一图像数据流包括网格和点云
中的至少一个，并且所述第二图像数据流包括网格和点云中的至少一个的纹理和UV映射。9.根据前述权利要求中任一项所述的方法，其中确定所述处理时间包括确定渲染时间，其中所述渲染时间被发送给所述3D相机。10.根据前述权利要求中任一项所述的方法，进一步确定所述3D图像数据流中表示的场景中的感兴趣区域，与所述3D图像数据流的其他区域相比，在所述感兴趣区域中检测到至少一个现实世界对象的增加的移动，其中关于所述感兴趣区域的信息被发送给被配置成生成所述3D图像数据流的3D相机。11.根据权利要求10所述的方法，进一步确定在所述3D图像数据流中表示的场景中的未来感兴趣区域，在所述未来感兴趣区域中，基于所述感兴趣区域和所述至少一个现实世界对象的确定的移动，预期所述至少一个现实世界对象的增加的移动，其中关于所述未来感兴趣区域的信息被发送给所述3D相机。12.根据权利要求10或11中任一项所述的方法，其中基于所述感兴趣区域来确定反映了所述感兴趣区域中示出的活动程度的活动分数，其中基于所述活动分数来为所述第一图像数据流确定所建议的帧速率，并且将其发送给所述3D相机。13.根据前述权利要求中任一项所述的方法，其中经由另一无线网络从被配置成生成所接收的3D图像数据流的3D相机接收所述3D图像数据流，所述方法还包括以下步骤：从所述3D相机接收指示所述3D相机的分辨率的分辨率指示符，确定所述3D图像数据流中示出的所述至少一个现实世界对象的活动，确定用于将所述3D图像数据流发送给所述处理实体的所述另一无线网络的传输带宽，考虑所述分辨率指示符、所述传输带宽和所确定的活动，确定将由所述3D相机用于所述第一图像数据流的第一帧速率和将由所述3D相机用于所述第二图像数据流的第二帧速率，向所述3D相机通知基于所确定的第一帧速率和第二帧速率确定的缩放参数。14.根据权利要求13所述的方法，其中所述缩放参数被确定为所述3D图像数据流内所述第一图像数据流的帧速率相对于所述第二图像数据流的帧速率的比率。15.根据前述权利要求中任一项所述的方法，其中所述至少一个现实世界对象包括生物。16.根据前述权利要求中任一项所述的方法，其中所述3D图像数据流还包括包含音频数据的第三流。17.一种用于操作处理实体(200)的方法，所述处理实体被配置成通过无线网络接收由3D相机生成的3D图像数据流，所述3D图像数据流包括表示至少一个现实世界对象的结构的第一图像数据流，以及表示所述至少一个现实世界对象的视觉外观的第二图像数据流，所述方法包括：从所述3D相机接收指示所述3D相机的分辨率的分辨率指示符，确定所述3D图像数据流中示出的所述至少一个现实世界对象的活动，确定用于将所述3D图像数据流发送给所述处理实体的另一无线网络的传输带宽，考虑所述分辨率指示符、所述传输带宽和所确定的活动，确定将由所述3D相机用于所述第一图像数据流的第一帧速率和将由所述3D相机用于所述第二图像数据流的第二帧速率，
向所述3D相机通知基于所确定的第一帧速率和第二帧速率确定的缩放参数。18.根据权利要求17所述的方法，还向显示所述3D图像数据流的扩展现实设备通知所述缩放参数。19.根据权利要求17或18所述的方法，其中所述缩放参数包括所述3D图像数据流内所述第一图像数据流相对于所述第二图像数据流的帧速率的比率。20.一种处理实体，被配置成通过无线电链路将3D图像数据发送给扩展现实设备，所述处理设备能够操作用于：接收所述3D图像数据流，所述3D图像数据流包括表示至少一个现实世界对象的结构的第一图像数据流和表示所述至少一个现实世界对象的视觉外观的第二图像数据流，将对应的传输时间指示添加到所述第一图像数据流和所述第二图像数据流中的每一个，从而得到包括经修正的第一流和经修正的第二流的经修正流，通过所述无线网络将所述经修正流发送给所述扩展现实设备，从所述扩展现实设备接收所述经修正的第一流和所述经修正的第...

【专利技术属性】
技术研发人员：阿里，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：