一种渲染VR场景中的视频图像及方法技术

本申请实施例公开了一种渲染VR场景中的视频图像的方法及系统，本申请实施例基于用户视点轨迹信息对当前时间段内的每一时间点的视频图像进行动态渲染，得到的用于后续给用户呈现的VR场景考虑了用户视线，提高了视频图像的渲染质量。的渲染质量。的渲染质量。

【技术实现步骤摘要】
一种渲染VR场景中的视频图像及方法


[0001]本申请涉及虚拟现实(VR，Virtual Reality)技术，特别涉及一种渲染VR场景中的视频图像的方法及系统。

技术介绍

[0002]随着VR技术的发展，诸如VR眼镜或VR头显设备等具有VR技术的设备逐步商用。VR设备将获取到的视频图像，经过适用于VR呈现的处理，得到VR视频图像，将VR视频图像呈现给用户，其中，适用于VR呈现的处理为对该视频图像进行的渲染处理。由于VR设备的算力资源有限，常常对视频图像的渲染速率小于VR视频图像的呈现速率，导致VR设备呈现VR视频图像时存在延迟的问题。
[0003]VR设备在渲染视频图像时，其渲染质量的高低也直接影响了后续呈现VR视频图像的质量，因此，在节省VR设备的算力资源前提下，采用何种具有高渲染质量的渲染方式对视频图像进行渲染，使得渲染得到的VR视频图像在呈现时不出现延迟，不会导致用户在使用VR设备过程中，产生眩晕感，提高用户体验度，成为了一个亟待解决的技术问题。

技术实现思路

[0004]本申请实施例提供一种渲染VR场景中的视频图像的方法，该方法能够在渲染VR场景中的视频图像时考虑用户视点轨迹信息，提高视频图像的渲染质量。
[0005]本申请实施例还提供一种渲染VR场景中的视频图像的系统，该系统能够在渲染VR场景中的视频图像时考虑用户视点轨迹信息，提高视频图像的渲染质量。
[0006]本申请的一个实施例中，提供一种渲染VR场景中的视频图像的方法，所述方法包括：
[0007]提供当前时间点的视频图像，将所述当前时间点的视频图像划分为多个子区域，将所述子区域的图像特征信息及获取的用户视点特征信息，输入训练完成的注意力模型中处理，得到所述子区域的注意力系数，所述子区域的注意力系数反映下一时间点的用户视点落入到所述子区域的可能概率值，基于所述子区域的注意力系数渲染所述子区域，得到渲染后的所述当前时间点的视频图像；
[0008]将所述子区域的注意力系数及所述子区域的图像特征信息，输入训练完成的用户视线轨迹预测模型进行处理，得到当前时间段的用户视线轨迹信息；
[0009]对于所述当前时间段内的后续时间点的视频图像，将所述后续时间点的视频图像划分为多个子区域，基于所述当前时间段的用户视线轨迹信息，分别计算得到所述当前时间段内的每个所述后续时间点的视频图像中的子区域的注意力系数，基于所述子区域的注意力系数渲染对应的所述子区域，得到渲染后的每个所述后续时间点的视频图像。
[0010]在上述实施例中，所述方法还包括：
[0011]按照时间顺序，释放所述时间段中的各个时间点的渲染后的视频图像；
[0012]采集对应时间点的用户视点信息，当用户视点信息落入到渲染后的视频图像中的
一子区域时，将对应的渲染后的所述子区域，形成VR场景，进行呈现。
[0013]在上述实施例中，所述获取的用户视点特征信息包括视觉行为因素信息和上下文因素信息，其中，
[0014]所述视觉行为因素信息包括：所述子区域的纹理信息Textures、所述子区域的网格信息Meshes及所述子区域的位置信息；
[0015]所述上下文因素信息包括：用户意图表达数据、文本数据、语音对话数据、系统引导数据及任务Task指向性数据。
[0016]在上述实施例中，将所述当前时间点的视频图像划分为多个子区域，及将所述后续时间点的视频图像划分为多个子区域采用的方式是相同的，包括：
[0017]将所述视频图像映射为二维视频图像，所述视频图像为用户视线的视场角FOV与设定夹角α之和限定的用户视线范围内的VR场景；
[0018]将所述二维视频图像的图像特征信息输入到训练完成的划分模型中，得到划分的多个子区域及对应的用户视点特征信息。
[0019]在上述实施例中，在得到所述子区域的注意力系数之前，还包括：
[0020]对所述子区域基于设置的中央凹原理的处理后，得到所述子区域的注意力系数。
[0021]在上述实施例中，所述用户视线轨迹预测模型的训练过程包括：
[0022]将所述当前时间点的视频图像中的所述子区域的注意力系数及所述子区域的图像特征信息，输入到基于用户视觉习惯信息建立的用户轨迹预测模型中进行训练，输出所述子区域的用户视线轨迹概率值；
[0023]所述用户视线轨迹预测模型的真实目标框GT采用用户从所述子区域注视到相邻的子区域的用户视线轨迹确定；
[0024]在训练过程中，基于记录的用户视觉习惯信息，调整所述用户轨迹预测模型，直到训练完成。
[0025]在上述实施例中，所述得到当前时间段的用户视线轨迹信息还包括：
[0026]基于当前时间段的用户真实的视线轨迹信息，判断通过所述用户视线轨迹预测模型进行处理，直接得到的当前时间段的用户视线轨迹信息是否准确，
[0027]如果准确，则将通过所述用户视线轨迹预测模型进行处理，直接得到的当前时间段的用户视线轨迹信息作为所述得到当前时间段的用户视线轨迹信息；
[0028]如果不准确，则将所述当前时间段的用户真实的视线轨迹信息作为所述得到当前时间段的用户视线轨迹信息，并基于所述当前时间段的用户真实的视线轨迹信息对所述用户视线轨迹预测模型进行优化训练。
[0029]在上述实施例中，所述基于所述当前时间段的用户视线轨迹信息，分别计算得到所述当前时间段内的每个所述后续时间点的视频图像中的子区域的注意力系数包括：
[0030]针对一所述当前时间段内的每个所述后续时间点的视频图像中的子区域，基于所述当前时间段的用户视线轨迹信息，确定用户视线是否落入所述子区域，如果是，则所述子区域的注意力系数在对应的上一时间点的注意力系数基础上，按照设定幅度进行增强；如果否，则所述子区域的注意力系数在对应的上一时间点的注意力系数基础上，按照设定幅度减弱。
[0031]在上述实施例中，所述基于所述子区域的注意力系数渲染所述子区域包括：
[0032]设置注意力系数阈值，判断所述子区域的注意力系数是否超过设置的注意力系数阈值，如果是，对所述子区域采用所设置的高级别渲染方式进行渲染，如果否，采用所设置的低级别渲染方式进行渲染。
[0033]在本申请的另一实施例中，提供一种渲染VR场景的视频图像的系统，所述系统包括：当前时间点的视频图像处理单元、用户视线轨迹信息预测单元及当前时间段的视频图像处理单元，其中，
[0034]所述当前时间点的视频图像处理单元，用于提供当前时间点的视频图像，将所述当前时间点的视频图像划分为多个子区域，将所述子区域的图像特征信息及获取的用户视点特征信息，输入训练完成的注意力模型中处理，得到所述子区域的注意力系数，所述子区域的注意力系数反映下一时间点的用户视点落入到所述子区域的可能概率值，基于所述子区域的注意力系数渲染所述子区域，得到渲染后的所述当前时间点的视频图像；
[0035]所述用户视线轨迹信息预测单元，用于将所述子区域的注意力系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渲染VR场景中的视频图像的方法，其特征在于，所述方法包括：提供当前时间点的视频图像，将所述当前时间点的视频图像划分为多个子区域，将所述子区域的图像特征信息及获取的用户视点特征信息，输入训练完成的注意力模型中处理，得到所述子区域的注意力系数，所述子区域的注意力系数反映下一时间点的用户视点落入到所述子区域的可能概率值，基于所述子区域的注意力系数渲染所述子区域，得到渲染后的所述当前时间点的视频图像；将所述子区域的注意力系数及所述子区域的图像特征信息，输入训练完成的用户视线轨迹预测模型进行处理，得到当前时间段的用户视线轨迹信息；对于所述当前时间段内的后续时间点的视频图像，将所述后续时间点的视频图像划分为多个子区域，基于所述当前时间段的用户视线轨迹信息，分别计算得到所述当前时间段内的每个所述后续时间点的视频图像中的子区域的注意力系数，基于所述子区域的注意力系数渲染对应的所述子区域，得到渲染后的每个所述后续时间点的视频图像。2.如权利要求1所述的方法，其特征在于，所述方法还包括：按照时间顺序，释放所述时间段中的各个时间点的渲染后的视频图像；采集对应时间点的用户视点信息，当用户视点信息落入到渲染后的视频图像中的一子区域时，将对应的渲染后的所述子区域，形成VR场景，进行呈现。3.如权利要求1所述的方法，其特征在于，所述获取的用户视点特征信息包括视觉行为因素信息和上下文因素信息，其中，所述视觉行为因素信息包括：所述子区域的纹理信息Textures、所述子区域的网格信息Meshes及所述子区域的位置信息；所述上下文因素信息包括：用户意图表达数据、文本数据、语音对话数据、系统引导数据及任务Task指向性数据。4.如权利要求1所述的方法，其特征在于，将所述当前时间点的视频图像划分为多个子区域，及将所述后续时间点的视频图像划分为多个子区域采用的方式是相同的，包括：将所述视频图像映射为二维视频图像，所述视频图像为用户视线的视场角FOV与设定夹角α之和限定的用户视线范围内的VR场景；将所述二维视频图像的图像特征信息输入到训练完成的划分模型中，得到划分的多个子区域及对应的用户视点特征信息。5.如权利要求1所述的方法，其特征在于，在得到所述子区域的注意力系数之前，还包括：对所述子区域基于设置的中央凹原理的处理后，得到所述子区域的注意力系数。6.如权利要求1所述的方法，其特征在于，所述用户视线轨迹预测模型的训练过程包括：将所述当前时间点的视频图像中的所述子区域的注意力系数及所述子区域的图像特征信息，输入到基于用户视觉习惯信息建立的用户轨迹预测模型中进行训练，输出所述子区域的用户视线轨迹概率值；所述用户视线轨迹预测模型的真实目标框GT采用用户从所述子区域注视到相邻的子区域的用户视线轨迹确定；在训练过程中，基于记录的用户视觉习惯信息，调整所述用户轨迹预测模型，直到训练
完成。7.如权利要求1所述的方法，其特征在于，所述得到当前时...

【专利技术属性】
技术研发人员：王琨，汪梦泽，李吉春，陈有鑫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：