一种多媒体信息的显示方法、装置和电子设备制造方法及图纸

本公开提供了一种多媒体信息的显示方法、装置和电子设备，涉及显示技术领域，解决了相关技术中VR设备误以为用户有旋转VR设备的问题。该方法包括：获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的当前图像；在方向盘转角大于转角阈值的情况下，根据当前图像，提取至少一个实际特征点；根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵；根据当前时刻VR设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵；控制VR设备在下一时刻按照所述理论状态矩阵显示多媒体数据。所述理论状态矩阵显示多媒体数据。所述理论状态矩阵显示多媒体数据。

【技术实现步骤摘要】
一种多媒体信息的显示方法、装置和电子设备


[0001]本公开涉及显示
，尤其涉及一种多媒体信息的显示方法、装置和电子设备。

技术介绍

[0002]在一些场景中，用户在佩戴虚拟现实(Virtual Reality,VR)设备观看多媒体信息的过程中，会出现用户未旋转VR设备，而VR设备误以为用户有旋转VR设备的情况，如：VR设备为VR头盔，用户在乘坐交通工具时佩戴VR头盔观看多媒体信息，若交通工具在运行的过程中遇到转弯，由于交通工具的运行姿态发生改变，导致VR头盔误以为用户有旋转VR头盔，此时VR头盔播放的多媒体信息也会发生相应的旋转，导致用户的体验较差。

技术实现思路

[0003]本公开提供了一种多媒体信息的显示方法、装置和电子设备，解决了相关技术中VR头盔误以为用户有旋转VR头盔的问题。
[0004]为达到上述目的，本公开采用如下技术方案：
[0005]第一方面，本公开提供了一种多媒体信息的显示方法，应用于可安装有VR设备的交通工具，VR设备设置有至少一个图像采集装置，包括：获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的当前图像；在方向盘转角大于转角阈值的情况下，根据当前图像，提取至少一个实际特征点；根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵；根据交通工具在车辆坐标系中绕Z轴旋转的偏转角度、预先配置的第二转换矩阵和第一转换矩阵，确定VR设备对应的设备坐标系中绕Z轴旋转的旋转矩阵；其中，第二转换矩阵用于表示相机坐标系中的坐标与设备坐标系中的坐标之间的转换关系；根据当前时刻VR设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵；控制VR设备在下一时刻按照理论状态矩阵显示多媒体数据。
[0006]在一些可实施的示例中，根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵，包括：在预先配置的坐标集合中确定与每个实际特征点相匹配的理论特征点；根据预先配置的空间关系，以及每个实际特征点相匹配的理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；根据图像坐标和空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵。
[0007]在一些可实施的示例中，获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的图像信息前，本公开提供的多媒体信息的显示方法还包括：获取每个图像采集装置采集交通工具的舱内在不同角度的理论图像信息；提取理论图像信息中的至少一个理论特征点；根据至少一个理论特征点，确定预先配置的坐标集合。
[0008]在一些可实施的示例中，本公开提供的多媒体信息的显示方法还包括：获取交通
工具的舱内的三维重建模型；在三维重建模型中建立车辆坐标系；根据车辆坐标系和至少一个理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；根据每个理论特征点在车辆坐标系中的空间坐标，确定预先配置的空间关系。
[0009]在一些可实施的示例中，根据当前时刻VR设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵，包括：根据旋转矩阵，确定旋转矩阵的逆矩阵；根据当前时刻VR设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵。
[0010]在一些可实施的示例中，根据当前时刻VR设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵，包括：根据当前时刻VR设备在设备坐标系中的实际状态矩阵和逆矩阵的乘积，确定去除偏转角度的理论状态矩阵。
[0011]第二方面、本公开提供一种多媒体信息的显示装置，应用于可安装有VR设备的交通工具，VR设备设置有至少一个图像采集装置，包括：获取单元，用于获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的当前图像；处理单元，用于在获取单元获取的方向盘转角大于转角阈值的情况下，根据获取单元获取的当前图像，提取至少一个实际特征点；处理单元，还用于根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵；处理单元，还用于根据交通工具在车辆坐标系中绕Z轴旋转的偏转角度、预先配置的第二转换矩阵和第一转换矩阵，确定VR设备对应的设备坐标系中绕Z轴旋转的旋转矩阵；其中，第二转换矩阵用于表示相机坐标系中的坐标与设备坐标系中的坐标之间的转换关系；处理单元，还用于根据当前时刻VR设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵；处理单元，还用于控制VR设备在下一时刻按照理论状态矩阵显示多媒体数据。
[0012]在一些可实施的示例中，处理单元，具体用于在预先配置的坐标集合中确定与每个实际特征点相匹配的理论特征点；处理单元，具体用于根据预先配置的空间关系，以及每个实际特征点相匹配的理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；处理单元，具体用于根据图像坐标和空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵。
[0013]在一些可实施的示例中，获取单元，还用于获取每个图像采集装置采集交通工具的舱内在不同角度的理论图像信息；处理单元，还用于提取获取单元获取的理论图像信息中的至少一个理论特征点；处理单元，还用于根据至少一个理论特征点，确定预先配置的坐标集合。
[0014]在一些可实施的示例中，获取单元，还用于获取交通工具的舱内的三维重建模型；处理单元，还用于在获取单元获取的三维重建模型中建立车辆坐标系；处理单元，还用于根据车辆坐标系和至少一个理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；处理单元，还用于根据每个理论特征点在车辆坐标系中的空间坐标，确定预先配置的空间关系。
[0015]在一些可实施的示例中，处理单元，具体用于根据旋转矩阵，确定旋转矩阵的逆矩阵；处理单元，具体用于根据当前时刻VR设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵。
[0016]在一些可实施的示例中，处理单元，具体用于根据当前时刻VR设备在设备坐标系中的实际状态矩阵和逆矩阵的乘积，确定去除偏转角度的理论状态矩阵。
[0017]第三方面，本公开提供一种电子设备，包括：通信接口、处理器、存储器、总线；存储器用于存储计算机执行指令，处理器与存储器通过总线连接。当电子设备运行时，处理器执行存储器存储的计算机执行指令，以使电子设备执行如上述第一方面提供的多媒体信息的显示方法。
[0018]第四方面，本公开提供一种计算机可读存储介质，包括指令。当所述指令在计算机上运行时，使得计算机执行如上述第一方面提供的多媒体信息的显示方法。
[0019]第五方面，本公开提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面的设计方式所述的多媒体信息的显示方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体信息的显示方法，其特征在于，应用于可安装有VR设备的交通工具，所述VR设备设置有至少一个图像采集装置，包括：获取所述交通工具在当前时刻的方向盘转角以及每个所述图像采集装置采集的当前图像；在所述方向盘转角大于转角阈值的情况下，根据所述当前图像，提取至少一个实际特征点；根据每个所述实际特征点在所述当前图像的图像坐标，以及所述实际特征点在车辆坐标系中的空间坐标，确定所述图像采集装置对应的相机坐标系与所述车辆坐标系之间的第一转换矩阵；根据所述交通工具在所述车辆坐标系中绕Z轴旋转的偏转角度、预先配置的第二转换矩阵和所述第一转换矩阵，确定所述VR设备对应的设备坐标系中绕Z轴旋转的旋转矩阵；其中，所述第二转换矩阵用于表示所述相机坐标系中的坐标与设备坐标系中的坐标之间的转换关系；根据所述当前时刻所述VR设备在所述设备坐标系中的实际状态矩阵和所述旋转矩阵，确定去除所述偏转角度的理论状态矩阵；控制所述VR设备在下一时刻按照所述理论状态矩阵显示多媒体数据。2.根据权利要求1所述的多媒体信息的显示方法，其特征在于，所述根据每个所述实际特征点在所述当前图像的图像坐标，以及所述实际特征点在车辆坐标系中的空间坐标，确定所述图像采集装置对应的相机坐标系与所述车辆坐标系之间的第一转换矩阵，包括：在预先配置的坐标集合中确定与每个所述实际特征点相匹配的理论特征点；根据预先配置的空间关系，以及每个所述实际特征点相匹配的理论特征点，确定每个所述理论特征点在车辆坐标系中的空间坐标；根据所述图像坐标和所述空间坐标，确定所述图像采集装置对应的相机坐标系与所述车辆坐标系之间的第一转换矩阵。3.根据权利要求2所述的多媒体信息的显示方法，其特征在于，所述获取所述交通工具在当前时刻的方向盘转角以及每个所述图像采集装置采集的图像信息前，所述方法还包括：获取每个所述图像采集装置采集所述交通工具的舱内在不同角度的理论图像信息；提取所述理论图像信息中的至少一个理论特征点；根据所述至少一个理论特征点，确定预先配置的坐标集合。4.根据权利要求3所述的多媒体信息的显示方法，其特征在于，所述方法还包括：获取所述交通工具的舱内的三维重建模型；在所述三维重建模型中建立所述车辆坐标系；根据所述车辆坐标系和所述至少一个理论特征点，确定每个所述理论特征点在所述车辆坐标系中的空间坐标；根据每个所述理论特征点在所述车辆坐标系中的空间坐标，确定所述预先配置的空间关系。5.根据权利要求1所述的多媒体信息的显示方法，其特征在于，所述根据所述当前时刻所述VR设备在所述设备坐标系中的实际状态矩阵和所述旋转矩阵，确定去除所述偏转角度
的理论状态矩阵，包括：根据所述旋转矩阵，确定所述旋转矩阵的逆矩阵；根据所述当前时刻所述VR设备在所述设备坐标系中的实际状态矩阵和所述逆矩阵，确定去除所述偏转角度的理论状态矩阵。6.根据权利要求5所述的多媒体信息的显示方法，其特征在于，所述根据所述当前时刻所述VR设备在所述设备坐标系中的实际状态矩阵和所述逆矩阵，确定去除所述偏转角度的理论状态矩阵，包括：根据所述当前时刻所述VR设备在所述设备坐标系中的实际状态矩阵和所述逆矩阵的乘积，确定去除所述偏转角度的理论状态矩阵。7.一种多媒体信息的显示装置，其特征在于，应用于可安装有VR设备的交通工具，所述VR设备设置有至少一个图像采集装置，包括：获取单元，用于获取所述交通工具在当前时刻的方向盘转角以及每个所述图像采集装置采集的当前图像...

【专利技术属性】
技术研发人员：刘锋，勾晓菲，李涛，
申请(专利权)人：北京罗克维尔斯科技有限公司，
类型：发明
国别省市：