基于增强现实的汽车全景监控系统及方法技术方案

本发明专利技术涉及一种基于增强现实的汽车全景监控系统及方法，属于汽车行车安全和图像处理技术领域

【技术实现步骤摘要】
基于增强现实的汽车全景监控系统及方法


[0001]本专利技术属于汽车行车安全和图像处理
，涉及一种基于增强现实的汽车全景监控系统及方法
。

技术介绍

[0002]面对万亿级汽车消费市场，汽车行业竞争已进入白热化阶段
——
市场趋于细分化
、
场景趋于多元化
、
用车需求趋于个性化
、
功能则趋于智能化
。
对于各大车商来说，能否抓住机遇，精准卡位，且根据不同的用车场景，抢占细分市场至关重要
。
低成本高效益的引流手段则是营销破局的重中之重
。
[0003]未来，汽车行业的营销方式将更加高效数字化，亟需一种能够提升视觉效果和体验感的新型数字化汽车，从而推动汽车销售行业的数字化转型
。
[0004]目前，除了解决汽车行业的销售困局，还需要满足现代汽车领域的安全监管需求
。
因此，基于汽车数字化转型的基础上，还需满足监控系统的要求
。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于增强现实的汽车全景监控系统及方法，利用增强现实技术和全景视频采集传输技术相融合实现汽车实时监控的思路，实现多源媒体虚实叠加的增强，既能提升汽车的视觉效果和体验感，还能满足现代汽车领域的安全监管需求
。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种基于增强现实的汽车全景监控方法，具体包括以下步骤：
[0008]S1
：在汽车上安装音视频采集设备
(
如：车内
/
外全景摄像头等
)、
自主定位设备
、
物联网设备和移动通信设备；在行车过程中，实时采集车内
/
外实景数据
、
跨平台的多路流媒体数据和非可视数字信息，并通过移动互联网实时传输到融媒体计算中心
。
[0009]S2
：融媒体计算中心的混合现实计算云通过增强现实技术将实景数据
、
跨平台的流媒体数据和非可视数字信息深度融合，生成能交互浏览的虚实叠加的实时多媒体全景信息
(
混合现实信息
)。
[0010]S3
：融媒体计算中心的分布式云存储体系，针对实时直播应用，将多媒体全景信息按照用户访问频度高低，分别部署在性能不同的存储节点上，实现性能与性价比的平衡；针对需要保存日志留档的安全监管应用，则对多媒体全景信息原始码流进行二次编码压缩，并将其存储到性能较低的存储节点上，既节省储存空间，又降低存储成本
。
[0011]S4
：融媒体计算中心将多媒体全景信息传输给第三方服务商
。
[0012]S5
：终端客户利用全景播放器或直播客户端浏览混合现实流媒体，并自主切换查看视角
。
[0013]进一步，步骤
S1
中，在汽车上安装的音视频摄录设备包括车内
/
外全景摄像头；其中，车内
/
外全景摄像头是支持视角范围为
360
°
到
720
°
的所有全景摄像头，垂直于车顶内
/
外表面安装，高度不限；
。
[0014]进一步，步骤
S1
或
S2
中，所述车内
/
外实景数据包括车
/
内外全景摄像头和高清摄像头采集的音视频数据；
[0015]所述跨平台的多路流媒体数据包括来自于音视频采集设备
(
如：摄像机
、
相机
、
手机等
)
采集到的音视频流信息，或来自于网络的标准格式
(
如：
RTSP、RTP、RTCP、SIP、SDP、RTMP、WebRTC、WebSocket
等
)
的流媒体信息；
[0016]所述非可视数字信息包括汽车的行车数据和车辆的位置信息
。
[0017]进一步，步骤
S1
或
S2
中，所述汽车的行车数据的获取采用以下四种模式：
[0018]第一种是
OBD(On
‑
Board Diagnostics
，车载自动诊断系统
)
模式，主要是针对传统的燃油汽车；本系统利用车厂提供的授权
SDK
从通过
OBD
接口读出原始的车载自动诊断系统原始数据，通过可视化重构，再现车况信息
。
[0019]第二种是
USB
模式，主要是针对新能源汽车
(
如：混动
、
电车
)
；经车厂授权后，本系统通过
USB
接口读出车况数据，经过解密和可视化重构，再现车况信息
。
[0020]第三种是
API(Application Programming Interface
，应用程序编程接口
)
模式，主要是针对智能汽车；经车厂和车主授权后，本系统通过网络
API
接口从厂商服务器中读出指定车辆的行车数据，经过可视化重构，再现车况信息
。
[0021]第四种是
MV/CV(Machine Vision
，机器视觉
/Computer Vision
，计算机视觉
)
模式，主要是针对没有上述三种
(OBD、USB、API)
接口的汽车；其中，
MV
是机器视觉，
CV
是计算机视觉；本系统在车内增设高清摄像头，通过
MV/CV
技术，利用图像识别算法，分析提取驾驶舱仪表盘上的行车信息，经过可视化重构，再现车况信息
。
[0022]进一步，步骤
S1
或
S2
中，所述车辆的位置信息的获取采用以下两种模式：
[0023]第一种是
AL(Autonomous Localization
，自主定位
)
模式，作为通用手段，本系统利用
GPS+BDS+IMU+
高精度地图
+
激光雷达信息融合的定位方法，获取智能
/
非智能汽车的精确位置信息
。
[0024]第二是
API(Application Programming Interface
，应用程序编程接口
)
模式，主要是针对智能汽车；经车厂和车主授权后，本系统通过网络
API
接口从厂商服务器中读出指定车辆的位置信息
。
[0025]进一步，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于增强现实的汽车全景监控方法，其特征在于，该方法具体包括以下步骤：
S1
：在汽车上安装音视频采集设备
、
自主定位设备
、
物联网设备和移动通信设备；在行车过程中，实时采集车内
/
外实景数据
、
跨平台的多路流媒体数据和非可视数字信息，并通过移动互联网实时传输到融媒体计算中心；
S2
：融媒体计算中心的混合现实计算云通过增强现实技术将实景数据
、
跨平台的流媒体数据和非可视数字信息深度融合，生成能交互浏览的虚实叠加的实时多媒体全景信息；
S3
：融媒体计算中心的分布式云存储体系，针对实时直播应用，将多媒体全景信息按照用户访问频度高低，分别部署在性能不同的存储节点上；针对需要保存日志留档的安全监管应用，则对多媒体全景信息原始码流进行二次编码压缩，并将其存储到性能低的存储节点上；
S4
：融媒体计算中心将多媒体全景信息传输给第三方服务商；
S5
：终端客户利用全景播放器或直播客户端浏览混合现实流媒体，并自主切换查看视角
。2.
根据权利要求1所述的汽车全景监控方法，其特征在于，步骤
S1
中，在汽车上安装的音视频摄录设备包括车内
/
外全景摄像头；其中，车内
/
外全景摄像头是支持视角范围为
360
°
到
720
°
的所有全景摄像头，垂直于车顶内
/
外表面安装，高度不限
。3.
根据权利要求1所述的汽车全景监控方法，其特征在于，步骤
S1
或
S2
中，所述车内
/
外实景数据包括车
/
内外全景摄像头和高清摄像头采集的音视频数据；所述跨平台的多路流媒体数据包括来自于音视频采集设备采集到的音视频流信息，或来自于网络的标准格式的流媒体信息；所述非可视数字信息包括汽车的行车数据和车辆的位置信息
。4.
根据权利要求3所述的汽车全景监控方法，其特征在于，步骤
S1
或
S2
中，所述汽车的行车数据的获取采用以下四种模式：第一种是
OBD
模式，针对传统的燃油汽车；利用车厂提供的授权
SDK
从通过
OBD
接口读出原始的车载自动诊断系统原始数据，通过可视化重构，再现车况信息；其中，
OBD
是车载自动诊断系统；第二种是
USB
模式，针对新能源汽车；经车厂授权后，本系统通过
USB
接口读出车况数据，经过解密和可视化重构，再现车况信息；第三种是
API
应用程序编程接口模式，主要是针对智能汽车；经车厂和车主授权后，本系统通过网络
API
接口从厂商服务器中读出指定车辆的行车数据，经过可视化重构，再现车况信息；第四种是
MV/CV
模式，针对没有上述三种接口的汽车；其中，
MV
是机器视觉，
CV
是计算机视觉；在车内增设高清摄像头，通过
MV/CV
技术，利用图像识别算法，分析提取驾驶舱仪表盘上的行车信息，经过可视化重构，再现车况信息
。5.
根据权利要求3所述的汽车全景监控方法，其特征在于，步骤
S1
或
S2
中，所述车辆的位置信息的获取采用以下两种模式：第一种是
AL
模式，利用
GPS+BDS+IMU+
高精度地图
+
激光雷达信息融合的定位方法，获取智能
/
非智能汽车的精确位置信息；其中，
AL
是自主定位；第二是
API
模式，针对智能汽车；经车厂和车主授权后，通过网络
API
接口从厂商服务器
中读出指定车辆的位置信息
。6.
根据权利要求1所述的汽车全景监控方法，其特征在于，步骤
S2
中，混合现实计算云通过增强现实技术将实景数据
、
跨平台的流媒体数据和非可视数字信息深度融合，生成实时多媒体全景信息，具体包括极坐标转换
、
球坐标投影和等距投影算法，具体步骤为：
S21
：假设全景图为
G
Panorama
，其等距投影图为
G
EP
；
G
EP
采用屏幕坐标系，其中的任意一点
P
的坐标表示为的坐标表示为和分别为
P
点距左上角点的横向和纵向偏移；假设和分别为
G
EP
的宽度和高度，则的宽度和高度，则且
G
Panorama
球的半径球的半径
S22
：建立直角坐标系
CC
；将
G
EP
的右上角移动到直角坐标系中的位置；
S23
：建立球坐标系
...

【专利技术属性】
技术研发人员：汪建，汪金宏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：