一种基于实景交互的模拟驾驶系统及方法技术方案

本发明专利技术提供了一种基于实景交互的模拟驾驶系统及方法，其系统包括：视频采集分析模块，采集实景视频并传输至第一分析终端进行分析，确定实景视频的特征信息；虚拟场景搭建模块，将实景视频的特征信息传输至第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；融合处理模块，将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，将模拟驾驶舱与虚拟环境进行融合处理；交互模块，基于融合处理结果在显示端进行第一显示，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，将交互数据反馈至显示端进行第二显示。保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。提高了模拟驾驶体验感。提高了模拟驾驶体验感。

【技术实现步骤摘要】
一种基于实景交互的模拟驾驶系统及方法


[0001]本专利技术涉及数据传输交互
，特别涉及一种基于实景交互的模拟驾驶系统及方法。

技术介绍

[0002]目前，通过实景交互从而完成对驾驶系统的模拟可以让体验者在虚拟的驾驶环境中实现对驾驶操作的仿真模拟，可以形象逼真的通过虚拟场景实现对仿真驾驶的操纵以及显示，从而使得用户在进行模拟驾驶体验过程中可以感受到接近真是效果的视觉体验；
[0003]然而，在进行实景交互过程中，现有技术中往往通过采集实景并根据计算机实现对实景视频的模拟，然而，在注重便捷性的过程中忽略了实景交互的准确率以及同步性，从而使得用户体验感降低；
[0004]因此，本专利技术提供了一种基于实景交互的模拟驾驶系统及方法。

技术实现思路

[0005]本专利技术提供一种基于实景交互的模拟驾驶系统及方法，用以通过采集实景视频，并对实景视频进行分析和处理，实现对实景视频对应的虚拟环境进行准确可靠的构建，其次，将虚拟环境和模拟驾驶舱进行融合后进行在显示端进行显示，并实时根据用户的操作姿态对显示画面进行同步更新，从而保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。
[0006]本专利技术提供了一种基于实景交互的模拟驾驶系统，包括：
[0007]视频采集分析模块，用于采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
[0008]虚拟场景搭建模块，用于将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
[0009]融合处理模块，用于将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
[0010]交互模块，用于基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。
[0011]优选的，一种基于实景交互的模拟驾驶系统，视频采集分析模块，包括：
[0012]任务确定单元，用于获取实景采集任务，并对实景采集任务进行第一解析，确定待采集实景的目标数量以及待采集实景的目标路段；
[0013]装置配置单元，用于对实景采集任务进行第二解析，确定对待采集实景视频的目标需求，并基于目标需求对待采集实景的视频分辨率以及视频采集范围角度，且基于视频分辨率以及视频采集范围角度对预设视频采集装置进行配置；
[0014]实景视频采集单元，用于确定对待采集实景的目标路段的采集顺序以及各目标路
段的起点和终点，并基于配置好的预设视频采集装置根据采集顺序以及各目标路段的起点和终点进行实景视频采集，且将采集到的实景视频进行汇总，得到最终需要的实景视频。
[0015]优选的，一种基于实景交互的模拟驾驶系统，视频采集分析模块，包括：
[0016]视频获取单元，用于获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；
[0017]视频拆分单元，用于基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；
[0018]视频传输单元，用于基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；
[0019]视频处理单元，用于：
[0020]基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；
[0021]将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；
[0022]提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。
[0023]优选的，一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
[0024]任务读取单元，用于基于第二分析终端读取数据接收任务；
[0025]其中，数据接收任务包括实景视频的第一目标视频标签以及实景视频中特征信息的记录模板；
[0026]判断单元，用于：
[0027]当当前实景视频的特征信息传输至第二分析终端时，获取当前实景视频的第二目标视频标签；
[0028]将第一目标视频标签与第二目标视频标签进行匹配，判断是否可以将实景视频的特征信息记录至记录模板中；
[0029]当第一目标视频标签与第二目标视频标签相匹配，则判定可以将实景视频的特征信息记录至记录模板中，并当特征信息完整记录至记录模板中时，结束对实景视频中特征信息的接收；
[0030]否则，则判定不可以将实景视频的特征信息记录至记录模板中，并进行报警操作。
[0031]优选的，一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
[0032]特征信息读取单元，用于对实景视频的特征信息进行读取，确定实景视频中多个
驾驶关键点以及实景视频中空间参照对象，同时，分别确定实景视频中每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置；
[0033]分析单元，用于：
[0034]基于点位置确定在实景视频中每个驾驶关键点之间的第一关联关系；
[0035]基于每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置确定每个驾驶关键点与实景视频中空间参照对象之间的第二关联关系；
[0036]场景搭建单元，用于：
[0037]基于第一关联关系与第二关联关系搭建二维虚拟场景；
[0038]在实景视频中截取空间参照对象的三维视图，同时，将三维视图在二维虚拟场景中进行叠加，并基于叠加结果搭建三维虚拟场景；
[0039]基于三维虚拟场景获取实景视频的虚拟环境。
[0040]优选的，一种基于实景交互的模拟驾驶系统，融合处理模块，包括：
[0041]虚拟环境读取单元，用于基于用户端对实景视频的虚拟环境进行读取，确定虚拟环境的第一环境亮度，同时，获得模拟驾驶舱的第二环境亮度；
[0042]融合处理单元，用于计算第一环境亮度与第二环境亮度的亮度均值，并基于亮度均值调节虚拟环境的第一环境亮度与模拟驾驶舱的第二环境亮度，同时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实景交互的模拟驾驶系统，其特征在于，包括：视频采集分析模块，用于采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；虚拟场景搭建模块，用于将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；融合处理模块，用于将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；交互模块，用于基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。2.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，视频采集分析模块，包括：任务确定单元，用于获取实景采集任务，并对实景采集任务进行第一解析，确定待采集实景的目标数量以及待采集实景的目标路段；装置配置单元，用于对实景采集任务进行第二解析，确定对待采集实景视频的目标需求，并基于目标需求对待采集实景的视频分辨率以及视频采集范围角度，且基于视频分辨率以及视频采集范围角度对预设视频采集装置进行配置；实景视频采集单元，用于确定对待采集实景的目标路段的采集顺序以及各目标路段的起点和终点，并基于配置好的预设视频采集装置根据采集顺序以及各目标路段的起点和终点进行实景视频采集，且将采集到的实景视频进行汇总，得到最终需要的实景视频。3.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，视频采集分析模块，包括：视频获取单元，用于获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；视频拆分单元，用于基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；视频传输单元，用于基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；视频处理单元，用于：基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域
相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。4.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，虚拟场景搭建模块，包括：任务读取单元，用于基于第二分析终端读取数据接收任务；其中，数据接收任务包括实景视频的第一目标视频标签以及实景视频中特征信息的记录模板；判断单元，用于：当当前实景视频的特征信息传输至第二分析终端时，获取当前实景视频的第二目标视频标签；将第一目标视频标签与第二目标视频标签进行匹配，判断是否可以将实景视频的特征信息记录至记录模板中；当第一目标视频标签与第二目标视频标签相匹配，则判定可以将实景视频的特征信息记录至记录模板中，并当特征信息完整记录至记录模板中时，结束对实景视频中特征信息的接收；否则，则判定不可以将实景视频的特征信息记录至记录模板中，并进行报警操作。5.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，虚拟场景搭建模块，包括：特征信息读取单元，用于对实景视频的特征信息进行读取，确定实景视频中多个驾驶关键点以及实景视频中空间参照对象，同时，分别确定实景视频中每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置；分析单元，用于：基于点位置确定在实景视频中每个驾驶关键点之间的第一关联关系；基于每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置确定每个驾驶关键点与实景视频中空间参照对象之间的第二关联关系；场景搭建单元，用于：基于第一关联关系与第二关联关系搭建二维虚拟场景；在实景视频中截取空间参照对象的三维视图，同时，将三维视图在二维虚拟场景中进行叠加，并基于叠加结果搭建三维虚拟...

【专利技术属性】
技术研发人员：李迪，杨宝华，
申请(专利权)人：北京千种幻影科技有限公司，
类型：发明
国别省市：