基于SOC的全景3D视频拼接系统及系统载体技术方案

本发明专利技术公开了基于SOC的全景3D视频拼接系统及系统载体，属于自动驾驶视频拼接技术领域，要解决的技术问题为如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度。包括：图像采集模块，用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；视频处理模块，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；数据传输模块，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。显示模块进行显示和/或发送至远端服务器。显示模块进行显示和/或发送至远端服务器。

【技术实现步骤摘要】
基于SOC的全景3D视频拼接系统及系统载体


[0001]本专利技术涉及自动驾驶视频拼接
，具体地说是基于SOC的全景3D视频拼接系统及系统载体。

技术介绍

[0002]随着人工智能技术的快速发展，特别是在智能自动驾驶
取得了快速进步，为了满足人们生活的日常需求，特别是对自动驾驶技术的性能要求也越来越高，尤其是包括有多个传感器的3D视频融合导航系统领域。
[0003]现在市面上的自动驾驶图像处理主要依赖ARM系统或则GPU加速处理系统，拼接呈现的效果比较单一，无法还原时间环境真实度的要求，尤其是多摄像头传感器3D图像拼接出来的过度区域融合性比较差，3D图像融合区域断层比较明显，造成拼接效果较差，拼接质量不高，拼接速度慢等特点，给用户带来了极差的真实环境体验感，特别是3D摄像头拼接
，远景的拼接和近景图像算法不一致，导致二者算法不能同时兼顾，如果远景点拼接比较好，近景点表现的会比较差，近景点比较好，远景点就会很差。传统的ARM处理器对多个摄像头进行3D图像预处理、融合等算法时，无法满足算法技术上的要求；使用比较昂贵的GPU等芯片进行处理也会带来图像融合过度明显的问题，并且CPU和GPU的功耗比较大，对于消费级的产品带来了弊端，以上诸多信息的差异，增加了软件矫正度的困难，给整个人工智能自动驾驶领域带来了很多问题，导致视觉产生软件算法的错误误差，使整个系统运行不稳定性增加。
[0004]如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度，是需要解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是针对以上不足，提供基于SOC的全景3D视频拼接系统及系统载体，来解决如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度的技术问题。
[0006]第一方面，本专利技术的一种基于SOC的全景3D视频拼接系统，所述系统配置于系统载体，包括：
[0007]图像采集模块，所述图像采集模块用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；
[0008]图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；
[0009]视频处理模块，所述视频处理模块与所述图像处理模块连接，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；
[0010]数据传输模块，所述数据传输模块与所述视频处理模块交互，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。
[0011]作为优选，所述图像处理模块还用于：
[0012]对环境图像进行分析，得到系统载体的位置信息和运动信息；
[0013]基于环境图像以及系统载体的位置信息和运动信息，生成至少一条导航路径，并通过数据传输模块输出所述至少一条导航路径，将所述至少一条导航路径发送至系统载体的显示模块进行显示和/或发送至远端服务器。
[0014]作为优选，所述系统还包括路径选择模块：
[0015]对于每一条初始导航路径，所述数据传输模块用于从远端服务器获取路况数据；
[0016]所述路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择，确定一个初始导航路径作为最优导航路径，并通过数据传输模块输出所述最优导航路径，将所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。
[0017]作为优选，所述路径选择模块用于根据每条初始导航路径的行驶距离以及路径拥堵情况，确定系统载体的最优导航路径。
[0018]作为优选，所述图像采集模块包括多个图像采集子模块，每个图像采集子模块均通过配置的摄像机拍摄系统载体的环境图像，并通过移动产业处理器接口与所述图像处理模块电连接。
[0019]作为优选，所述SOC系统级芯片包括：
[0020]可编程逻辑子模块，所述可编程逻辑子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于获取环境图像并对环境图像进行环形拼接，生成3D环境图像，用于对环境图像进行分析，得到运动载体的位置信息和运动信息，并用于基于环境图像以及系统载体的运动信息和位置信息生成至少一条导航路径；
[0021]可编程系统子模块，所述可编程系统子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于调控每个图像采集子模块中摄像机的拍摄参数，并用于通过握手连接协议实现每个图像采集子模块的同步采集。
[0022]作为优选，所述数据传输模块支持以太网传输方式，并通过以太网传输方式与远端服务器交互。
[0023]第二方面，本专利技术一种系统载体，包括系统载体本体，所述系统载体本体上配置有：
[0024]视频拼接系统，所述视频拼接系统为如第一方面任一项所述的基于SOC的全景3D视频拼接系统；
[0025]导航AI系统，所述导航AI系统与所述视频拼接系统中数据传输模块交互，用于基于视频拼接系统的输出进行导航。
[0026]作为优选，所述系统载体为机器人、无人飞行器或智能交通工具。
[0027]本专利技术的基于SOC的全景3D视频拼接系统及系统载体具有以下优点：
[0028]1、通过SOC芯片对获取的环境图像进行环形拼接，得到了实时3D环境图像，并对实时3D环境图像进行处理，形成环境图像，通过环境图像可还原真实的环境，可为系统载体的自动导航提供技术支持；
[0029]2、图像采集模块采集多路环境图像，通过SOC芯片中可编程系统子模块对多路环境图像进行同步采集以及处理，解决了信息不同步的问题；
[0030]3、通过SOC芯片对环境图像进行分析，得到系统载体的位置信息以及运动信息，并
基于环境图像以及系统载体的运动信息和位置信息生成导航路径，进一步为系统载体的自动导航提供了技术支持；
[0031]4、基于获取的路况数据、通过路况选择模块对生成的导航路径进行选择，选择一个最优的导航路径作为最终的导航路径，便于导航。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]下面结合附图对本专利技术进一步说明。
[0034]图1为实施例1基于SOC的全景3D视频拼接系统的结构框图。
具体实施方式
[0035]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定，在不冲突的情况下，本专利技术实施例以及实施例中的技术特征可以相互结合。
[0036]本专利技术实施例提供基于SOC的全景3D视频拼接系统及系统载体，用于解决如何在兼顾远景和近景的前提下，提高环境图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SOC的全景3D视频拼接系统，其特征在于，包括：图像采集模块，所述图像采集模块用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；视频处理模块，所述视频处理模块与所述图像处理模块连接，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；数据传输模块，所述数据传输模块与所述视频处理模块交互，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。2.根据权利要求1所述的基于SOC的全景3D视频拼接系统，其特征在于，所述图像处理模块还用于：对环境图像进行分析，得到系统载体的位置信息和运动信息；基于环境图像以及系统载体的位置信息和运动信息，生成至少一条导航路径，并通过数据传输模块输出所述至少一条导航路径，将所述至少一条导航路径发送至系统载体的显示模块进行显示和/或发送至远端服务器。3.根据权利要求2所述的基于SOC的全景3D视频拼接系统，其特征在于，所述系统还包括路径选择模块：对于每一条初始导航路径，所述数据传输模块用于从远端服务器获取路况数据；所述路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择，确定一个初始导航路径作为最优导航路径，并通过数据传输模块输出所述最优导航路径，将所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。4.根据权利要求3所述的基于SOC的全景3D视频拼接系统，其特征在于，所述路径选择模块用于根据每条初始导航路径的行驶距离以及路径拥...

【专利技术属性】
技术研发人员：张平闯，国玉刚，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：