多镜头图像拼接装置及方法制造方法及图纸

本发明专利技术提供了一种多镜头图像拼接装置及方法，涉及集成电路芯片设计领域，包括：前置处理模块对多个原始图像执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理模块将实景图像进行物体检测与识别，得到多维度的结构化图像；多图像拼接模块采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到拼接组合图像和拼接组合参数；编码输出模块将拼接组合图像进行排列和编码，并将编码后图像和拼接组合参数输出。本发明专利技术通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。

Multi-lens Image Mosaic Device and Method

The invention provides a multi-lens image mosaic device and method, which relates to the field of integrated circuit chip design, including: ISP processing, distortion correction and geometric mapping transformation of multiple original images by a pre-processing module to obtain multiple real images; multi-dimensional vision processing module detects and recognizes real images, and obtains multi-dimensional structured images. The multi-image mosaic module combines the real image and multi-dimensional structured image in a variety of combinations, and obtains the mosaic combination image and the mosaic combination parameters; the coding output module arranges and codes the mosaic combination image, and outputs the coded image and the mosaic combination parameters. The invention integrates all the logic modules of image processing in an integrated circuit chip, improves the efficiency of multi-image stitching and combination processing and the flexibility of dynamic configuration, reduces the difficulty of software development of back-end multi-image stitching display, and reduces the development cost, power consumption and product volume.

【技术实现步骤摘要】
多镜头图像拼接装置及方法
本专利技术涉及集成电路芯片设计领域，尤其是涉及多镜头图像拼接装置及方法。
技术介绍
摄像机多图像拼接与展示的应用已经非常普及，主流方法是利用专用的图像拼接芯片，采集多摄像机视频后排列组合后，通过HDMI等视频接口在屏幕上展现。当前主要存在两种方案，一是ASIC/FPGA(ApplicationSpecificIntegratedCircuit，专用集成电路)/(Field－ProgrammableGateArray，现场可编程门阵列)方案，通过外部通信接口接收多路视频信号，对视频信号进行解压或是AD采样后转换成数字信号，再由硬件进行视频合成，如市面上的视频分割器。二是软件合成方案，需要使用图像采集卡将多路信号汇总，通过接口发给计算机，计算机软件处理后再通过计算机的视频接口连接显示器展示。但是，当前已存方案具有如下缺点：摄像机由于是单镜头装置，多架摄像机执行视频编码后，通过路由器集成，再由视频分割器或组合器执行大屏幕图像拼接展示。其缺点是不能实现多传感器图像采集拼接合一的操作，且需要多路摄像机图像集中采集，多路布线，整体成本高，功耗高。软件合成方案，需要计算机和软件的配合，体积大，成本高，当需要处理的视频数量较多时，占用非常多的带宽和系统资源，实时性容易受CPU(CentralProcessingUnit，中央处理器)等因素影响。现有的方案，如果是像素点层面的拼接组合，势必会涉及视频数据解压等，需要耗费很多的硬件资源，随着路数增加，所耗资源也会按倍数增加；如果是不解压，直接对压缩的数据流进行拼接，则无法对图像进行再缩放，有失灵活性。特别是家庭、小商铺、车载等封闭环境的多摄像头的信号采集与展示，均要采购集成整套连接分屏装置，极大增加安装成本和部署难度。
技术实现思路
有鉴于此，本专利技术的目的在于提供多镜头图像拼接装置及方法，通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。第一方面，本专利技术实施例提供了一种多镜头图像拼接装置，其中，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；所述前置处理模块，用于对所述多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；所述多维视觉处理模块，用于将所述实景图像进行物体检测与识别，得到多维度的结构化图像；所述多图像拼接模块，用于采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；所述编码输出模块，用于将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述多图像拼接模块还用于，在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述集成电路芯片为多镜头多传感器MLMS芯片。第二方面，本专利技术实施例提供了一种多镜头图像拼接方法，其中，所述方法包括：前置处理步骤：对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理步骤：将所述实景图像进行物体检测与识别，得到多维度的结构化图像；拼接步骤：采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；编码输出步骤：将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，所述方法还包括：显示步骤：在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。结合第二方面的第一种可能的实施方式，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，所述集成电路芯片为多镜头多传感器MLMS集成电路芯片。本专利技术实施例带来了以下有益效果：本专利技术提供的多镜头图像拼接装置及方法，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；前置处理模块，用于对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理模块，用于将实景图像进行物体检测与识别，得到多维度的结构化图像；多图像拼接模块，用于采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；编码输出模块，用于将拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和拼接组合参数输出。本专利技术通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的多镜头图像拼接装置示意图；图2、图3为本专利技术实施例一提供的不同组合方式示意图；图4为本专利技术实施例二提供的多镜头图像的拼接方法流程图。图标：100-多镜头模组；200-集成电路芯片本文档来自技高网...

【技术保护点】
1.一种多镜头图像拼接装置，其特征在于，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；所述前置处理模块，用于对所述多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；所述多维视觉处理模块，用于将所述实景图像进行物体检测与识别，得到多维度的结构化图像；所述多图像拼接模块，用于采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；所述编码输出模块，用于将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU‑R BT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。

【技术特征摘要】
1.一种多镜头图像拼接装置，其特征在于，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；所述前置处理模块，用于对所述多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；所述多维视觉处理模块，用于将所述实景图像进行物体检测与识别，得到多维度的结构化图像；所述多图像拼接模块，用于采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；所述编码输出模块，用于将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。2.根据权利要求1所述的装置，其特征在于，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。3.根据权利要求1所述的装置，其特征在于，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。4.根据权利要求1所述的装置，其特征在于，所述多图像拼接模块还用于，在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。5.根据权利要求...

【专利技术属性】
技术研发人员：于燕斌，邓东强，张燕生，何仕杰，
申请(专利权)人：广州市盛光微电子有限公司，
类型：发明
国别省市：广东,44