一种全景图像局部首尾相接巡航的装置与方法制造方法及图纸

本发明专利技术公开了一种全景图像局部首尾相接巡航的装置，包括：图像变换模块，用于将多镜头组采集的多个原始图像进行变换处理得到多个实景图像；图像融合模块，用于将多个实景图像进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，所述图像截图模块包括图像截取窗口，所述图像截取窗口在全景图像上向左或者向右移动以实现巡航时，截取局部图像并存储到DDR存储器中；图像拼接模块，用于从所述DDR存储器中读取截取的图像，并将读取到的截取图像进行拼接。本发明专利技术支持跨首尾无缝连接，实现360度范围内任意角度显示图像，成本低且响应迅速。

【技术实现步骤摘要】
一种全景图像局部首尾相接巡航的装置与方法
本专利技术涉及信息
，具体涉及一种全景图像局部首尾相接巡航的装置与方法。
技术介绍
现有的局部巡航有以下几种实现方式：1.云台方案，如图1所示，市面上大部分监控产品采用，通过云台的左右/上下运动(机械运动)带动摄像机转动，从而实现在接近360度范围内的图像巡航。但云台方案也存在以下缺陷：容易实现，成本偏高，且机械部件长时间运动容易损坏；即使是市面上的超快速球机，相比电子巡航来说响应速度还是慢了很多；受限于机械设计与成本，很多产品无法实现360度任意巡航(一般是300度左右)；云台在转动过程中，基于卷帘快门图像传感器的设备由于果冻效应图像会拉伸变形，需待云台停止不动状态图像才稳定。2.鱼眼镜头方案，如图2所示，市面上有很多产品采用此方案，使用一个高分辨率的大鱼眼镜头来实现360度全景，该方式下的局部巡航比较容易实现，只需要在图像中裁取一部分区域再做图像映射即可。鱼眼镜头方案成本低、容易实现，同时缺陷也很明显：首先是畸变严重，这是由镜头的物理特性决定的，即使是通过畸变矫正手段来纠正，图像的清晰度等比也有所降低；其次，只是从图像中截取一部分出来做巡航，且通过畸变纠正后的图像一般是不规则的形状，为适配显示终端的显示还必须进行第二次裁剪，故此会极大的降低图像的分辨率。上述两种现有的局部巡航的实现方案无法实现跨首尾方式的巡航显示，也就是无法实现360度任意位置的局部显示。因此，有必要对现有的技术进行进一步改进，提供一种成本低、响应迅速的全景图像局部首尾相接巡航的装置与方法，支持跨首尾无缝连接，实现360度任意位置巡航图像稳定显示，同时去云台化以降低故障率。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种成本低、响应迅速的全景图像局部首尾相接巡航的装置与方法，以高性价比的方式实现360度任意位置巡航图像稳定显示，同时去云台化以降低故障率。为实现上述专利技术目的，本专利技术采取的技术方案为：一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI视频输入方式传输到MLMS芯片中进行处理后，输出到显示终端进行显示；所述MLMS芯片包括：图像变换模块，用于将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换以及畸变校正处理后，得到多个实景图像；图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示。优选地，所述多镜头组包括多个镜头/传感器；所述多个镜头/传感器与所述图像变换模块连接，以将采集到的多个原始图像传输到图像变换模块进行变换处理。优选地，所述图像截取窗口为长度可调的矩形窗口，所述图像截取窗口的宽度与所述全景图像的宽度一致。优选地，所述图像截取模块还用于，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”；同时，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部。优选地，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“全景图像结束位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。优选地，所述图像截取模块还用于，将全景图像最左端的位置标记为“全景图像起始位置”，将全景图像上距离全景图像最右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”，根据巡航图像的宽度，将全景图像尾部图像副本拷贝到全景图像的首部，同时，将全景图像尾部图像副本最左端的位置标记为“0位置”。优选地，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“0位置”，则所述图像截取窗口起始位置切换到“全景图像起始位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出；所述图像截取窗口向右移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝起始位置”，则所述图像截取窗口起始位置切换到“0位置”，然后将所述图像截取窗口截取的局部图像作为巡航图像输出。本专利技术还提供一种全景图像局部首尾相接巡航的方法，该方法包括以下步骤：图像变换步骤：将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换以及畸变校正处理后，得到多个实景图像；图像融合步骤：将进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；图像截取步骤：从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；将全景图像的左端标记为首部，右端标记为尾部；图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则计算全景图像的首部和尾部所需截取的局部图像并通过图像截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；图像拼接步骤：从所述DDR存储器中读取截取图像，并将读取到的截取图像进本文档来自技高网...

【技术保护点】
1.一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI视频输入方式传输到MLMS芯片中进行处理后，输出到显示终端进行显示；其特征在于，所述MLMS芯片包括：/n图像变换模块，用于将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换处理以及畸变校正处理后，得到多个实景图像；/n图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；/n图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；/n图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示。/n...

【技术特征摘要】
1.一种全景图像局部首尾相接巡航的装置，包括依次连接的多镜头组、MLMS芯片以及显示终端，多镜头组用于采集多个原始图像，并通过VI视频输入方式传输到MLMS芯片中进行处理后，输出到显示终端进行显示；其特征在于，所述MLMS芯片包括：
图像变换模块，用于将多镜头组采集的多个原始图像进行ISP图像信号处理、PT投影变换处理以及畸变校正处理后，得到多个实景图像；
图像融合模块，用于将图像变换模块进行变换处理后得到的多个实景图像进行深度计算，并对计算结果进行多图像拼接融合，得到多图像拼接融合的360度全景图像并存储于DDR存储器中；
图像截取模块，用于从DDR存储器中获取多图像拼接融合的360度全景图像，并对多图像拼接融合的360度全景图像进行截取；所述图像截取模块将全景图像的左端标记为首部，右端标记为尾部；所述图像截图模块包括图像截取窗口，所述图像截取窗口在多图像拼接融合的360度全景图像上向左或者向右移动以实现巡航时，所述图像截取模块对所述图像截取窗口内的局部图像进行识别，若识别到所述图像截取窗口没有跨越全景图像的首尾两部分，则截取全景图像的局部图像并标记为第一截取图像存储到DDR存储器中；若识别到所述图像截取窗口跨越全景图像的首尾两部分，则图像截取模块计算全景图像的首部和尾部所需截取的局部图像并通过截取窗口进行截取，然后将截取到的图像分别标记为第二截取图像和第三截取图像存储到DDR存储器中；
图像拼接模块，用于从所述DDR存储器中读取截取图像，并将读取到的截取图像进行拼接；若读取到的截取图像为第一截取图像，则通过VO视频输出的方式将第一截取图像作为巡航图像输出到显示终端进行显示；若读取到的截取图像为第二截取图像和第三截取图像，则将第二截取图像和第三截取图像进行首尾无缝拼接，然后通过VO视频输出的方式将拼接后的图像作为巡航图像输出到显示终端进行显示。


2.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述多镜头组包括多个镜头/传感器；所述多个镜头/传感器与所述图像变换模块连接，以将采集到的多个原始图像传输到图像变换模块进行变换处理。


3.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取窗口为长度可调的矩形窗口，所述图像截取窗口的宽度与所述全景图像的宽度一致。


4.根据权利要求1所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取模块还用于，将全景图像最左端的位置标记为“0位置”，将全景图像最右端的位置标记为“全景图像结束位置”，将全景图像上距离“0位置”右端一个图像截图窗口长度的位置标记为“图像拷贝结束位置”；同时，根据巡航图像的宽度，将全景图像首部图像副本拷贝到全景图像的尾部。


5.根据权利要求4所述的一种全景图像局部首尾相接巡航的装置，其特征在于，所述图像截取窗口向左移动以实现巡航时，当所述图像截取窗口起始位置移动至“图像拷贝结束位置”，则所述图像截取窗口起始位置切换到“全景图像结束位置”，然后将所述...

【专利技术属性】
技术研发人员：于燕斌，邓东强，
申请(专利权)人：广州市盛光微电子有限公司，
类型：发明
国别省市：广东;44