图像重建方法及装置制造方法及图纸

本发明专利技术实施例提出图像重建方法及装置。方法包括：当满足长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；接收到变焦请求，对当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集；对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。本发明专利技术实施例既保留了短焦图像的大视场的优点，又提高了清晰度。

【技术实现步骤摘要】
图像重建方法及装置
本专利技术涉及图像处理
，尤其涉及图像重建方法及装置。
技术介绍
由于短焦相机视场角大，长焦相机视场角小，当用相同规格的图像传感器采集图像时，长焦图像的清晰度高短焦图像的清晰度低。为了融合两个焦段图像做成变焦的效果，需要用软件的方法提高图像空间分辨率，即超分辨率算法。超分辨率指的是将低分辨率图像重建出相应的高分辨率图像。现有的超分辨率算法一般有单帧超分辨算法和参考高清图像的超分辨率算法。单帧超分辨算法对图像的提高效果有限且算法复杂度一般较高。利用高清参考图像的超分辨率方法充分利用参考图像和待处理图像的优势合成高品质图像。现有方案中，是利用长短焦双焦相机，同时采集大视场广角图像和高清长焦图像，然后利用广角相机和长焦相机视场重叠部分，将长焦图像的高分辨率信息迁移到短焦图像的可修复区域，并以修复后的短焦图像为基础进行数字变焦。这种方法比较适用于短焦图像中与长焦图像重叠区域与其他区域画面比较接近的场景，但是，如果图像画面各部分存在重大差别，局部信息的指导意义并不大，甚至造成错误，导致画面效果更差。
技术实现思路
本专利技术实施例提出图像重建方法及装置，以在保留双目长短焦云台摄像机采集的短焦图像的大视场的优点的前提下，提高短焦图像的清晰度。本专利技术实施例的技术方案是这样实现的：一种图像重建方法，该方法包括：当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：计算其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，Sk为第二短焦图像的第k个分块与匹配块的相似度，Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。所述提取第二短焦图像中的每个分块的匹配块的高频分量包括：对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块得到该匹配块的高频分量。所述满足预设长焦图像集采集条件包括：当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。所述满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。一种图像重建装置，该装置包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如上任一所述的方法的步骤。一种双目长短焦云台摄像机，包括：短焦相机、长焦相机以及云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置。本专利技术实施例中，为短焦图像中的每一分块在长焦图像中搜索匹配块，然后将匹配块与短焦图像中的分块融合，来得到短焦重建图像，从而短焦重建图像既保留了短焦图像的大视场的优点，又提高了清晰度。附图说明图1为本专利技术实施例提供的双目长短焦云台摄像机的短焦镜头和长焦镜头的视场关系；图2为本专利技术一实施例提供的图像重建方法流程图；图3为本专利技术另一实施例提供的图像重建方法流程图；图4为本专利技术实施例提供的短焦图像覆盖的视场与云台位置的关系示例图；图5为本专利技术实施例提供的图像重建装置的结构示意图。具体实施方式下面结合附图及具体实施例对本专利技术再作进一步详细的说明。为方便理解，首先给出以下解释：焦距：指从透镜中心到光聚集之焦点的距离，一般6mm(毫米)以上称为长焦，6mm以下称为短焦。无极旋转：没有限位，可以在指定方向一直旋转。图像拼接融合指的是将存在公共部分的两张图像拼为一张起到扩大视场角或提高清晰度的作用。例如：在双目长短焦云台摄像机的监控场景下，根据长焦图像与短焦图像的公共部分，以长焦图像替换短焦图像中二者的公共部分，以同时利用短焦相机视场大的优点和长焦相机清晰度高的优点。但是当画面放大时，来自短焦图像部分的清晰度低的问题会越来越明显。为了解决该问题，本专利技术给出如下解决方案：本专利技术实施例首先提出了一种双目长短焦云台摄像机，云台可以水平和垂直旋转，有两颗镜头和两颗传感器，短焦传感器与短焦镜头构成短焦相机，短焦镜头的视野较大，能够覆盖较大的监控范围，长焦传感器与长焦镜头构成长焦相机，长焦镜头的视野较小，但是清晰度较高。本专利技术实施例提出的双目长短焦云台摄像机本文档来自技高网...

【技术保护点】
1.一种图像重建方法，其特征在于，该方法包括：/n当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；/n接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；/n对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；/n对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；/n分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；/n其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。/n

【技术特征摘要】
1.一种图像重建方法，其特征在于，该方法包括：
当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；
接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；
对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；
对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；
分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；
其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。


2.根据权利要求1所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：
提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。


3.根据权利要求2所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：
根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；
分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。


4.根据权利要求3所述的方法，其特征在于，所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：
计算



其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重，Sk为第二短焦图像的第k个分块与匹配块的相似度，Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。


5.根据权利要求1所述的方法，其特征在于，所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：
根据采集第一短...

【专利技术属性】
技术研发人员：杜斌，马士杰，杨志翔，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：浙江;33