用于生成全景图像的设备和方法技术

本公开提供了用于生成全景图像的设备和方法。该设备包括：感兴趣区域ROI选择块，其用于接收多个图像并且通过选择多个图像中的每一个的ROI来输出ROI图像；高动态范围HDR处理块，其用于对ROI图像执行HDR处理；以及全景图像生成块，其用于通过使用执行了HDR处理的ROI图像的匹配坐标来拼接多个图像来生成全景图像。HDR处理块对全景图像执行HDR处理。HDR处理块对全景图像执行HDR处理。HDR处理块对全景图像执行HDR处理。

【技术实现步骤摘要】
用于生成全景图像的设备和方法


[0001]本公开总体上涉及一种用于生成全景图像的设备和方法，并且更具体地，涉及用于通过将多个图像匹配到一个图像来生成全景图像的设备和方法。

技术介绍

[0002]由于包含在照片中的图像的尺寸在使用普通图像拍摄装置拍摄时受到限制，所以会出现应该通过拍摄若干静止图像中的每一个并组合所拍摄的静止图像来生成宽幅图像(wide image)的情况。这种拍摄技术被称为全景图像拍摄。
[0003]由于显示器的尺寸的增加以及其中若干单个显示器彼此连接的显示环境的配设，最近已广泛使用全景内容。全景内容指的是具有宽视角的高清晰度内容，其用于使向用户提供真实性的感觉最大化。全景内容被用在诸如使得用户能够从天空一眼扫视地面的空中全景，通过将GPS坐标应用于数字地图而在整个国家的地面空间上提供基于实时的信息的街道全景以及以高分辨率示出诸如旅游景点、住宿和餐馆之类的特定地点的信息的点全景之类的现实生活的若干部分中。此外，全景内容广泛用于诸如广告、教育、军事、表演和观光之类的各种工业领域。

技术实现思路

[0004]本公开的实施方式提供了一种用于生成全景图像的设备和方法，其中通过对多个图像的匹配平面应用高动态范围(HDR)并且然后选择具有高相关性的点作为匹配点来执行匹配。
[0005]根据本公开的一方面，提供了一种用于生成全景图像的设备，该设备包括：感兴趣区域(ROI)选择块，其被配置为接收多个图像并且通过选择多个图像中的每一个的ROI来输出ROI图像；高动态范围(HDR)处理块，其被配置为对ROI图像执行HDR处理；以及全景图像生成块，其被配置为通过使用执行了HDR处理的ROI图像的匹配坐标拼接多个图像来生成全景图像，其中，HDR处理块通过对全景图像执行HDR处理来生成最终全景图像。
[0006]根据本公开的另一方面，提供了一种用于生成全景图像的方法，该方法包括以下步骤：分别将第一图像和第二图像的交叠区域设置为第一感兴趣区域(ROI)图像和第二ROI图像；对第一ROI图像和第二ROI图像执行高动态范围(HDR)处理；将执行了HDR处理的第一ROI图像划分成多个图像区域，并且通过将多个图像区域当中的主图像区域与执行了HDR处理的第二ROI图像进行匹配来搜索匹配点；以及通过基于匹配点拼接第一图像和第二图像来生成全景图像。
[0007]根据本公开的另一方面，提供了一种图像处理器的操作方法，该操作方法包括以下步骤：对相应的第一交叠区域和第二交叠区域进行高动态范围(HDR)处理；以及通过参考在经HDR处理的第一交叠区域内的所选区域与经HDR处理的第二交叠区域匹配的点拼接第一图像和第二图像来生成全景图像。第一交叠区域和第二交叠区域可以被包括在相应的第一图像和第二图像中并且彼此交叠。
附图说明
[0008]现在将在下文中参照附图更全面地描述本公开的各种实施方式；然而，实施方式可以以不同的形式体现，并且不应当被解释为限于本文阐述的实施方式。相反，提供这些实施方式使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达示例实施方式的范围。
[0009]在附图中，为了清楚的说明，尺寸可能被夸大。应当理解，当元件被称为在两个元件“之间”时，它可以是两个元件之间的唯一元件，或者也可以存在一个或更多个中间元件。相似的附图标记始终表示相似的元件。
[0010]图1是例示根据本公开的实施方式的用于生成全景图像的设备的框图。
[0011]图2是例示根据本公开的实施方式的图1所示的全景图像生成块的框图。
[0012]图3是例示根据本公开的实施方式的用于生成全景图像的方法的流程图。
[0013]图4是例示根据本公开的实施方式的图3所示的操作S310的图。
[0014]图5是例示根据本公开的实施方式的图3所示的操作S320的图。
[0015]图6是例示根据本公开的实施方式的图3所示的操作S330的图。
[0016]图7是例示根据本公开的实施方式的图3所示的操作S340和S350的图。
[0017]图8是例示根据本公开的实施方式的图3所示的操作S360的图。
[0018]图9是例示根据本公开的实施方式的图3所示的操作S370的图。
具体实施方式
[0019]本文公开的具体结构或功能描述是仅出于描述根据本公开的概念的实施方式的目的而例示的。根据本公开的概念的实施方式可以以各种形式实现，并且不应当被解释为限于本文阐述的实施方式。
[0020]在下文中，将参照附图详细描述本公开的各个实施方式，以便于本领域技术人员能够容易地实现本公开的技术精神。
[0021]图1是例示根据本公开的实施方式的用于生成全景图像的设备的框图。
[0022]参照图1，设备100可以包括感兴趣区域(ROI)选择块110、高动态范围(HDR)处理块120和全景图像生成块130。ROI选择块110、HDR处理块120和全景图像生成块130可以包括它们各自的操作和功能所需的电路、系统、软件、固件和装置中的至少一个。
[0023]ROI选择块110从外部接收多个图像，选择多个接收到的图像中的每一个的ROI，并且输出ROI图像。例如，ROI选择块110接收第一图像img1，选择第一图像img1中的ROI，并且将与所选ROI相对应的图像输出为第一ROI图像ROI1。此外，ROI选择块100接收第二图像img2，选择第二图像img2中的ROI，并且将与所选ROI相对应的图像输出为第二ROI图像ROI2。ROI选择块110将第一图像img1和第二图像img2中彼此交叠的图像部分分别选择为第一图像img1和第二图像img2的ROI，并且将所选ROI输出为第一ROI图像ROI1和第二ROI图像ROI2。
[0024]HDR处理块120从ROI选择块110接收第一ROI图像ROI1和第二ROI图像ROI2，并且通过对第一ROI图像ROI1和第二ROI图像ROI2中的每一个执行HDR处理来生成第一HDR图像H_ROI1和第二HDR图像H_ROI2。
[0025]为了在图像中提供与人的眼睛的能力(capacity)更类似的各种照度，HDR处理用
于通过扩展图像或图片的从最亮的点扩展到最暗的点的亮度范围来增加图像或图片的对比度(最亮部分和最暗部分之间的差)。HDR处理意指用于允许图像或图片中的亮点更亮并且允许暗点更暗的技术。
[0026]此外，HDR处理块120从全景图像生成块130接收全景图像Panorama_img，并且对接收到的全景图像Panorama_img执行HDR处理。HDR处理块120输出对其执行了HDR处理的全景图像F_Panorama_img。
[0027]全景图像生成块130从HDR处理块120接收第一HDR图像H_ROI1和第二HDR图像H_ROI2，基于接收到的第一HDR图像H_ROI1和接收到的第二HDR图像H_ROI2搜索用于拼接第一图像img1和第二图像img2的匹配坐标，并且通过使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成全景图像的设备，该设备包括：感兴趣区域ROI选择块，所述ROI选择块接收多个图像并且通过选择所述多个图像中的每一个的ROI来输出ROI图像；高动态范围HDR处理块，所述HDR处理块对所述ROI图像执行HDR处理；以及全景图像生成块，所述全景图像生成块通过使用执行了所述HDR处理的所述ROI图像的匹配坐标来拼接所述多个图像来生成全景图像，其中，所述HDR处理块还对所述全景图像执行所述HDR处理。2.根据权利要求1所述的设备，其中，所述ROI选择块选择所述多个图像当中彼此交叠的图像部分作为所述ROI。3.根据权利要求1所述的设备，其中，所述HDR处理块通过使用色调映射技术或对比度受限自适应直方图均衡化CLAHE方法对所述ROI图像执行所述HDR处理。4.根据权利要求1所述的设备，其中，所述全景图像生成块还搜索执行了所述HDR处理的所述ROI图像的所述匹配坐标。5.根据权利要求4所述的设备，其中，所述全景图像生成块通过以下方式搜索所述匹配坐标：将执行了所述HDR处理的所述ROI图像当中的一个ROI图像的高频图像划分成多个图像区域，在所述多个图像区域当中选择主图像区域，并且将所选主图像区域映射到执行了所述HDR处理的其余ROI图像中的每个ROI图像的高频图像。6.根据权利要求1所述的设备，其中，所述全景图像生成块包括：图像分解块，所述图像分解块分解执行了所述HDR处理的所述ROI图像中的每个ROI图像的高频图像；主图像区域选择块，所述主图像区域选择块将执行了所述HDR处理的所述ROI图像中的一个ROI图像的高频图像划分为多个图像区域，并且选择所述多个图像区域中的一个作为主图像区域；图像匹配块，所述图像匹配块通过将所述主图像区域的图像与执行了所述HDR处理的其余ROI图像中的每个ROI图像的高频图像进行匹配来选择匹配点；匹配坐标搜索块，所述匹配坐标搜索块基于所述匹配点来搜索执行了所述HDR处理的所述ROI图像的所述匹配坐标；以及图像拼接块，所述图像拼接块通过使用执行了所述HDR处理的所述ROI图像的所述匹配坐标拼接所述多个图像来生成所述全景图像。7.根据权利要求6所述的设备，其中，所述图像分解块通过从执行了所述HDR处理的所述ROI图像中的每个ROI图像中提取比参考频率高的高频域的图像来分解执行了所述HDR处理的所述ROI图像中的每个ROI图像的高频图像。8.根据权利要求6所述的设备，其中，所述主图像区域选择块将所述一个ROI图像的高频图像划分为具有相同尺寸的多个图像区域，并且
其中，所述主图像区域选择块选择所述多个图像区域当中包括最大量的详细图像信息的一个图像区域作为所述主图像区域。9.根据权利要求8所述的设备，其中，所述主图像区域选择块还通过使用标准偏差STD、绝对差平均值MAD或绝对差...

【专利技术属性】
技术研发人员：宋正龙，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：