影像缝合方法及影像处理装置制造方法及图纸

本发明专利技术涉及一种影像缝合方法，用于影像处理装置，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

Image stitching method and image processing device

The invention relates to a method for image stitching, image processing device, the method includes: the image processing device receives the first video file and two video files, wherein the first video file includes at least a first image and the first track, and the second video files include at least second images and two tracks; on the basis of the second characteristics of the first audio audio characteristics the first track and the second tracks, calculate the delay time of the first audio characteristics and the second characteristics of the audio, to synchronize the first image and the second image; the first image and the second image is converted into the first correction image and a two image correction; on the first and the second image correction image correction image stitching processing to generate image stitching.

【技术实现步骤摘要】
影像缝合方法及影像处理装置
本专利技术有关于影像处理，特别是有关于影像缝合方法及其影像处理装置。
技术介绍
随着科技发展，有许多装置可利用鱼眼镜头以撷取圆型环景影像，例如是空拍机、自拍棒、或是环景拍摄装置等等。在市面上的环景拍摄装置通常具有两个鱼眼镜头以分别撷取不同的圆型环景影像。然而在对不同的圆型环景影像进行影像缝合时，传统的影像缝合方法及相关程序往往仅能选择固定的缝合点，而且也无法对圆型环景影像的视角及影像效果任意调整，对使用者来说并不易操作。因此，需要一种影像缝合方法及影像处理装置以解决上述问题。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术中的上述缺陷，提供影像缝合方法及影像处理装置，可将不同的鱼眼镜头所拍摄的圆型环景影像转换为二维影像，可对圆型环景影像的视角及影像效果任意调整。本专利技术为解决其技术问题所采用的技术方案是，提供一种影像缝合方法，用于影像处理装置，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。本专利技术更提供一种影像处理装置，包括：存储器单元，用以储存影像缝合程序；以及处理器，用以执行该影像缝合程序，并执行下列步骤：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像，该缝合影像位于该第一影像及该第二影像之间。实施本专利技术的影像缝合方法及其影像处理装置，其可将不同的鱼眼镜头所拍摄的圆型环景影像转换为二维影像，并对二维影像进行影像缝合以取得二维的全景影像。此外，本专利技术的影像处理装置所执行的影像缝合程序更提供了多种使用者接口，可让使用者选择影像缝合的不同影像效果，且使用者亦可利用手动的方式选择欲同步的圆型环景影像，藉以达到更好的影像缝合效果及更佳的使用者体验。附图说明图1是显示依据本专利技术一实施例中的影像处理装置的方块图。图2是显示依据本专利技术一实施例中的影像处理装置的示意图。图3是显示依据本专利技术一实施例中的影像处理装置的方块图。图4A及4B是分别显示依据本专利技术一实施例中的第一音轨及第二音轨的示意图。图4C及4D是分别显示依据本专利技术一实施例中调整时间后的第一音轨及第二音轨的示意图。图4E及4F是分别显示依据本专利技术一实施例中调整时间后以同步第一音轨及第二音轨的示意图。图5A是显示依据本专利技术一实施例中的第一圆型环景影像的示意图。图5B是显示依据图5A的实施例中经过等量矩形投影所产生的第一影像的示意图。图5C是显示依据本专利技术一实施例中的第二圆型环景影像的示意图。图5D是显示依据图5C的实施例中经过等量矩形投影所产生的第二影像。图5E是显示依据图5B及图5D缝合的缝合影像。图6是显示未经颜色补偿前的第一影像及第二影像的示意图。图7A、7B、7C是显示依据本专利技术一实施例中的影像缝合程序的使用者接口的示意图。图7D及7E是显示在使用者接口进行左右转动的操作的示意图。图7F及7G图是显示在使用者接口进行倾角调整的操作的示意图。图7H、7I、7J是显示在图7B的使用者接口进行转动操作的示意图。图7K及7L是显示在图7B的使用者接口以调整镜头距离的示意图。图8A及8B是显示依据本专利技术一实施例中的影像缝合程序的使用者接口的示意图。图9是显示依据本专利技术一实施例中的影像缝合方法的流程图。图10A是显示依据本专利技术一实施例中的影像处理装置进行影像缝合的示意图。图10B～10D是显示依据本专利技术一实施例中将第一圆型环景影像及第二圆型环景影像进行影像缝合的示意图。图11A及11B是显示依据本专利技术一实施例中的以155度视角所拍摄的第一圆型环景影像及相应的二维影像的示意图。图11C及11D是显示依据本专利技术一实施例中的以188度视角所拍摄的第三圆型环景影像及相应的二维影像的示意图。图11E～11G是显示依据本专利技术图11A～11D的实施例以进行影像缝合的示意图。图11H是表示在本专利技术图11E～11G的实施例中进行影像缝合的示意图。图12A是显示依据本专利技术一实施例中的第一镜头以不同视角拍摄影像的示意图。图12B是显示依据本专利技术一实施例中的第二镜头以不同视角拍摄影像的示意图。图12C是显示依据本专利技术图12A中的第一镜头以不同视角拍摄影像的分割部分的示意图。图12D是显示依据本专利技术图12B中的第二镜头以不同视角拍摄影像的分割部分的示意图。具体实施方式为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合附图，作详细说明如下。图1是显示依据本专利技术一实施例中的影像处理装置的方块图。影像处理装置100包括第一镜头110、第一麦克风111、第二镜头120、第二麦克风121、控制器130、存储器单元140、壳体150。在一实施例中，第一镜头110及第二镜头120为曲面镜头或鱼眼镜头，可拍摄圆型环景影像(sphericalpanoramaimage)，圆型环景影像亦可称为360度影像。举例来说，本专利技术的影像处理装置100可应用于空拍机(flyingdrone)、自拍棒(selfiestick)、或是环景拍摄装置。第一麦克风111及第二麦克风121分别依附或整合于第一镜头110及第二镜头120，用以将在第一镜头110及第二镜头120所面对的方向的音讯信号分别录制为第一音轨及第二音轨。控制器130例如可为中央处理器(CPU)或数字信号处理器(DSP)。存储器单元140包括易失性存储器141及非易失性存储器142，其中易失性存储器141例如是静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)，非易失性存储器142例如是硬盘、固态硬盘、闪存等等，但本专利技术并不限于此。非易失性存储器142储存视讯编译码程序，且控制器130可将储存于非易失性存储器142的视讯编译码程序读取至易失性存储器141并执行，藉以对所撷取的圆型环景影像及音轨进行视讯编码处理。控制器130及存储器单元安置于壳体150之内，且第一镜头110及第二镜头120安置于壳体150的相对表面(oppositesurfaces)。举例来说，控制器130可将第一镜头110所拍摄的第一圆型环景影像及第一麦克风111所撷取的第一音轨录制为第一视讯文件，并将第二镜头120所拍摄的第二圆型环景影像及第二麦克风121所撷取的第二音轨录制为第二视讯文件。控制器130并将第一视讯文件及第二视讯文件储存至非易失性存储器142中，其中第一视讯文件及第二视讯文件例如可为MP4格式的视讯文件，但本专利技术并不限于此。图2是显示依据本专利技术一实施例中的影像处理装置100的示意图。在一实施例中，第一镜头110本文档来自技高网...

【技术保护点】
一种影像缝合方法，用于影像处理装置，其特征在于，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。

【技术特征摘要】
2016.02.05 TW 1051039931.一种影像缝合方法，用于影像处理装置，其特征在于，该方法包括：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。2.一种影像处理装置，其特征在于，包括：存储器单元，用以储存影像缝合程序；以及处理器，用以执行该影像缝合程序，并执行下列步骤：由影像处理装置接收第一视讯文件及第二视讯文件，其中该第一视讯文件包括至少第一影像及第一音轨，且该第二视讯文件包括至少第二影像及第二音轨；依据该第一音轨的第一音频特性及该第二音轨的第二音频特性，计算该第一音频特性及该第二音频特性间的延迟时间，以同步该第一影像及该第二影像；将该第一影像及该第二影像转换成为第一校正影像及第二校正影像；对该第一校正影像及该第二校正影像进行影像缝合处理以产生缝合影像。3.如权利要求2所述的影像处理装置，其特征在于，该缝合影像包含一缝合点位于该第一影像及该第二影像之间。4.如权利要求3所述的影像处理装置，其特征在于，该影像处理装置包括第一镜头、第二镜头、第一麦克风、及第二麦克风，其中该第一镜头及该第二镜头置于该影像处理装置的壳体的相对两侧以分别撷取第一环景影像及第二环景影像，且该第一麦克风及该第二麦克风分别依附至该第一镜头及该第二镜头以分别撷取该第一音轨及该第二音轨。5.如权利要求2所述的影像处理装置，其特征在于，该处理器将该第二影像的右半部份与该第一影像的左侧缝合，并将该第二影像的左半部份与该第一影像的右侧缝合以产生该缝合影像。6.如权利要求5所述的影像处理装置，其特征在于，该处理器更对该第一影像及该第二影像进行色彩补偿处理，并对经过该色彩补偿处理后的该第一影像及该第二影像进行该影像缝合处理。7.如权利要求4所述的影像处理装置，其特征在于，该影像缝合程序更提供使用者接口以调整该第一环景影像或该第二环景影像的左右转动角度、倾角、及/或该第一镜头及该第二镜头之间的距离。8.如权利要求2所述的影像处理装置，其特征在于，该处理器更选择该第一音轨或该第二音轨以搭配该缝合影像，且该缝合影像藉由该处理器以转换成环形影像或圆形影像。9.如权利要求2所述的影像处理装置，其特征在于，更包括：显示单元，该影像处理装置透过无线传输方式与该显示单元相连接；其中该第一影像及第二影像为圆形影像或环景影像，且该显示单元可显示该第一影像、第二影像或该缝合影像。10.如权利要求3所述的影像处理装置，其特征在于，该处理器更自动调整该第一环景影像及该第二环景影像，使得该第一环景影像及该第二环景影像的...

【专利技术属性】
技术研发人员：金井邦彦，佐佐木隆之，古屋博章，秋元武宪，堀笼岳治，
申请(专利权)人：亚洲光学股份有限公司，信泰光学深圳有限公司，
类型：发明
国别省市：中国台湾,71